diff --git a/20260710_進捗報告.md b/20260710_進捗報告.md deleted file mode 100644 index 51b96f8..0000000 --- a/20260710_進捗報告.md +++ /dev/null @@ -1,54 +0,0 @@ -# 卒業研究 進捗報告 2026/07/10 - -## 実施内容 - -### 研究テーマ - -「対話型サイネージの能動的声かけが通行人の注意を引くことに対する有効性の検証」 - -### 研究内容の整理 - -#### 研究目的 -デジタルサイネージが通行人に対して能動的に声かけを行うことで，注意喚起効果が得られるかを検証する - -「どのような声かけが有効か」ではなく，「声かけを行うことによって通行人の反応が変化するか」を明らかにする - -#### 「声かけ」の目的 -- 注目を集める -- 立ち止まらせたい -- 対話を始めてもらいたい -- 最後まで利用してほしい - -### 関連研究調査 -1. 往来者の注意を喚起するヴァーチャルヒューマン広告提示システム - - 能動的アプローチによって注目人数が増加した - - 音声・キャラクター・アイコンタクトのどの要素が効果を生んだかは分離して評価されていない - - 評価指標が「注目率」「注目時間」のみ - -2. Display Blindness: The Effect of Expectations on Attention towards Digital Signage - - 退屈な広告と予想されたディスプレイは無視される - - 通行人の「期待」を考慮する必要がある - - 視覚情報が注目率に影響するとした - - 能動的な注意喚起が必要である背景として利用できそう - -3.AggreGaze: Collective Estimation of Audience Attention on Public Displays - -### 技術調査・実装 -- GoogleのMediaPipeを用いて顔向き推定を実装 - - オイラー角Pitch，Yaw，Rollの取得に成功 - - オイラー角から関心領域AOIの推定を行なった - -## 次回までに行うこと -- 川本研の歴代の研究を見る -- 渡邉研の研究も見る -- 視線推定の評価 -- 関連研究の追加調査 - -## 相談事項 -- 対話型サイネージである必要？ - - 声かけをした以上，対話が行えなければいけないのか -- 声かけの目的を何に設定するべきか？ - - 現時点では，注目を集めることを目的にしたい -- 視線推定を最初に行うべきか？ - -## 参考文献 diff --git a/20260819_進捗報告.md b/20260819_進捗報告.md new file mode 100644 index 0000000..a52dcf7 --- /dev/null +++ b/20260819_進捗報告.md @@ -0,0 +1,151 @@ +# 卒業研究 進捗報告 2026/08/19 + +## 実施内容 + +### 研究テーマ + +「対話型サイネージの能動的声かけが通行人の注意を引くことに対する有効性の検証」 + +### 研究内容の整理 + +#### 研究目的 +デジタルサイネージが通行人に対して能動的に声かけを行うことで，注意喚起効果が得られるかを検証する + +「どのような声かけが有効か」ではなく，「声かけを行うことによって通行人の反応が変化するか」を明らかにする + +#### 「声かけ」の目的 +- 注目を集める +- 立ち止まらせたい +- 対話を始めてもらいたい +- 最後まで利用してほしい + +#### 注目の定義 +- 通行人がサイネージ方向へ顔または頭部を向ける反応 + +Webカメラ映像のみから通行人の視線そのものを正確に取得することは困難？ +注視ではなく，顔向きの変化から振り向きを検出する． + +### 関連研究調査 +1. 往来者の注意を喚起するヴァーチャルヒューマン広告提示システム + - 能動的アプローチによって注目人数が増加した + - 音声・キャラクター・アイコンタクトのどの要素が効果を生んだかは分離して評価されていない + - 評価指標が「注目率」「注目時間」のみ + +1. Display Blindness: The Effect of Expectations on Attention towards Digital Signage + - 退屈な広告と予想されたディスプレイは無視される + - 通行人の「期待」を考慮する必要がある + - 視覚情報が注目率に影響するとした + - 能動的な注意喚起が必要である背景として利用できそう + +1. Attracting Effect of Pinpoint Auditory Glimpse on Digital Signage + - デジタルサイネージに通行人の注意を向けるために，短時間のピンポイントな音を提示する研究である + - 音を用いることで，通行人がサイネージへ注意を向けやすくなる可能性が示されている + - この研究は，サイネージへの注意喚起において聴覚刺激が有効であることを示しており，本研究に近い + - 一方で，本研究ではピンポイント音ではなく，通常の声かけ音声を用い，声かけあり条件と声かけなし条件で振り向き反応を比較する + +1. Attention, please! Comparing Features for Measuring Audience Attention Towards Pervasive Displays + - 注目状態をどう判定するのが良いか？ + - 顔検出の有無，位置，移動軌跡，歩行速度，方の向き，頭部姿勢・視線方向 + - Unknown Userに対しては，顔が検出できたかが一番良かった + - 本研究では，その中でも実装しやすく，Webカメラから取得しやすい人物追跡と頭部姿勢推定に着目する + +### 技術調査・実装 + +声かけによって通行人の注意がサイネージへ向くかを検証するために，歩行中の人物検知，人物追跡，顔向き推定，振り向き判定をする必要がある． + +- YOLO + - リアルタイム物体検出に広く用いられる + - 通行人検知のための人物検出 + - Webカメラ映像を取得し，フレームごとに人物検出を行う機能に使用した． + +- ByteTrackなどのMulti Object Tracking + - 追跡処理を行い，同一人物にtrack IDを付与できる + - →通行人ごとにいつ画面内に入ったかやどの位置で声かけ対象になったか記録できる + +- HeadPose推定 + - MediaPipe Face MeshやOpenCVのsolvePnP + - 顔向き，頭部姿勢推定 + +これらの技術を用いて，Webカメラ映像から人物検出を行い，追跡処理によって通行人ごとに顔向きを測定するプログラムを作成した． + +振り向きの判定として，人物ごとに基準となるYaw角を取得し，その後のYaw角変化量を計算する． +基準となるYaw角は，顔検出・顔向き推定に成功したYawを収集し，有効なYaw値の3サンプルから中央値を基準として取得する． +これはconfigで設定できる． +振り向きの強さをYaw角変化量に応じて段階的に分類することで反応の程度を記録できるようにした． +最初からサイネージ方向を向いている場合には振り向き量が小さく評価される． +基準の取り方として，トリガーライン通過前，評価領域進入後からも取得できる． + +顔が検出できない場合や顔向き推定に失敗した場合は評価不能とし，「注目していない」と区別する． + +画面中央をトリガーラインとし，そこを通過した直後に音声を再生することで声かけを行う． +声かけあり条件だけでなく声かけなし条件も比較できるようにした． +声かけなし条件では音声を再生せず，声かけを行なった場合と同じタイミングで記録する． +これにより同じ基準時刻から振り向き反応を比較できる． + +実験ログとして主に以下の情報を保存する． +- 人物のtrack ID +- 検出時刻 +- 通過方向 +- 顔検出の成否 +- Pitch，Yaw，Roll +- 振り向き判定結果 +- 声かけを行った時刻 +- 声かけ後の反応有無 +- 反応時間 +- 評価不能となった理由 + + +### 実験モデル + +1. 音声の内容による比較実験 + - 実験条件 + - 条件A：「こんにちは」「ぜひご覧ください」 + - 条件B：「そこのお兄さん」「そこの身長高い人」 + - 条件C：「そこの身長の高いお兄さん」 + - 条件D：適当な効果音 + - 想定される結果 + - B > A：属性を絞った声かけが注意を引くのに有効 + - A > B：ターゲットを絞りすぎると逆に目をそらされる→心理的抵抗？ + - A = B = D：音声の意味を理解して振り向いているのではなく，単に音への定位反射に反応しているだけ + - 性別・身長推定を実装していないから，単に音声ファイルを切り替えることだけ可能 + +1. アプローチの距離による比較実験 + - 実験条件 + - 条件A：対象者がサイネージから遠い位置で声をかける + - 条件B：対象者がサイネージから近い位置で声をかける + - 想定される結果 + - B > A：遠距離ではノイズに紛れてしまい認識されにくくなる + - A > B：人間は一定の距離が保たれていないとインタラクションを拒否する + - A = B = 低：通常のスピーカでは距離にかかわらず雑音に消されてしまうため，指向性スピーカを用いた局所的なアプローチが有効 + - 画面上の位置による近似なら可能 + +1. アプローチのタイミングによる比較実験 + - 実験条件 + - 条件A：通過直後 + - 条件B：注視後 + - 条件C：停止後 + - 音声再生タイミングを変更したり速度取得など追加実装が必要 + +1. 視覚的情報の有無による比較実験 + - 実験条件 + - 条件A：画面は静止画の状態で声をかける + - 条件B：声をかけると同時に，画面内のキャラクターが対象者の方を向く，画面全体が光るなどの視覚的な動きをつける + - 想定される結果 + - B > A：聴覚によるアテンションの直後の視覚的アプローチが有効 + - A = B：振り向きを誘発するなら音声単体で十分有効 + - デジタルサイネージのコンテンツ機能はまだない + +## 現時点での課題 + +- 作成したプログラムの動作確認を一人かつ部屋の中でしか行なっていないため，複数人動作や遠くの通行人の検知・顔向き推定が行えるかわからない． +- 声かけ後の反応時間を何秒まで観測するか？ +- カメラ位置をどうするか？ +- 振り向き判定の閾値などどの程度に設定するか． +- サイネージ方向を向いても顔が映らなければ評価不能 + + +## 相談事項 +- "対話型"サイネージである必要があるか？ +- 声かけの目的を何に設定するべきか？ + - 現時点では，注目を集めることを目的にしたい +- 人型である必要はないのはわかるが，人型を表示せずに声かけをする想像がつかない． diff --git a/202608_研究調査/Attention, please!.pdf b/202608_研究調査/Attention, please!.pdf new file mode 100644 index 0000000..1e35479 Binary files /dev/null and b/202608_研究調査/Attention, please!.pdf differ diff --git a/202608_研究調査/Attracting_Effect_of_Pinpoint_Auditory_Glimpse_on_Digital_Signage.pdf b/202608_研究調査/Attracting_Effect_of_Pinpoint_Auditory_Glimpse_on_Digital_Signage.pdf new file mode 100644 index 0000000..acd3306 Binary files /dev/null and b/202608_研究調査/Attracting_Effect_of_Pinpoint_Auditory_Glimpse_on_Digital_Signage.pdf differ