論文を読む · HRI / RSS 2026
ロボットは「何がまずかったか」を理解できるか
相手が断ったのに説明を続ける。人が席を離れたのに会話を進める。ロボットの失敗には、発言の内容だけを読んでも捉えにくいものがあります。SHRECは、こうした会話の場に応じた振る舞いを、AIがどこまで読み取れるかを測る研究です。
MIT、Purdue University、Carnegie Mellon Universityの研究者らによる論文で、RSS 2026に掲載されています。人とロボットの相互作用を研究する分野を、HRI（Human–Robot Interaction）と呼びます。SHRECはその実際の映像を使った評価用データセットです。[1]
本文のデータ概要（§III）では403動画・10,353注釈。本文・付録・配布先で集計範囲の異なる数値があるため、全体像には著者らの要約と同じ概数を使っています。以下の実験説明は著者版v3に基づきます。[2]
1. 何を「社会的な失敗」とするのか
ここでいう失敗は、故障や事実の間違いだけではありません。相手の気持ち、意図、会話の順番などを踏まえたときに、期待される振る舞いから外れることです。逆に、そうした手がかりに沿って応じた場面には、適切に振る舞えたことを示す「competence」の注釈を付けます。失敗だけを集めたデータではない点が大切です。
ロボット「もっと例を聞きたいですか？」
人「いいえ、もう大丈夫……」
ロボットそれでも別の例を話し始める。
断りを受け止めずに続けた。
相手の意図と会話の流れを取り違えた。
追加の例を出さず、次へ進む。
「何を言ったか」と「その場で言うべきだったか」は別の問いです。この例なら、追加の説明が正しくても、相手が求めていなければ会話としては失敗します。論文には、相手の離席に気づかず処理を進める非言語的な失敗例もあります。
2. 実際の暮らしの中から集めた会話
材料となったのは、家庭や大学の寮で行われた3つの先行研究です。ウェルビーイングを支援する対話と、個人的な経験を語り合う対話を含みます。使われたのはいずれも卓上ロボットJibo。話す、向きを変える、画面で表情を表すといったやり取りが中心で、移動や物の操作をするロボットではありません。[3] [2, §III]
訓練を受けた3人の学部生の研究補助者が、映像から適切／不適切な場面を見つけ、理由や修正案を記録しました。問題の種類は、感情、関与度、会話の仕組み、知識状態、ユーザーの意図、社会的文脈と関係、社会規範と慣習という7つの観点で整理されています。たとえば、話に関心があるかは「関与度」、話を遮っていないかは「会話の仕組み」、相手が何を知っているかは「知識状態」に当たります。
一つの失敗が複数の観点にまたがることもあります。断りを無視する場面なら、意図の理解と会話の進め方の両方が関係します。この重なりを残したまま評価するため、単純な感情分類より難しい課題になります。重複して注釈された部分の一致率は91.3%でしたが、曖昧で判断が分かれる場面も残っています。[2, §III-A–B]
3. 「気づく」から「直し方を選ぶ」までの8課題
評価するのは、大規模言語モデル（LLM）と、画像も入力できる視覚言語モデル（VLM）です。モデルには切り出した会話と課題を与え、人が付けた答えに合うかを測ります。長い映像から問題の瞬間を自力で探すことと、切り出された場面を判断することは区別して読む必要があります。
| 問い | 課題 | 答える内容 |
|---|---|---|
| 気づけるか | ① 3分類 | 失敗／適切／どちらの注釈もない |
| ② エラー検出 | 失敗か、そうでないか | |
| どの側面か | ③ 属性の特定 | 関係する社会的属性の組み合わせ |
| ④ 複数属性の有無 | 複数の属性が関係するか | |
| 流れを読めるか | ⑤ 前の状況 | ロボットの応答に先立つ人の振る舞い |
| ⑥ 後の状況 | 人の発言に続くロボットの応答 | |
| 理由と修正 | ⑦ 理由 | 何が問題だったかの説明 |
| ⑧ 修正 | 代わりに取るべき行動 |
著者版§IVより整理。⑤⑥は適切なやり取りを対象とし、⑤〜⑧はいずれも5択。⑦⑧では、失敗の場面であることを与えたうえで答えを選びます。③④にも失敗／適切のラベルが入力されます。[2]
この評価の「修正」は、正しい修正案を選ぶこと。
ロボットをその場で制御して修復できるか、利用者がその応答に満足するかを測った実験ではありません。
画像を使う設定では、対象区間から均等に抽出した15フレームを与えます。前後関係の課題では、答え側を見せないよう対象区間を制限します。公開ベンチマークの基本的な時間解像度は1 Hz、つまり1秒に1フレームです。映像を使っていても、人間と同じ細かさで間や視線を見ているわけではありません。[2, §III–IV]
4. 強いモデルにも、どんな不足が残ったか
著者らは、入力やプロンプトの違いを含む18設定を比較しています。以下は課題ごとのモデル側で最も高い平均正答率と、人間の比較実験の値です。同じモデルがすべての課題で最良だったわけではありません。
| 課題 | モデル最高 | 人間 |
|---|---|---|
| 失敗／適切／その他 | 32 ± 1% | 57% |
| 失敗の検出 | 55 ± 2% | 77% |
| 理由を選ぶ（5択） | 55 ± 6% | 63% |
| 修正案を選ぶ（5択） | 48 ± 7% | 54% |
著者版Table I・IIより。上2行はGemini 1.5 Flash、下2行はGPT-4o＋few-shotで、いずれも言語＋視覚入力。±は別々に抽出した3つの評価サブセット間の標準偏差を百分率表示したもの。信頼区間ではありません。人間は切り出されたデータと同じ課題指示で元の注釈に答えを照合しています。[2, §IV・付録B]
目立つのは、失敗を見つける段階の差です。一方で、理由や修正案の選択では差が比較的小さく、すべての課題で一様に大差があるとまとめるのは正確ではありません。理由・修正では、回答例を先に与えるfew-shot設定が最良でした。単にモデルを大きくすればよい、という結果でもありません。
属性の特定では、採点方法によって印象が大きく変わります。GPT-4o＋few-shotは、正しい属性を少なくとも一つ含む「部分一致」では82%ですが、組み合わせを丸ごと当てる正答率は4%。人間もそれぞれ76%と24%です。一つの側面を言い当てることと、その場面に必要な側面を過不足なく捉えることには距離があるとわかります。[2, Table I]
なお、ここでの数値は論文が評価したモデル・条件に対するものです。2026年9月時点の最新モデル全体の順位や、すべてのAIの能力を示す数字ではありません。
5. この結果を読むときの注意点
人間の答えも、唯一の絶対的な正解ではありません。比較実験で人間の正答率が100%にならないのは、社会的判断や選択肢の判別に難しさがあることを示しています。「自然な応答」の期待は文化、相手との関係、個々人のコミュニケーションの仕方で変わります。モデルが注釈と一致することを、普遍的な社会性の獲得と同一視できません。
対象となる場面にも範囲があります。家庭・寮でのJiboとの会話で得た評価を、接客、工場での協働、移動ロボットのすれ違いなどに、そのまま広げられるかは未検証です。また1秒刻みのフレームでは、短い沈黙、発話の重なり、一瞬の視線移動を十分に捉えられない可能性があります。これらは著者らも限界として挙げています。[2, §V-E]
5択の正答率と、自由な会話の質は別の評価です。理由・修正課題の誤答選択肢は、異なる社会的属性を持つ別の事例から作られます。候補から選べても、自分で適切な応答を作り、良いタイミングで実行できるとは限りません。逆に、人の注釈と異なる修正案でも、実際の場面では有効な可能性があります。
6. HRI研究に何をもたらすか
SHRECの貢献は、「ロボットの会話が何となく不自然だ」という印象を、検出、属性、前後関係、理由、修正案という調べられる問いに分けたことにあります。どこでつまずいたかを区別できれば、改善後に何を評価すべきかも明確になります。
ここからは研究設計への読み取りです。たとえば、相手が話し終わるまで待つ仕組みを改善したなら、「待つべき場面の検出」「待つ理由の説明」「実際の待ち方」を別々に確かめるとよさそうです。SHRECは前二者に近い問いを扱う材料になりますが、最後の効果は実機で人とやり取りして確かめる必要があります。
データや評価コードを試す入口は公式GitHubです。動画データはHugging Faceでアクセス申請が必要です。配布ページは所属機関のメールアドレスでの申請を案内しています。実際の人の会話を扱うため、利用にあたっては各配布先の条件を確認してください。[4]