Shall We Dance?

Shall We Dance? Resonance of Intentions with an Embodied Agent based on the Free Energy Principle

Takeru Hashimoto, Jun Tani, and Shunichi Kasahara
ACM SIGGRAPH 2026 Emerging Technologies

筆頭著者のTakeru Hashimoto、Jun Tani（Okinawa Institute of Science and Technology）との共同研究です。

Abstract

身体を使った共同動作では、互いの動きを調整しながら意図をすり合わせることが、相手と協働している感覚につながります。しかし、従来の身体的なエージェントは、事前に学習した遷移規則に頼ることが多く、相手の即興的な働きかけに柔軟に対応できません。本研究では、自由エネルギー原理に基づき、身体的な相互作用を通じて意図をすり合わせるエージェントを提案します。予測符号化に基づくRNNを用い、身体接触によって生じる予測誤差をリアルタイムで小さくするように、内部の意図（μ）と時定数（τ）を動的に更新します。これにより、人の動作パターンとテンポに同調できます。デモンストレーション「Shall We Dance?」では、体験者がエージェントと手をつなぎ、エージェントが新たな意図を推測すると手の抵抗が消えていく様子を、触覚を通じて感じられます。

手をつないで意図をすり合わせる

2人で一緒に動くとき、それぞれが自分の意図を持ちながら相手の意図を推測し、触れ合いを通じて共同の動きを調整しています。一方、多くの身体的なエージェントは、相手との動きのずれを、モーターで修正すべき制御誤差として扱います。予測符号化に基づくエージェントでは、交互に動いたり互いに譲り合ったりする振る舞いが再現されてきました。ただし、学習データから獲得した遷移に沿って行動を切り替えるため、相手が任意のタイミングで即興的に動くと対応が難しくなります。そこで、手をつないで行う簡単なダンスを通じて、どの状態からでも相手の意図の変化についていけるエージェントを検討しました。

ロボットと手をつないで踊る人の3枚の写真。その下に、2つのアトラクタを持つエージェントの潜在空間と、T1からT4までの予測誤差・信念更新の図を示す — 手をつないだダンスの4段階。人とエージェントが同じパターンで動く（T1）、人の意図が変わり、予測誤差が増える（T2）、エージェントが信念を更新して内部状態を別のアトラクタへ移す（T3）、新しいパターンで再び同調する（T4）。

エージェントの仕組み

エージェントの動きは、各動作パターンが内部状態空間で安定したループ、すなわちアトラクタになるように学習した再帰型ニューラルネットワークから生まれます。ネットワークは、次の時刻の手の位置を予測し続けます。ダンス中はネットワークの重みを固定します。相手の実際の動きが予測と異なると、自由エネルギー原理に従い、予測誤差を減らすように内部状態、つまり共有している意図についての信念を更新します。ずれが十分に大きくなると、内部状態が別のアトラクタへ移り、動作パターンが変わります。同じように時定数も更新することで、相手のテンポに合わせて速く、あるいは遅く動けます。

予測した手の位置は、独自に開発した2自由度の力覚提示ロボットアームの目標位置にもなります。1つのループが、知覚と行為の両方を担う仕組みです。推論はノートPCのCPU上で30 Hzで動作し、モーターへの指令はフィルタ処理を経て100 Hzでアクチュエータへ送られます。

学習と推論の構成図。学習時にはRNNが2つの動作パターンをアトラクタとして獲得し、左右の手の軌道に変換する。推論時には実機の観測と予測の誤差が信念更新とモーター指令を駆動する — 学習時には、2つの動作パターンを別々のアトラクタとして獲得します。推論時には、予測した動きと観測した動きの誤差が、信念の更新とモーターへの指令の両方を駆動します。

切り替えの規則を学習せずに動きを変える

エージェントには、いつ、どのようにパターンを切り替えるかという規則がありません。相手から力を受けて予測が合わなくなることで動きが変わるため、任意のタイミングでの変化についていけます。検証では、人がエージェントの手に力を加え、同位相と逆位相の2つのパターンを交互に切り替えました。力を加えるたびに、まず予測誤差が増え、その後、エージェントが内部状態を更新しました。新しいパターンに落ち着いて再び同調すると、予測誤差と信念の更新量がともに小さくなりました。相手がパターンではなく動きの周波数を変えた場合には、パターンを保ったまま、推定される速度比がその変化を追いました。

40秒間の時系列グラフ。動作パターン、左右の手の位置の観測値と予測値、予測誤差、信念の更新量を示し、人が力を加えた区間を青色で表示する — 人が力を加えて動作パターンを切り替えた区間を青色で示しています。そのたびに予測誤差が増え、続いて信念が更新され、新しいパターンで同調すると両方が落ち着きます。

デモンストレーションでは、体験者がロボットの手を両手で握ります。エージェントが学習済みのパターンで動き始め、体験者がそれに合わせます。同調したところで体験者がパターンを変えると、エージェントの推論を手のひらで感じられます。意図が食い違うと手が重くなり、エージェントが体験者の意図に合わせると、急に軽くなります。

現在のシステムではエージェントのインピーダンスが固定されているため、意図をすり合わせている途中で力を緩めることはなく、切り替えが終わるまで抵抗が続きます。自由エネルギーを最小化するように認知的・機械的なインピーダンスを調整すれば、触覚を通じて、人がロボットの内部状態をより直接的に推測できるかもしれません。

Reference

Takeru Hashimoto, Jun Tani, and Shunichi Kasahara. 2026. Shall We Dance? Resonance of Intentions with an Embodied Agent based on the Free Energy Principle. In Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies (SIGGRAPH Emerging Technologies ’26). Association for Computing Machinery, New York, NY, USA, 1–3. https://doi.org/10.1145/3799826.3812424

BibTeX

@inproceedings{10.1145/3799826.3812424,
  author    = {Hashimoto, Takeru and Tani, Jun and Kasahara, Shunichi},
  title     = {Shall We Dance? Resonance of Intentions with an Embodied Agent based on the Free Energy Principle},
  booktitle = {Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies},
  series    = {SIGGRAPH Emerging Technologies '26},
  year      = {2026},
  pages     = {1--3},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3799826.3812424}
}

Figures from the paper (Hashimoto et al., SIGGRAPH ’26 Emerging Technologies), licensed under CC BY 4.0.

News: Shall We Dance? at SIGGRAPH 2026 Emerging Technologies
関連記事： https://tkrtkr.com/project/shall_we_dance/