Embodied Agile Robotic Arm

AgiLimb: Embodied Agile Robotic Arm by Integrating Digital Reflex and Seamless Action Takeover

Yusuke Kawashima, Yoshiaki Abe, Takeru Hashimoto, Shunichi Kasahara, and Ryuma Niiyama
ACM SIGGRAPH Asia 2024 Emerging Technologies

本研究を主導したRyuma Niiyama、Yusuke Kawashima、Yoshiaki Abe（明治大学）のグループと、Takeru Hashimoto（Sony CSL）との共同研究です。

Paper (ACM Digital Library) · PDF

Abstract

人が操作するロボットでスポーツの動作を行うのは、難しい課題です。Human-robot-human（HRH）interactionでは、ロボットの身体能力と人の柔軟性を組み合わせることが鍵となります。AgiLimbは、操作する人が行為主体感を保ちながら、自分自身の知覚・身体能力を超えるロボットの動作を体験できるように開発したシステムです。視覚情報に基づく高速なdigital reflexを導入し、人の高次の視覚フィードバックによる遅れを補います。さらに、動作を一時的に引き継ぐaction takeoverの仕組みによって、動作の正確さを高めます。素早い動きを支えるのは、この用途のために設計した準ダイレクトドライブのロボットマニピュレータです。デモンストレーションでは、自分の身体のように動き、反応するAgiLimbの操作を体験できます。

速いアームでも、人の反応を待つと遅れる

リアルタイムのモーションキャプチャを使えば、ロボットアームを、操作者より速く正確に動くアバターとして使えます。AgiLimbのアームは、そのために設計されています。4つの準ダイレクトドライブモーターで、長さ337 mmの上腕と284 mmの前腕を駆動します。モーションキャプチャで捉えた操作者の腕の動きに100 Hzで追従し、人の能力を超える加速・減速ができます。

ただし、操作者の動きを追うだけでは、その速さを十分に生かせません。視覚刺激を受けてから人が動き始めるまでには約250 msかかるため、操作者を待つアームは、人より速く反応できません。また、人とは関節構造が異なるため、意図した方向へボールを投げるのも難しくなります。

必要な瞬間だけ制御を引き継ぐ

AgiLimbは、素早い反応や正確な投球が必要な瞬間だけアームを自動制御し、その後は操作者に制御を戻します。 キャッチではdigital reflexが動作を引き継ぎます。最大140 fpsで動く2台のカメラで赤いボールを追跡し、三角測量で位置を求め、運動学モデルで軌道を予測します。追跡開始から約60 msでアームが動き始め、人の視覚反射より速く反応します。投球ではenhanced actionが動作を引き継ぎます。操作者の腕の動きから投げる意図を検出し、躍度最小モデルでその後300 msの動きを予測して方向と速度を推定し、アームに適した投球動作を生成します。

制御を引き継ぐ際には、手動制御と自動制御の比率を調整して混ぜ合わせ、各関節への指令を作ります。キャッチや投球を検出するまでは、自動制御の比率は0で、完全な手動操作です。検出すると比率が一気に上がり、動作の後は徐々に0へ下がることで、滑らかに操作者へ制御が戻ります。比率を1未満に保てば、操作者が動きを調整する余地も残ります。自分が動かしているという感覚を保ちながら、自身の知覚・身体の限界を超えた動作を行うことを目指しています。

Reference

Yusuke Kawashima, Yoshiaki Abe, Takeru Hashimoto, Shunichi Kasahara, and Ryuma Niiyama. 2024. AgiLimb: Embodied Agile Robotic Arm by Integrating Digital Reflex and Seamless Action Takeover. In SIGGRAPH Asia 2024 Emerging Technologies (SA ’24). Association for Computing Machinery, New York, NY, USA, Article 2, 1–2. https://doi.org/10.1145/3681755.3688951

@inproceedings{10.1145/3681755.3688951,
  author    = {Kawashima, Yusuke and Abe, Yoshiaki and Hashimoto, Takeru and Kasahara, Shunichi and Niiyama, Ryuma},
  title     = {AgiLimb: Embodied Agile Robotic Arm by Integrating Digital Reflex and Seamless Action Takeover},
  booktitle = {SIGGRAPH Asia 2024 Emerging Technologies},
  series    = {SA '24},
  year      = {2024},
  articleno = {2},
  pages     = {1--2},
  publisher = {Association for Computing Machinery},
  address   = {New York, NY, USA},
  doi       = {10.1145/3681755.3688951}
}

Figures from the paper (Kawashima et al., SIGGRAPH Asia ’24 Emerging Technologies). © 2024 Copyright held by the owner/author(s).

• News: AgiLimb at SIGGRAPH Asia 2024 Emerging Technologies
• Related projects: Parallel Ping-Pong