Conversational Agents on Your Behalf: Opportunities and Challenges of Shared Autonomy in Voice Communication for Multitasking
Yi Fei Cheng, Hirokazu Shirado, and Shunichi Kasahara
ACM CHI 2025 · Best Paper Award
筆頭著者でSony CSL Summer InternのYi Fei Cheng（Carnegie Mellon University）、Hirokazu Shirado（Carnegie Mellon University）との共同研究です。
Paper (ACM Digital Library) · PDF
Abstract
エージェント技術の進歩により、オンラインでのコミュニケーションをユーザーに代わって担い、複数の作業を並行して進めることで生産性を高められると期待されています。人による制御と組み合わせれば、ユーザーの主体性を保ちながら、人やエージェントが単独で取り組む以上の成果を得られるかもしれません。しかし、この技術を使って人がどのように効果的なマルチタスクを行えるのかは、明らかになっていません。本研究では18組のペアを対象に、音声通話への参加を続けながら計算課題に取り組む際、自動応答をどのように利用するかを調べました。参加者は、自動化なし（none）、人とエージェントによる分担（shared）、完全な自動化（full）の3条件で、会話と計算を並行して行いました。完全な自動化では会話への参加を維持しつつ、効果的にマルチタスクを行えました。一方、予想に反してshared autonomyではそれが妨げられました。この結果を踏まえ、会話におけるshared autonomyの設計で考慮すべき点と課題を議論します。
自分の代わりにエージェントが話す
エージェントがリアルタイムの音声・ビデオ通話に参加できるようになれば、定例会議を任せて、その間にほかの仕事を進めることも考えられます。人とシステムが主導権を分担するインターフェースやロボットの遠隔操作など、shared autonomyの研究では、人による制御と自動化の組み合わせが、それぞれ単独の場合よりうまく機能することが示されてきました。会話でも同じことが成り立つのでしょうか。音声通話をエージェントと分担すれば、同時に別の作業ができるのかを調べました。
開発した音声通話システムでは、ユーザーが相手と直接話すことも、エージェントに応答を任せることもできます。エージェントの発話には、事前に行った類似の会話から録音したユーザー自身の音声の断片を使います。言語モデルが相手の直前の発話に最も合う断片を選び、発話活動を捉えるモデルが自然なタイミングで「うん」などの相づちを入れます。ユーザーが話し始めると、常にその声がエージェントより優先されます。
18組のペアによる実験
参加者18組（36人）が別々の部屋から通話し、架空の学生プロフィールについて話しました。ユーザー役は会話をしながら計算問題にも取り組みました。条件は、エージェントを使わずに話すnone、会話をエージェントに任せるfull、エージェントと分担するsharedの3つです。
Shared autonomyはマルチタスクを改善しなかった
エージェントと会話を分担しても、マルチタスクの成果は向上しませんでした。解けた計算問題の数は、エージェントを使わない場合とほぼ同じでした。 Full autonomyでは狙いどおりに機能し、正答数が最も多くなりました。エージェントを使わない条件の正答数は、それより33%少なくなりました。Shared autonomyでは、ユーザー側の発話のうち、単語数で約40%をエージェントが担ったにもかかわらず、正答数はfull autonomyより36%少なくなりました。正答率は3条件で同程度だったため、差が生じたのは取り組めた問題数でした。
Full autonomyには別の問題がありました。ほかの作業に注意を向けられる一方、ユーザーには不安が残りました。ユーザーは完全に自動化された会話をほかの条件より低く評価し、「何が起きているか分からない」と感じた人もいました。対照的に、会話相手は違いに気づかず、3条件すべてで会話の質を同じように高く評価しました。会話中に自動化を疑った相手は18人中3人だけでした。
Shared autonomyではこうした不安が和らぎ、ユーザーの会話に対する評価は、自分で話した場合と同程度でした。ただし、会話の様子を把握できることで、注意が通話に引き戻されました。18人中13人が会話への参加により労力がかかると感じ、11人が会話を細かく追わずにはいられず、9人はエージェントが適切に応答しているときも監視を続けていました。エージェントによってほかに向けられるはずの注意が、その監督に使われたのです。
使い続けるうちにエージェントへの信頼は高まるかもしれませんが、論文では、より根本的な問題の可能性を指摘しています。エージェントがユーザーの代理として振る舞うと、その応答はユーザー自身の行動の延長として受け取られます。そのため、エージェントがどれほど適切に動いても、ユーザーの注意を引きつけます。実際に13人が、自分を正しく表しているかを気にしていました。会話におけるshared autonomyの設計では、制御の分担に加え、アイデンティティや、自分が他者にどう表現されるかを考慮する必要があります。
会話を代行するエージェントが適する場面
会話には、誰が話しているかが大切な社交的なものから、情報だけが重要な用件中心のものまであります。会話を代行するエージェントが特に有望なのは、その中間にある、同僚との会議やオンライン講義のように両方の目的を持つ会話だと考えています。
Reference
Yi Fei Cheng, Hirokazu Shirado, and Shunichi Kasahara. 2025. Conversational Agents on Your Behalf: Opportunities and Challenges of Shared Autonomy in Voice Communication for Multitasking. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (CHI ’25). Association for Computing Machinery, New York, NY, USA, Article 160, 1–18. https://doi.org/10.1145/3706598.3714017
BibTeX
@inproceedings{10.1145/3706598.3714017,
author = {Cheng, Yi Fei and Shirado, Hirokazu and Kasahara, Shunichi},
title = {Conversational Agents on Your Behalf: Opportunities and Challenges of Shared Autonomy in Voice Communication for Multitasking},
booktitle = {Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems},
series = {CHI '25},
year = {2025},
articleno = {160},
numpages = {18},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
location = {Yokohama, Japan},
doi = {10.1145/3706598.3714017}
}Figures from the paper (Cheng et al., CHI ’25), licensed under CC BY 4.0.