This is an article contributed to a newsletter published by SonyCSL.
これはSonyCSLが発行するNew letterに寄稿した記事です。（日本語は下にあります。）
【Exploring the “New Humanity” Emerging from the Integration of Humans and Computers】
New trends begin at the frontier.
That’s why I’m in the southern island of Japan.
Cybernetic Humanity
The Cybernetic Humanity research project launched in its original form in April 2021. “Cybernetic Humanity” is a research topic that focuses on the “new humanity” emerged from the integration of humans and computers, and which approaches its investigations through both computer science and human science. We are conducting research on how the dynamics of human nature will be interwoven through the integration of human beings and computers: augmented perception and cognitions through technology , the potential new types of “self” forged when we merge with computers, and interpersonal interactions mediated by AI.
At the time I write this, our project has a total of 12 members, including the project leader (Shunichi Kasahara), one full-time project researcher, two affiliated researchers, three visiting researchers, and five research assistants. We are working on projects that combine our members’ diverse fields of expertise, which include engineering, cognition & perception, wearables, experimental psychology, community design, and interactive systems.
In addition, we are proactively collaborating with cognitive neuroscience, media design, systems neuroscience, and behavioral economics researchers, as well as with media artists. Notably, as part of joint research between Sony Computer Science Laboratories and the Okinawa Institute of Science and Technology Graduate University (OIST), the Cybernetic Humanity Studio has been started on the OIST campus, and our two teams in Tokyo and Okinawa are also sharing research remotely.
In this article, I will discuss the background of our research concept, why we initiated work in Okinawa, and the directions we hope to take our research.
The Augmented Self and the Invariant Us
“How do we define the self?” This was once a purely philosophical question, but today it is a vital issue in the research in human-computer interaction.
When humans integrate with computers, to what extent are we still ourselves? Computers are no longer just tools for humans, but are deeply intervening in our bodies and behavior. As computing technology evolves, it is becoming possible to assist, reinforce, and augment human action, decision-making, and more. When humans integrate with computers and acquire abilities and different bodies beyond what we currently possess, how do we define our own humanity?
However, if we are to create a world where humans and technology are truly integrated, I believe we cannot avoid considering the self, the human side of things, and ask the question, “To what extent is this really me?” Even if we are able to give ourselves abilities far beyond those of ordinary human beings, or put ourselves in entirely new bodies, if we do not feel both cognitively and perceptually that this technology is part to us, then we cannot say that humans and computers have reached a state of mutual adaptation. This is why I believe it is so important to delineate and design the integration of humans and computers with the “self” in mind.
In addition to assistive technologies including augmenting human ability, advances in large language models and generative AI are now making it possible to generate copies of ourselves—our images, sounds, thoughts and actions.
You can release a generative network that speaks different languages fluently over footage of your face, allowing anyone to create another version of you, even a voice generator that creates songs using your own voice. This is just one example of we can now “resynthesize” ourselves using computers.
Apple has announced an iOS accessibility feature for people at risk of losing the ability to speak; it can learn your own voice and read text aloud in it [1]. Technologies like these offer so many possibilities for augmenting the expressive power of the self. Augmented selves will become our new user interfaces.
However, as these technologies evolve and democratize so rapidly, many issues remain. The impacts of this self-augmentation on social norms and on how we perceive ourselves are not yet fully understood, and many potential issue are unveiled.
Actually, many concerns are being raised. The use of synthetic versions of other people’s voices or appearance raises ethical concerns regarding infringement of privacy and identity, and creates disintegrated digital identities that may result in psychological issues; assistive systems and other automatically controlled technologies may rob us of our sense of agency and embodiment, in turn making it unclear where to assign responsibility, corroding moral standards as we lose independence.
Recently, SAG-AFTRA (a US-based actors’ union) went on strike. One of their serious concerns is producers using 3D scans of actors in ways that the actors did not consent to.
We believe that dealing with social issues raised by progress in AI and other technologies should not only involve restrains and restrictions. It is important to understand the changes that technological progress will cause to our sense of self, independence, and identity, and then augment ourselves accordingly and appropriately. Concerns about the evolution of AI could lead to blanket regulations and restrictions on its use that will ultimately hinder technological progress.
When we think about how the development of science and technology can be reflected in society in desirable ways, it is important that, as humans and computers integrate more and more, we do not think of AI in terms of something we “use” or “are used by”—rather, we must understand how to incorporate users’ identities and augment their subjective sense of self. We believe this will make it possible to create designs that address social issues.
Based on those backgrounds, we believe it is vital to understand how the “new humanity” created by the integration of humans and computers will affect awareness of self, communication, and social relationships, in terms of our sensory experience and perception as well as in terms of the social and human sciences.
Cybernetic Humanity
If we augment the self, what can be the self? The augmentation brought about by the evolution of technology and the subjectivity with which we define ourselves. How do we reconcile these two seemingly contradictory elements? To express this question, we have named the concept “Cybernetic Humanity”, focusing on the “new humanity” created by the integration of people and computers. We see this as a new field of research to be explored through both computer science and human science.
The exploration of Cybernetic Humanity requires deep thinking that seeks to connect seemingly contradictory and complex characteristics of embodiment expanded by technology and the human nature inherent in ourselves. To grapple with this complex set of problems, we have moved beyond a reductive, factorizing approach and adopted a flexible, we are adopting research cycle that treats human bodies and humanity itself as Open Systems through generating and analyzing new experiences.
So far, our team has conducted research on the fusion of computers and humans[7], the sense of agency in human augmentation (the feeling that “I am performing this action”)[6,8], the relationship between generative AI and humans perception and cognition[5], and studies related to facial identity[3]. We are also undertaking research regarding self-understanding in integrated human-computer frameworks, both on the nature of subjectivity [6] and on transformations in human social behavior in systems in which humans and AI are working together [4].
We are conducting a circular research approach that involves implementing those studies as interactive systems, carrying out empirical experiments through social implementation, exhibiting experiential works, and citizen participation workshops, among other fieldwork. We engage with society by analyzing both qualitative and quantitative data, which helps us further develop and advance our research.
Starting from the Frontier
Where should we start our investigations into Cybernetic Humanity? As for when I started thinking about this concept, I was rethinking my own research frameworks, and, because of the COVID-19 pandemic, rethinking where exactly I could do my research. I homed in on this “new humanity” created by the integration of humans and computers, and on the points at which computer science and the natural sciences meet—what kind of research framework would I need to create a new scientific trend?
My attention then turned towards the Okinawa Institute of Science and Technology Graduate University (OIST), which has an extremely strong research portfolio in the theoretical sciences and the natural sciences. Dr. Svante Pääbo, 2022 winner of the Nobel Prize in Physiology or Medicine, is an adjunct professor at OIST.
Located in the village of Onna in the central part of Okinawa, OIST is a very precious place, surround by the ocean and the Yanbaru forests. (And it’s about 90 minutes from Naha Airport by express bus and shuttle bus!) With the unique natural environment, research on plant and marine biology is extremely active. As of 2023, roughly 80% of the students are international, and they come from many different countries, making OIST a truly exceptional graduate school.
What makes me so extremely interested in OIST is that it is a frontier. As I just said, the natural sciences are flourishing at OIST, but there are not many computer scientists here, and actually no researchers in my specialty of human-computer interaction. I thus thought this would be the perfect place to bring Cybernetic Humanity in order to catalyze it.
In my own career, I have tried to move between different domains while sublimating what they have in common, undertaking new research and uncovering issues that need to be worked out. The research projects I want to do, the characteristics of OIST, and my work at CSL all fit together, and I have been able to initiate research at the Cybernetic Humanity Studio, a collaboration between CSL and OIST.
In April 2023, I moved to Okinawa and started full-fledged work here. Immediately after, on April 21, together with Dr. Anatole Lécuyer of INRIA (the French National Institute for Research in Digital Science and Technology), who had a visiting position at OIST, we held a seminar and public lecture on embodiment, virtual reality and human augmentation [9], and also held an open house for the Cybernetic Humanity Studio [10]. In the event, we welcomed more than 100 attendees, some from OIST and some from outside. I am extremely pleased that our activities are off to such a successful start.
OIST is also very interested in this new trends, and we have already initiated several joint research projects. Can we reveal unique aspects of humanity using the perspectives of other species? What are the differences between the physical phenomena of interaction and communication? How we define the self in embodied cognitive science? These questions are just some of the joint research that are already underway. My vision is to establish a framework for scientific research of “new humanity” that connects computer science and natural science and integrates humans and computers. This is what I want to explore as we forge bonds between Sony CSL and OIST.
Coincidentally, Sony Computer Science Laboratories has changed an organizational structure, and I am now part of Transboundary Research, meaning I’m not based in Tokyo or Kyoto. A nomad researcher at the southern edge of Japan, I will work here at the frontier to create new trends, crossing the borders between industry and academia; science, engineering, and design; and computer science and natural science.
[1] Apple, Personal Voice, https://www.apple.com/newsroom/2023/05/apple-previews-live-speech-personal-voice-and-more-new-accessibility-features/
[2] 2023 SAG-AFTRA strike, https://www.sagaftrastrike.org/
[3] Morphing Identity, doi:10.1145/3544548.3580853
[4] Extinction of reciprocity in a semi-automated driving coordination experiment, IC2S2
[5] Human Latent Metrics, doi:10.1145/3548814.3551460
[6] Whose Touch Is This?, doi: 10.1145/3489608
[7] Transparency in Human-Machine Mutual Action, doi:10.20965/jrm.2021.p0987
[8] Preemptive Action, doi:10.1145/3290605.3300873
[9] 日仏共同セミナー, https://www.oist.jp/news-center/news/2023/5/18/oist-hosts-french-japanese-seminar-metaverse-and-virtual-reality
[10] SonyCSL web, https://www.sonycsl.co.jp/event/15158/
(Shunichi Kasahara, Sony Computer Science Laboratories)
【Cybernetic Humanity:人とコンピュータが融合することで生み出される“新たな人間性”を研究する】
新しい潮流を作るならば、それは辺境から始まるはずである。
笠原研究員は現在、沖縄県恩納村にいます。
Cybernetic Humanity プロジェクトは前身を含めて、2021年4月に立ち上げた研究プロジェクトです。「Cybernetic Humanity」は、人とコンピュータが融合することで生み出される“新たな人間性“に着目し、コンピュータ科学と人間科学の両側面からのアプローチを通じて探究を試みる研究テーマです。テクノロジーの発達と共に拡張していく感覚や知覚、コンピュータとの融合によって形成される「自己」、AIの介在によって変化しうる人と人の相互作用など、人とコンピュータが融合して織りなす人間性のダイナミクスを多角的に研究していきます。
執筆時点での現在のメンバーは、プロジェクトリーダー（笠原俊一）とプロジェクト研究員1名、兼務研究員2名、客員研究員3名、リサーチアシスタント5名の合計12名で活動しています。エンジニアリング、知覚認知、ウェアラブル、実験心理、コミュニティデザイン、インタラクションシステムなど、メンバーの多様な専門分野を組み合わせてプロジェクトを進めています。さらに、神経認知科学、メディアデザイン、システム神経科学、行動経済学の外部ラボやメディアアーティストとのコラボレーションを積極的に進めています。特に、2023年からは、ソニーコンピュータサイエンス研究所と沖縄科学技術大学院大学(OIST) との共同研究の一環で、Cybernetic Humanity StudioをOISTキャンパス内に設置し、チームは沖縄と東京の２拠点リモートで協力して研究活動を行っています。
本稿では、研究コンセプトの背景、なぜ沖縄での活動を開始したのか、そして研究が目指す方向性を説明します。
<拡張する自己と、不変の我々>
“自己をどのように定義するか”という問いは、かつては哲学的な問いでしたが、今日では人間とコンピュータの関係を研究する際の重要な課題となっています。
人間とコンピュータが融合した時、自分はどこまで自分か。今やコンピュータは単なる道具ではなく、我々の身体や行動に深く介在しています。人間がコンピュータと融合し、人間本来を超えた能力や異なる身体を獲得する時、自分はどこまで自分であるのか。コンピュータ技術の発達により、人間の運動や判断のアシスト・補強・拡張が可能となりつつあります。ただし、本当の意味で人間と技術が融合した状態を実現するには「自分はどこまで自分であるのか」という人間側の「自己」についての視点は避けては通れないと考えています。もし仮に人間を大きく凌駕した能力が実装されたとしても、また、自らとは異なる身体を獲得できたとしても、それが知覚的・認知的に自分のものだと思えなければ、人間と技術が相互に適応した状態とはいえないからです。だからこそ「自己」を伴った人間とコンピュータの融合を解明・設計する事が重要であると考えています。
人間拡張技術による人間能力の延長としてのアシストに加えて、大規模言語モデルや生成AIの進化により、個人の映像・音声や思考や行動を含めた自己複製の生成が現実的になっています。自分の顔映像で異なる言語の言葉を流暢に話すような生成ネットワークを公開し、誰でも自分の顔の派生型を合成できるようにすること、自己の声の生成システムを公開して自身の歌声で楽曲を生成できるようにすることなど、自分自身をコンピュータによって再合成させることが可能になっています。実際に、iOSのアクセシビリティ機能として、自分の声を学習させ、声を失った後でも自分の声でテキストを読み上げる機能が発表されています[1]。こういった技術により自己の表現能力を拡張する可能性が多く、そのような拡張する自己が新たなユーザーインターフェースとなるでしょう。
しかし、これらの技術の急速な進化と民主化に伴い、自己拡張がもたらす人間の自己認識や社会規範への影響がまだ体系的に理解されていないため、多くの課題が残されています。他人の音声や歌声、容姿の合成使用などの個人のアイデンティティを侵害する倫理的妥当性や、自身のデジタルアイデンティティの不整合とそれに伴う心の問題、自動制御を含む技術によるアシストで主体性・身体性を失ったことで生じる不透明な責任帰属、主体性の欠如による道徳的規範の損失など、多くの問題が懸念されています。最近ですと、SAG-AFTRA（アメリカの俳優組合）がストライキの中で、3Dスキャンしたその俳優の外見を本人の同意なく制作者が使用できる施策に対して強い懸念を示しています[2]。
AIを含む技術進歩によって生じる社会的課題を解決するためには、技術の制約や抑制だけでなく、技術進歩がもたらす自己の主観性、主体性、アイデンティティの変化を理解し、その上で適切にそれらを拡張することが重要だと我々は考えています。AI技術進化の懸念に対して、自己主観性を保証するための一律的な規制や技術使用の抑制策は、結果的にテクノロジーの進化を阻害する可能性があります。科学技術の発展が望ましい形で社会に反映されるための重要な観点として、人間とコンピュータがより融合していく社会において、単にAIを「使う」または「使われる」のではなく、ユーザーが主体的に関与し、自己主観性を拡張する方法を理解することが必要です。そのことで、社会課題に対応した設計が可能となると考えています。
このような背景から、人間とコンピュータの融合により生じる”新たな人間性”が自己認識、コミュニケーション、社会関係性にどのような影響を及ぼすのか、感覚、認知、社会科学、人間科学の観点から理解することが重要だと我々は考えています。
拡張する自己を自己たらしめるものはなにか。テクノロジーの進化でもたらされる拡張と、その時に我々が自己を定義する主観性。これら一見相反する二つの要素をどのように結びつけるのか。この問いを表現するコンセプトとして、この度「Cybernetic Humanity」と名付け、人とコンピュータが融合することで生み出される“新たな人間性“に着目し、コンピュータ科学と人間科学の両側面からのアプローチを通じて探究を試みる新たな研究領域として考えています。
Cybernetic Humanityの探究は、テクノロジーによって拡がる身体性と私たち自身に内在する人間性という、一見相反し得る複雑な性質を接続し、議論を深める必要があります。これらの複雑な問題系に対して、要素還元的なアプローチのみならず、オープンシステム（開放系）としての身体と人間性を対象に、新たな「体験」を生み出し、分析を試みる循環的体験研究サイクルを採用しています。
これまで、我々のチームは、コンピュータと人間の融合[7]、人間拡張における行為主体感（「この行為は私が行っている」という感覚）[6,8]、生成系AIと人間の知覚認知の関係[5]、顔のアイデンティティに関する研究[3]などを行ってきました。さらに、AIと人間が共同で行動を行うシステムにおいて主体感の性質[6]や、人間の社会的行動の変容に関する研究[4]にも取り組み、コンピュータと人間が融合した系における自己理解のための研究を推進してきました。それらの研究をインタラクティブシステムとして，社会実装による実証実験，体験作品展示や市民参加型ワークショップなどのフィールドワークを通して社会へ問いかけ，質的・量的なデータから分析を行い，さらなる研究へ発展をさせる循環的な研究手法を行っています。
<辺境から始めてみる>
Cybernetic Humanityの探究をどこから始めるのか。この構想を考え始めたのは、自らの研究的枠組みを見直し、コロナ禍で研究場所を見直した時期と関連します。人とコンピュータが融合することで生み出される“新たな人間性“に着目し、コンピュータサイエンスと自然科学がどのように接点を持ち、新たな科学的潮流を生み出すためには、どのような枠組が必要なのか。
そこで注目をしたのが沖縄科学技術大学院大学（OIST）でした。OISTは理論科学や自然科学分野に非常に強い研究ポートフォリオを有しており、2022年のノーベル生理学・医学賞を受賞したスバンテ・ペーボ教授もOISTのAdjust ProfessorとしてOISTに在籍しています。沖縄中部の恩納村にあり、海とやんばるの森に囲まれた非常に稀有な場所です。（那覇空港からのアクセスは、高速バスとシャトルバスを用いて約1時間半！）そうした環境的側面もあり、植物や海洋生物学の研究も非常に盛んである。2023年時点で学生の約80%は国外から来ており、かつその国籍のバリエーションが非常に高いなど、非常に特色がある大学院大学です。
私が非常に興味を持ったのが、フロンティアとしてのOISTです。前述のようにOISTで自然科学分野が盛んな一方で、コンピュータサイエンス研究者が多くはなく、さらに、私の専門の一つのヒューマンコンピュータインタラクションの研究者は皆無に等しいです。であるがゆえに、Cybernetic Humanityの概念を持ち込み、化学変化を引き起こす場所としてまたとない絶好の場所であると思ったのです。自分自身の研究来歴としても、異なる研究分野を横断しながら、互いの共通項を昇華させて、新たな研究と明らかにするべき課題を見出すことを行ってきました。そうした、取り組むべき研究、OISTの特色、CSLでの私の研究がピースとしてはまり、CSLとOISTのコラボレーションとしての、Cybernetic Humanity Studioでの研究を開始することができました。
そして2023年4月から笠原自身も沖縄に移住し本格的に活動を開始しました。直後の4月21日に、同時期に短期滞在をしていたINRIA（フランス国立情報学自動制御研究所）のアナトール・レキュイエール博士（Anatole Lecuyer）と共同で身体性やVirtual Reality、人間拡張に関するセミナーとパブリックレクチャーを行い[9]、さらにCybernetic Humanity Studioのオープンラボを行いました[10]。結果的に、OIST内外の100人を超える参加者を迎えて非常に盛況な活動開始を実現することができ非常に嬉しく思っています。
こうしたOISTにとっても新しい潮流に興味を持ってもらい、すでにいくつかの共同研究が始まっています。別の生物の視点から人間の特異性を明らかにするには？物理現象として発生する相互作用とコミュニケーションの違いは？身体性認知科学の観点で自己はどのように表現されるか？これらの問いは、すでに共同研究が始まっている一例です。こうした、コンピュータサイエンスと自然科学を繋ぎ、人とコンピュータが融合することで生み出される“新たな人間性“を科学的に研究するフレームワークも確立していきたい。これがソニーCSLとOISTをつなぎ探求したいことです。
奇しくも、ソニーコンピュータサイエンス研究所は組織再編を行い、笠原は東京でもない、京都でもない、トランスバウンダリーリサーチに所属することとなりました。企業研究とアカデミア、サイエンス/エンジニアリング/デザイン、コンピュータサイエンスと自然科学、いくつかのバウンダリーを行き来しながら、辺境から新たな潮流を生むべく、ノマド研究者は南の島におります。
[1] Apple, Personal Voice, https://www.apple.com/newsroom/2023/05/apple-previews-live-speech-personal-voice-and-more-new-accessibility-features/
[2] 2023 SAG-AFTRA strike, https://www.sagaftrastrike.org/
[3] Morphing Identity, doi:10.1145/3544548.3580853
[4] Extinction of reciprocity in a semi-automated driving coordination experiment, IC2S2
[5] Human Latent Metrics, doi:10.1145/3548814.3551460
[6] Whose Touch Is This?, doi: 10.1145/3489608
[7] Transparency in Human-Machine Mutual Action, doi:10.20965/jrm.2021.p0987
[8] Preemptive Action, doi:10.1145/3290605.3300873
[9] 日仏共同セミナー, https://www.oist.jp/news-center/news/2023/5/18/oist-hosts-french-japanese-seminar-metaverse-and-virtual-reality
[10] SonyCSL web, https://www.sonycsl.co.jp/se/15184/
（ソニーコンピュータサイエンス研究所 笠原 俊一）
Cybernetic Humanity 