「バーチャル握手体験会プラン」引き続き募集中です！

プロジェクトの目標金額を達成！！
ご支援と温かい応援メッセージ、誠にありがとうございます。
皆様に楽しんで頂けるよう体験作りを進めてまいります。

皆様、こんにちは！

ソフトウェアエンジニアの川部です。 エンタテインメントロボットの「aibo」の開発に携わり、生命感と躍動感あふれる動きを実現するための技術開発を担当しました。人のことを理解して寄り添う、人に愛されるテクノロジーをもっと世の中に生み出して、現実世界にファンタジーを創り出したいと思いプロジェクトに取り組んできました。
このプロジェクトでは、コロナ禍で感じた「リアルな繋がりの大切さ」をテクノロジーを駆使して手助けできないか、という思いでソニーグループ横断の若手メンバーで活動しています。ロボット、半導体、ゲーム、音楽といったテクノロジーの経験を持った多彩なメンバーが、ボトムアップで開発を進めています。 

メンバー集合写真

コロナ禍でオンラインのリモート会話システムが普及し、気軽にコミュニケーションできるようになりました。
従来のリモートシステムは、映像と声が主なコミュニケーションで、相手の実在感を感じるには課題があると感じました。我々は、ロボットハンドでリアルなふれあいを作ることで、画面の向こう側の世界を感じる体験をつくりたいと考えています。そして、構想から約1年間かけ、ロボットハンドを搭載したメタバースハンドシステムを開発してきました。

ロボットハンドを搭載したメタバースハンドシステム

まるで相手が目の前にいるかのような感覚を作り出すためには、ロボットハンドにもリアルさが必要でした。そこで、握ったときに「柔らかさ」・「あたたかい温もり」を感じるようなロボットハンドの開発を行いました。

ロボットハンド

メカメカしく、ふれあうにはどこか冷たい印象を持つことがないように、人の手のような「形状」、「指の太さ・長さ」、「柔らかさ」、「温もり」にこだわってメカ設計を行いました。実際に握手をしてみると、ほんの1mm形状が異なるだけで、手の印象が大きく異なって感じられることがわかり、試作の度に試行錯誤が続きました。

柔らかい感触を表現するために、固すぎず、柔らかすぎない肌の感触に似せた「ゲル」を製作しました。「層を厚くすると、手を大きく感じてしまう」、「層を薄くしすぎると、握った際に人間の骨にあたるロボットの骨格を感じる」といった課題がありましたが、感触や肉厚を調整して絶妙な感触を再現しています。

製作した肌感触ゲルと、ハンドに装着した様子

加えて、ロボットだと思わせない「人肌の体温」を再現できるような熱設計も取り入れています。ロボットハンドの内部に血管のようなチューブを通すことで内側から温め、体温を作り出しています。まるで「生き物に触れているかのような体温」を感じることができます。

(左図)プロトタイプ2号と3号　(右図)手のひらのヒートマップ

また、「手首、肘、肩」といった「腕の関節」も再現しています。腕を作ることで、上下左右や前後の動作にも追従する違和感のない体験を作りたいというメカ開発メンバーの思いが込められています。

(左図)メカの設計　(右図) プロトタイプ4号

ロボットハンドの「動き」にもこだわって開発を進めました。5本の指をリモートからリアルタイムに動かすことができるので、手の動きを瞬時に再現することができます。握手や、じゃんけん、きゅんですポーズ、その人に合わせた自然な動作を実現しました。操作する人に合わせて、握力を設定することもできます。

リアルタイムに動作するロボットハンド

また、腕の関節が「連動して動く」ことで、自然な握手感覚を生み出す制御を行っています。

自然な握手を生み出す

このロボットハンドを使って、オンラインコミュニケーションをより楽しく、さらに進化したオンラインコンテンツを生み出すことを目指しています。

オンラインコンテンツをさらに身近に感じられるように、時空を超えて「ドキッと」感を感じる工夫も取り入れています。オンラインでも好きなアーティストと目が合ってドキドキする感覚を感じることができるように「等身大のディスプレイ」を採用し、すぐ目の前で話している距離感を感じられるように、音響技術で口元から声がする体験を実現しました。

等身大ディスプレイと音響技術

自分の分身のような、デジタルヒューマンや、ヒューマノイドロボットへの展開も考えられるように、キャラクターアニメーションも開発しています。カメラキャプチャーベースのAI技術を利用することで、「人の表情の変化」や「人の感情」を推定して、笑ったり、驚いたりといった自然な表情変化を、そのままキャラクターに反映することができます。キャラクターのモデルデータさえあれば、シンプルなデバイス構成でキャラクターの顔、体、腕、手の変化をリアルタイムに反映でき、実在感を生かした演出が行えます。 

自然なキャラクターアニメーション

コロナ禍で多くのイベントがキャンセルになり、友人との飲み会、アーティストやキャラクターと、直接ふれあうことを当面の間控えることになりました。
オンラインのリモート会話システムが普及し、気軽にコミュニケーションできるようになった一方で、「やっぱり直接会いたい」といった、リアルな繋がりの大切さを痛感したのではないでしょうか？
その場から伝わる、温かさやぬくもりといった感覚はこれまで当たり前すぎて気づかなかったとても大切な価値だと改めて感じました。

オンラインミーティング

そこで、温かみやぬくもりを感じられるオンラインコミュニケーション体験を目指してロボットハンドプロジェクトをスタートしました。
そして今回、開発したロボットハンドを使ってバーチャル握手会イベントを開催し、オンラインでもリアルな繋がりを感じられる体験をお届けしたい！と考えています。新しいテクノロジーに感度の高い皆様、未来の可能性を感じていただける皆様、ロボットが好きな皆様に、一緒に検証に参加して頂き、フィードバックをいただけないかと考えています。

オンラインで会話するだけではないリアルなふれあい体験を届けたい！

withコロナ時代でも 、ファンイベントやアイドルの握手会のような人と人との、心の繋がりが続けられるように、リアルとバーチャルを組み合わせた未来のイベントをつくりたいと考えています。

バーチャル握手会の様子①

バーチャル握手会の様子②

なるべく多くのイベントを開催して、未来の可能性を感じていただける方や、協業していただけるパートナーを増やして、少しずつ世の中を変えていければという思いで今年の活動を計画しています。

2022年の冬　握手会のようなファンコミュニケーションの復活にトライ

2022年の春　バーチャル握手会イベントにトライ

2022年の夏　他社IPと協業して握手会イベントを開催

2022年の秋　動物、モンスターといった「子どもたちが楽しめる」握手会イベントを開催

社内で実際に体験会を実施したところ、アンケートで80%以上の方々から最高評価を頂くことができ、オンラインコンテンツにリアルでふれあえることに対しての多くの反響がありました。

「実際体験してみていい意味で、大きく裏切られる感覚は非常に面白かったです！」

「柔らかい感触、あたたかいぬくもり感で、握り返された時の感触が完全に人でした」

「ほんとに人が近くにいるような感覚を感じた時にはどきっとしました」

といった声を、アーティストやキャラクターマネジメントの現場の方々からいただきました。「ロボットハンドと聞くと、どこか冷たい印象を持ってしまった」という方が、体験後に「ドキドキするぐらいの実在感があった」とコメントをくださったときは、この体験を早く世の中に届けたいと強く思いました。

体験時の様子

近年のコロナ禍での面会や、人に会うことの難しさも改善したいと考えています。システムの開発中に、家族が入院し会うことを制限しなければならない時期がありました。施設の扉の前と部屋、近くにいても寄り添えない、不安や孤独に寄り添いたいという気持ちでいっぱいになりました。そんな状況をこのシステムを使うことで払拭できれば、人に寄り添ったコミュニケーション手段として役立つ可能性を秘めていると感じました。

「病院、介護、老人ホームなど」に設置し、画面に人物やキャラクターなどを映し、人の「ぬくもり」を感じ、「孤独」の解消につながるような将来的な活用もできればという思いがあり、ぜひ施設の方にも体験してほしいです。

実写版のバーチャル握手会

ロボットハンドをつかった「バーチャル握手会」を開催し、「オンラインでもリアルな繋がりを感じる体験」を広げたい！

「テクノロジー」の追求だけではなく、「体験の価値」を追求していくことがなにより重要だと考えています。実際に体感してもらえる「バーチャル握手の体験会」という場を作り、多くの方々に「リアルな繋がりを感じる体験」を広げていきたいと考えています。

本プロジェクトはAll-or-Nothing方式で実施します。 目標未達成の場合は、支援金は返金となり、イベントは開催できません。
新しいテクノロジーに感度の高い皆様、未来の可能性を感じていただける皆様、ロボットが好きな皆様、イベント開催のためにも、プロジェクトの支援をぜひお願いいたします。一緒に検証に参加して頂き、フィードバックをいただけないでしょうか。
応援していただける方々と一緒に次のイベントやシステム進化に繋げ、時空を超えたコミュニケーション体験のビジネス化を実現していきたいです。

資金の使い道

皆様からご支援をいただいた資金は、2022年3月に開催予定のバーチャル握手会の会場費用および運営費用にあてさせていただきます。

※多数の支援をいただけた場合には、アーティストやアニメのキャラクター、VTuberなどのバーチャル握手会を実現するための活動資金にさせていただき、具体的な使い道が決定した際に支援者のみなさまへ連絡させていただきます。

■概要
2022年3月21日(月・祝日)に都内で、バーチャル握手の体験会を開催します。
体験会では、今回のシステムの着想から実装に至るまでの歩みをお話させていただいた後、開発中のロボットハンドを見て、実際に遠隔操作での握手体験をしていただきます！
※情勢を踏まえて、アルコール消毒やソーシャルディスタンスに配慮したイベントを開催いたします。安心してご来場ください。
※感染拡大の状況下で中止や延期の可能性がございます。その際は都度ご連絡いたします。

■演者体験 (6名限定)
【演者体験プラン】のリターンを選択いただくと、ロボットハンドを操作する側(中の人)の体験をしていただけます。(※オペレーションの都合上、先着6名限定でのご案内となります。)
自分の手の動きがどんな風にロボットハンド に反映されるのかを確認したり、あなたに会いに来てくれた人の表情や反応を演者視点で観察することができます。
ロボットに興味がある人だけではなく、芸能事務所やレーベルの関係者様、YouTuberやVTuber・Vライバーの皆様にぜひ体験いただきたいプランです！
リスナーやファンとの新しいコミュニケーションの形をぜひご体感ください！

■親子でロボット体験 (10組20名限定)
【親子でロボット体験プラン】のリターンを選択いただくと、お子様向けにアレンジした内容でロボット体験をしていただけます。(※オペレーションの都合上、先着10組限定でのご案内となります。)
春休みの思い出にロボットと握手してみませんか？
※リターン選択時に参加されるお子様の学年をお伺いします。当日お子様の年齢を確認する場合がありますので、なにか年齢のわかるものをご持参ください。
※精密機械のため、未就学児の参加はご遠慮いただいております。

■皆様へのメッセージ
開発メンバーもイベント当日は控えておりますので、質疑応答だけではなく、ぜひ、リモート環境下でのコミュニケーションについてこだわりや実現されたら嬉しいことを語ってください。体験会での皆様からのフィードバックを踏まえて、今後のデバイス改良・商品化に取り組みたいと考えています！
みんなで未来のコミュニケーションを創造していきましょう！

～開催概要～
内容：バーチャル握手体験会
日時：2022年3月21日(月・祝日)
①14時台の回 (集合13:50、開始14:00、終了15:00予定) ※親子プランはこの回
②15時台の回 (集合15:20、開始15:30、終了16:30予定)
③17時台の回 (集合16:50、開始17:00、終了18:00予定)
④18時台の回 (集合18:20、開始18:30、終了19:30予定) ※演者プランはこの回 終了20:00予定
場所：LIVE CAPSULE
　東京都豊島区高田3-36-4（JR山手線 高田馬場駅 徒歩7分）
参加方法：バーチャル握手会のチケット付きのリターンを選択いただければ、登録したメールアドレス宛に開催場所の案内や入場番号をお送りします。
入場方法：受付にて、メールアドレスに送られた入場番号をご提示ください。
交通費：恐れ入りますが、会場までの交通費は自己負担でお願いいたします。
※感染症対策により身分証のご提示をお願いする場合があります。ご承知おきください。
※親子プランは、お子様の年齢が分かるもののご提示をお願いする場合があります。
※感染拡大の状況下で中止や延期の可能性がございます。その際は都度ご連絡いたします。

ロボットハンドの構想やこれまでの歩みを振り返るコンセプトブックを作成しました。

社内の有志エンジニアが協力して立ち上げた本プロジェクト。
初期構想からプロトタイプの開発に至るまでの約2年間、システムのアーキテクチャ設計や材料調達、体験価値向上に向けた動作検証の困難さはもちろんのこと、企業ならではの社内調整や資金繰りの苦労もありました。そんな中、今回クラウドファンディングができるまで開発を進めてこられたのは、開発メンバーの譲れない想いと情熱があったからこそです。

「なにか世の中をワクワクさせるものが作りたい！」「企業の中でも、出る杭であり続けたい！」「ロボットってどうやって作るのか知りたい」「裏事情が知りたい！笑」という皆様にぜひご覧いただきたいです。

＜募集方式について＞
本プロジェクトはAll-or-Nothing方式で実施します。目標金額に満たない場合、計画の実行及びリターンのお届けはございません。