3Dホログラム・汎用AIアシスタント を普及させたい!

音声対話型AIキャラクターアシスタントアプリ「ACUAH(アクア)」が、新機能「UtaMe(うたミー)」の開発に挑戦。キャラクターがリアルタイムで歌い、一緒に音楽を楽しめる新体験を実現するため、クラウドファンディングに挑戦します。

スマートフォンアプリ と疑似ホログラムスマートフォンスタンドで、ちょっと立体に見える 音声対話 汎用AIキャラクターアシスタントを開発・提供中です。アプリ、プラットフォームの継続開発、スタンド量産化のご支援、よろしくお願いいたします。

現在の支援総額

700,000

116%

目標金額は600,000円

支援者数

26

募集終了まで残り

終了

このプロジェクトは、2024/07/15に募集を開始し、 26人の支援により 700,000円の資金を集め、 2024/08/31に募集を終了しました

現在の支援総額

700,000

116%達成

終了

目標金額600,000

支援者数26

このプロジェクトは、2024/07/15に募集を開始し、 26人の支援により 700,000円の資金を集め、 2024/08/31に募集を終了しました

スマートフォンアプリ と疑似ホログラムスマートフォンスタンドで、ちょっと立体に見える 音声対話 汎用AIキャラクターアシスタントを開発・提供中です。アプリ、プラットフォームの継続開発、スタンド量産化のご支援、よろしくお願いいたします。

このプロジェクトを見た人はこちらもチェックしています

前回に続き、疑似ホログラムスマートフォンスタンド(以下「スタンド」)の特長です。■ スマートフォンのバッテリー残量とアシスタントの動作の連携・ スマートフォンの充電をしながら使える・ アシスタントキャラクターがスマートフォンのバッテリー残量と連携して動作 スタンドは、アプリケーションを起動したまま使う事が想定されますので、充電せずにそのまま利用していると、スマートフォンのバッテリーが減っていきます。 アプリケーションの機能で、設定したバッテリー残量を下回ると、スリープモードに入るとともに画面の輝度(明るさ)が少しずつ暗くなっていきます。(ディマー機能) スマートフォンに充電ケーブルを接続して充電します。 バッテリー残量が設定した値を上回ると、キャラクターが「回復したよ~。」と起きてきます。 また、無操作状態でのスリープモード移行、目覚まし設定時には、設定時刻前にキャラクターが起きてくる仕様になっていますので、スマートフォンを充電しながら就寝、翌朝、キャラクターに起こして貰う&充電完了、といった事もできます。■ アシスタントキャラクター映像を綺麗に表示するための工夫・スマートフォン設置台とスクリーンの角度調整機構・スマートフォンのジャイロセンサーで角度を検出し、視線方向に最適な画像を表示・スタンドに設置されている場合に、画面の輝度(明るさ)最大 ジャイロセンサーにより、視線方向に最適な画像を表示(試作スタンド)■ 様々なスマートフォンサイズに対応対応サイズ・縦:約140mm~約175mm ・横幅:約65mm~約78mmスマートフォンを載せる部分の長さはプレートをスライドする事で調整できます。■ 簡単に交換可能なスクリーンスクリーンは、スタンドの部品に差し込み、切り欠きでロックするような仕組みとなっているので、汚れや破損などで交換が必要になった場合でも、工具不要で簡単に交換できます。■ 取り外し可能な背景紙明るい場所でもキャラクター像がなるべく綺麗に見えるようにするため、背面側に円形の背景紙を取り付ける事が標準となっております。一方で、スタンドの設置場所がうす暗い空間では、背景紙が無い方が現実感(現実空間にキャラクター像が投影されている感)が増す場合もあります。スタンドの設置場所に応じてどちらが良いか選択いただけるように、背景紙は取り外し可能となっています。


「疑似ホログラムスマートフォンスタンド」※プロジェクト名では「3Dホログラム」と記載させて頂いておりますが、本製品はペッパーズゴーストという視覚トリックを利用した、疑似ホログラム映像を投影する事ができるスマートフォンスタンドです。この仕組みにした理由は、ずばり「コストパフォーマンスが高い」からです。現在は様々な裸眼立体視ディスプレイや空間ディスプレイが開発、リリースされています。弊社でも実際にこれらの多くの比較対象製品を購入したり、体験してきましたが、システム全体のコスト(価格)、映像の輝度や解像度を比較した結果、ペッパーズゴーストの仕組みが裸眼立体視体験の「エントリーモデル」として相応しいとの結論に至りました。では、「ペッパーズゴースト」の既存製品と弊社スタンドは何が違うのか?ペッパーズゴーストを利用した裸眼立体視映像が楽しめる製品としては、ピラミッド型のスタンドが多くリリースされています。スタンドにスマートフォンの画面を伏せる形で載せ、YouTube等で公開されている以下のような動画を流して楽しむ、というものなのですが、残念ながらこの仕組みでは、スマートフォンの小さい画面に4つの映像を表示するため、非常に小さい映像になってしまいます。YouTube: Hologram Project by Kiste (VirusKiste)また、スマートフォンを平らしてスタンドに載せるため、映像を見る際には、机の上に置かれた装置を横から覗き込む形となり、常時映像を楽しむ、キャラクターと音声対話をするという用途には適しません。弊社の"ACUAH"は、裸眼立体視体験のエントリーモデルとして、「コストパフォーマンス」を重視した「わりきった」製品となっています。「わりきった」とは言え、映像を立体に見せるため、現実感を損ねないための様々な工夫が施されています。1方向のみの映像ですが、左右視野角は20度位はあります。更にスマートフォンスタンドの設計・製造と、その特長を活かすためのソフトウェアの開発まで弊社が一社で行っていますので"ACUAH"は、スマートフォン上の汎用AIアシスタントキャラクター映像を疑似ホログラムで表示するという点に特化した唯一の製品となっています。※ 特許第7325757号(対話可能物体表示プログラムおよび対話可能物体表示装置)クラウドファンディングも残り10日となりました。個々の特長について、引き続き活動報告でお伝えしていきます。お気に入りにご登録頂いている皆様、ご支援頂いている皆様、本当にありがとうございます。終了までよろしくお願いいたします。


活動報告で何回かお伝えしてきましたが、ACUAH の次のバージョン(ver.3.4.0)を8月末までにリリースする予定です。現在、リリースに向けて開発・調整を行っています。先にお伝えした機能・スマートフォンのキーボード入力による対話・バッテリー残量に応じた応答(「元気?」「調子はどう?」など)・Bluetoothスピーカーの再生ボタンやヘッドセットのフックボタン等による音声認識開始(Android版のみ)の他、・電話発信機能を追加いたします。電話発信前に確認を行うシナリオになっていますので、対話中にいきなり電話を掛けてしまうようなことはありませんのでご安心ください。動画の通り、対話シナリオでは「電話をかけて」→「○○○○(電話番号)」→「電話して」といったやりとりで発信する事ができますが、ChatGPT Function calling を利用する設定になっていると「×××に電話をして」→(×××の電話番号がChatGPTにより取得される)→「電話して」という事が可能となります。※動画では「千葉市役所」様のご連絡先を利用させていただきました。しかも以前の活動報告でお伝えした通りの仕組みで、この一連の流れを対話シナリオで学習しますので、次回からは電話番号の確認手順(ChatGPTへの問い合わせ)がスキップされます。また、対話シナリオ内に直接電話番号を記載する事もできますので、対話をしながら、指定した電話番号に電話を掛けてもらう、といった使い方もできます。(ACUAH editorで対話シナリオの編集が必要です。)クラウドファンディングも残り2週間を切りました。引き続き多くのご支援、お気に入り登録をいただきましてありがとうございます。次の活動報告からは、リターン品である「疑似ホログラムスマートフォンスタンド」について、特長をお伝えできればと思っています。よろしくお願いいたします。追伸:その他、Gemini APIの実装テストを行っています。間に合えば ver.3.4.0 に入れるかもしれません。


前回の活動報告で、ACUAH は 「自分の好きなキャラクターモデル」を汎用のAIアシスタントにできるように、"VRM"という 3Dキャラクターモデルのデータフォーマット を利用しているという事をご説明しました。逆に、3Dキャラクターモデルのデータを自由に変更できることによる課題もあります。それは、"VRM"というデータフォーマット規格で必須ではない仕様に関しては、様々なモデルデータで標準的に適応する事が難しいという点です。具体的な例です。ACUAHでは、「ちょっと待ってて」と声掛けをすると、キャラクターが椅子に座って待っているという動作をします。"VRM"の規格では、キャラクターモデルの身長や横幅などの大きさ、お尻の位置などについて決まりはありません。(共通の数値。例えば、身長は150cmに統一し、お尻の位置は地面から75cmの所にするとかそういった決まり)ですので、上記の動画のような「キャラクターが椅子に座るという動作」を様々なキャラクターモデルで実現するために、キャラクターモデルの身長や横幅等から様々な計算をして、概ね問題なさそうな位置に椅子を表示するようにしています。しかし、当然、これを全ての"VRM"モデルデータでのテストはできませんので、この計算から外れて、椅子が表示されなかったり、位置や大きさがおかしくなってしまう、"VRM"モデルデータというものが存在してしまいます。(申し訳ございません。)また、キャラクターが手にとる様々な物(鉛筆やノート、スマートフォン等)の位置や大きさも、キャラクターモデルデータによっては適切でない場合というのが発生してしまいます。これらの課題を解決する方法としては、キャラクターモデルデータ毎、キャラクターが触れる物体毎に、位置や大きさをユーザーが編集できるようにする。という仕組みの実装なのですが、アプリケーションの目指す方向性等も考慮した結果、現時点では対応が難しいとの判断をしております。アプリを利用中、物の位置がおかしいと感じる事もあるかと思います。お問い合わせを頂いた際に、こうした理由により、「仕様上修正が難しいです。」というご回答をやむを得ずさせて頂く場合もありますので、何卒ご了承ください。


ACUAH の特長の一つに「自由に選択、差し替え可能なキャラクター(VRMフォーマット)」というのがあります。アプリケーションでは、"ACUAH"という名前の女性キャラクターが標準で利用できるようになっています。しかし汎用のAIアシスタントならば、やはり「自分の好きなキャラクターモデル」をアシスタントにしたいと思いませんか?この「自分の好きなキャラクターモデル」を実現するにあたっては、アプリケーション内に登録されているキャラクターから選択したり、アプリケーション内でカスタマイズするだけではなく、・ユーザーが自身で用意(購入、製作)したデータに差し替えできる・そのデータが他のアプリケーションでも利用できることが理想です。そこで、様々なアプリケーションで共通に使える 3Dキャラクターデータのフォーマットが必要になるのですが、これを実現するのが "VRM"というデータフォーマットです。”VRM" は 一般社団法人VRMコンソーシアム 様が策定、普及を目指す、プラットフォーム非依存の3Dアバターファイルフォーマット  になります。※ 詳細は VRMコンソーシアム様のホームページをご覧ください。(弊社は VRMコンソーシアムの賛助会員です。)Google等で「VRMモデル」を検索してみてください。沢山のモデルデータが配布、販売されているのが分かると思います。また、ピクシブ株式会社 様からは、この"VRM"モデルを簡単に製作可能な"VRoid Studio"というアプリケーションや、製作したモデルを共有可能な 3Dキャラクターのためのプラットフォーム "VRoid Hub" というサービスが提供されています。(※ ACUAH は VRoidHub と連携していて、VRoidHub にアップロードされたモデルデータを読み込みできます。)是非、ACUAHをご利用の際には、標準モデルデータではなく自分の好きなキャラクターに差し替えて使って頂きたいと思います。(モデルデータの利用規約は遵守してください。)今回は、"VRM"という共通のデータフォーマットと、「自分な好きなキャラクターモデル」を利用する事についてお話させていただきましたが、逆に、共通のファイルフォーマットであることで、"ACUAH"アプリケーション実装上の課題もあります。次回は、この課題について少しお話できればと思います。


新しいアイデアや挑戦を、アプリで見つけるcampfireにアプリが登場しました!
App Storeからダウンロード Google Playで手に入れよう
スマートフォンでQRコードを読み取って、アプリをダウンロード!