LINEで送る
Project Salieri AI では、スマートフォン上で動作するローカルLLMを、UnityのInspector画面から設定できます。
画像は、ローカルLLMの動作を管理する設定画面です。
使用するAIモデルのファイル名を指定し、必要に応じてコンテキスト長、生成する文章の長さ、CPUスレッド数などを設定します。
モデルを変更したい場合も、基本的には使用する .gguf ファイルを差し替えて、モデルの保存先を指定するだけです。
ローカルLLMとは？
ローカルLLMは、インターネット上のAIサービスへ毎回データを送るのではなく、端末内で直接動作する文章生成AIです。
Project Salieri AI では、スマートフォンの中に保存したAIモデルを読み込み、会話の返答を端末内で生成できます。
そのため、通信環境がない場所でも、ローカルAIとして動作させることができます。
AIモデルを用途に合わせて変更できます
ローカルLLMには、さまざまな種類があります。
軽量で応答しやすいモデル、少し重い代わりに複雑な返答が得意なモデル、日本語に強いモデルなど、それぞれ特徴が異なります。
Project Salieri AI では、対応する形式のモデルを差し替えることで、端末性能や用途に合わせた調整ができます。
導入の難しさを減らすための構成
ローカルLLMの導入には、本来であればモデルの読み込み処理、推論処理、会話形式の整形、生成停止条件、メモリ使用量の調整など、複数の設定が必要です。
Project Salieri AI では、これらをUnity上から扱いやすい形にまとめています。
専門的な調整も可能ですが、まずは設定済みの構成を使って動作させ、必要になった段階で細かく調整できます。
今後の活動報告では、AIの返答に合わせて表情を変える仕組みや、音声で会話する機能、カメラによる認識、ロボットアームとの接続についても順番に紹介していきます。
