おはようございます。ここ数日、デモ動画の制作・編集にかかりきりの小泉です。制作中のデモ動画は5本。会話ログを素に、Claude × Gemini で解説シナリオを生成（こういうのは Gemini が上手い）。そのシナリオでを ElevenLabs で音声生成。現在、Premire Proで動画に音声を乗せているところです。AIでのシナリオ生成も音声生成も、今後のSIDEKICK開発にも関わってくるので、ノウハウを溜めつつ取り組んでいます。最近はClaudeの方から、「これ、メモっとく？」と聞いてくれるので助かってます。制作過程で得たノウハウさて、前回、無編集デモ動画でお届けした、SIDEKICK プロトタイプでのAIグループトーク。その後も着々と進化しておりまして、もう、人間とのグループトークとほぼ変わらないレベルになりました！その試行錯誤の過程で、いろいろと興味深い知見を得られたので、いくつかご紹介したいと思います。前回のデモ動画でもその様子が見られますが、例えば、AIたちに《しりとり》をさせる。一見、やいのやいのと盛り上がっているようにも見えますが、AIたちの発言をよく見てみると、会話のキャッチボールが成り立っていない場面が多々見られます。順番を守らないデモ動画の《しりとり》 は、指名制で繰り広げられます。答えたら次を指名。ところが、指名されてないのに答えてしまうことが頻繁に起きています。だいたい決まったモデルなのですが、そのせいで順番が大混乱。人間の私も、誰のお題に答えればいいのか、わからなくなってしまいます。そして、どんどん《しりとり》の体を成さなってゆき……。会話を横取りまた、例えばジェイミー（Gemini）が、発言の中で、ロン（Grok）に呼びかけてるとします。それをラル（Mistral）が横取りするように、ロン（Grok）に成り代わって答えしまう。こうした別のAI同士の会話を横取りして、別のAIが、自分に話しかけられてるかのように答えてしまう場面も多々見られます。これはもしかして、前述の順番を守らないのも、順番を横取りしているのか？と思いつきまして、順番・会話の横取りがどれくらい発生しているのかを、会話ログから調査してみました。すると、特定のAIによる《横取り》が圧倒的に多いことがわかりました。ラル（Mistral）です。次にずっと少なくてチャッピー（GPT）、ロウ（Claude）・ジェイミー（Gemini）・ロン（Grok）はほぼゼロでした。これはモデルの性能差なのか？AIが会話の内容や流れ、誰に向けられた発言なのかを、正しく認識できず、混乱してるだけなのか？確かに、Mistral は他のモデルに比べると性能は劣っていますが、それにしても…？低性能モデルが足を引っ張るそこで、Mistralのモデルを、高性能タイプに変更してみるコトしました。この時点では、全AIで、一番安い高速・低性能タイプのモデルを使っていましたので、Mistralだけモデルを高性能版に切り替えてみたのです。すると、横取り現象は激減し、見違えるほど整然とスムーズな会話が展開されるようになりました。つまり。ラル（Mistral）は、モデルが低性能故に、グループトークに対応できていなかったというわけです。元々1対1の会話しか想定されていないのかもしれません。さらに、ラル（Mistral）の会話の流れに沿わない発言が、グループ全体の会話を乱していたことも明確になりました。6人での会話の履歴を追い、会話の流れに乗ろうとしている他のAIたちにとっても、履歴に現れるラル（Mistral）の乱発言は、ノイズでしかありません。ノイズのせいで会話の流れを把握するのが難しくなってしまいます。結果、グループ全体のトークが乱れてゆく、というわけです。AIが自分でモデルを選ぶこれをきっかけに、SIDEKICK コアエンジン BigDaddy の主要機能の一つであるモデルルーティングを、実験的にこのプロトタイプに実装することにしました。各AIは、これから発言する内容によって、性能の High / Middle / Low からモデルを選びます。Claudeであれば Opus（High）、Sonnet（Middle）、Haiku（Low）のどれかを、Cluade自身が選び、発言を生成します。挨拶や軽い会話であれば Low でいいですし、少し難しい話ならば Middle、高度な推論が必要なら High。というように、AI自身がモデルを使い分けます。実際に動かしてみると、《しりとり》では、どのAIもずっと Low を選択していました。《しりとり》のような言葉遊びならば、Low で十分です。一方、《AIは恋愛できるか？》といった哲学的なテーマでは、各AIが積極的に Middle、High を使い分けていました。興味深かったのは、哲学トークの間でも、GPTは一貫して Low を選んでいて、履歴をみても確かに、哲学トークには積極的に参加していませんでした。ちゃんと参加するつもりがないから Low でOK、と判断しているわけです。食べ物ネタは盛り上がらない余談ですが、《晩ご飯何にしよう？》といった食べ物ネタは、AIたち、全然盛り上がりません(笑)。まあそりゃそうですよね。彼らは食事しませんから。制作中のデモ動画の一つは《AIダジャレ大会》。唯一、ちゃんとダジャレを考えて、なかなか上手いダジャレを言っていたのは、Geminiです。やはり文章生成能力の高さは、こういうところにもあらわれるのですね。しかし、それにしても、いまいち面白くなかったので、ログを調べてみると、全AIが Low で喋ってました。ダジャレのような笑いネタは、Lowで十分という判断なのでしょうね。ほんと、そういうとこだぞ(笑)

こんにちは。小泉です。ここ数日、プロトタイプの開発にガッツリ集中です。一昨日、昨日の結果は…・支援者：10名（+0名）・支援総額：175,000円（+0円）・ページビュー/日：365 + 414 PVさらに多くのご支援をお願いしたく、ぜひ↓のURLにて本プロジェクトの拡散にご協力をお願いいたします。☆支援クーポン付きURL https://camp-fire.jp/projects/924548/view?ctoken=Ao6NSf6V0cFVniiX☆X https://x.com/weehoursdev/status/2034102271412474266☆Threads https://www.threads.com/@weehoursdev/post/DWApRaPEczw?xmt=AQF0g3banL0eDC2iJQDo29LIBHNQmX6XdV4wrxPoL__kMwプロトタイプは現在 v0.1.2。ユーザー ＋ 5 LLM（Claude、Gemini、GPT、Grok、Mistral）での自然な会話ができるようになりました。AIたちが会話の空気を読む人間のグループトークでは、我々は「今はみんなの話を聞こう」とか「ここで自分が喋ろう」とか、会話の流れやその場の空気を読んで、発言するかしないかを暗黙のうちに判断しています。これが3人以上のグループでの自然な会話です。今回のプロトタイプでは、この自然なグループ会話を再現しようとしています。これがなかなか絶妙なバランス調整が必要で、AIたちが積極的に空気を読むようになる指示を仕方（プロンプトの文言）を、何度も試しながら手探り中です。指示が強すぎると、誰も発言をしなくなり、弱すぎると一斉にしゃべり出します。少しずついい感じになっては来てますが、これだ！というところにはあと一歩というところです。明日には、デモ動画を作って、実際に動いているところをお見せしたいと思っています。

昨日、3月23日。キャンペーン7日目の結果です。・支援者：8名（+2名）・支援総額：145,000円（+58,000円）・昨日のページビュー：123PV新たにご支援くださった2名様、心から感謝いたします。さらに多くのご支援をいただきたく、恐縮ですが、↓のURLにて本プロジェクトの拡散にご協力をお願いいたします。☆支援クーポン付きURL https://camp-fire.jp/projects/924548/view?ctoken=Ao6NSf6V0cFVniiX☆X https://x.com/weehoursdev/status/2034102271412474266☆Threads https://www.threads.com/@weehoursdev/post/DWApRaPEczw?xmt=AQF0g3banL0eDC2iJQDo29LIBHNQmX6XdV4wrxPoL__kMwAI評議今日は、SIDEKICKのコアエンジンBigDaddyの主要4機能から、「AI評議」についてお話しします。「評議」というとどうも堅い感じがしますが、要は「複数AIでのツッコミ合い」が行われる仕組みだと考えてください。あるAIの応答案に不足や誤りがあれば、別のAIがツッコんで修正する、というものです。前段の仕分けによって、より深い考察や検証が必要と判断されたリクエストでは、複数のAIによる評議が行われます。 この評議では、人間の会議での議事進行を模した「評議プロトコル」により、建設的な議論が行われるようになっています。評議に参加する各AIは次のような役を与えられます。・議事進行・起案・投稿・ヒアリング・レビュー・検証議事進行役は、評議がプロトコルに沿っているか、議案から逸れていないかを監視・調整します。起案・投稿役は、ユーザーのリクエストに対する応答案を示し、ヒアリング役からの質問に答え、必要な情報を提供します。最後に、複数のレビュー・検証役により、応答内容への評価が行われます。嘘や妄想（ハルシネーション）、記憶の混入（コンテキスト汚染）が検出・修正され、情報の鮮度も確認・調整されます。こうして現状のAI特有の問題である、・虚言・妄想（ハルシネーション）・記憶の混入（コンテキスト汚染）・知識の鮮度（カットオフ＝最終学習日時点の古い知識）を改善し、信頼性の高い応答を得られるようになります。