Open-LLM-VTuber

Open-LLM-VTuber Live2D ボディを持つ音声対話型 AI キャラクターを構築するためのオープンソース オーケストレーション レイヤーです。これは、音声認識、LLM またはエージェント、テキスト読み上げ、アバター表現制御、音声中断、カメラまたは画面ビジョン、永続的なチャット ログ、Web および Electron クライアント、およびオプションのデスクトップ ペット モードを組み合わせています。各重いコンポーネントはローカルで実行することも、クラウド API で置き換えることもできるため、このプロジェクトは単一のモデルというよりも、構成可能なリアルタイム メディア パイプラインとして理解される方がよいでしょう。

このシステムは、選択したモジュールに応じて、CPU、NVIDIA、AMD/ROCm、Apple アクセラレーション、ホスト型サービスの組み合わせを使用して、Windows、macOS、Linux 上で実行できます。 「完全なオフライン」は、LLM、ASR、TTS、翻訳、メモリ、およびビジョンまたはツールのプロバイダーがすべてローカルであり、外部資産やテレメトリが使用されていない場合にのみ実現できます。

現在のプロジェクトのステータス: 今日は v1、後で v2

公式リポジトリによると、メンテナは完全な v2.0 の書き換えに注力しており、現在初期の議論と計画が進められています。彼らはユーザーに対し、バグ修正と既存のプルリクエスト作業を継続する一方で、新しい v1 機能リクエストを開かないように求めています。これによって v1 が使用できなくなるわけではありませんが、耐久性のある製品を構築するチームにとってアーキテクチャ上および移行上のリスクが生じます。

現在のドキュメントでは、v1.x の展開について説明しています。 v1.0.0 より前のバージョンでは、構成と依存関係が変更されたため、再デプロイが必要です。現在のガイダンスでは推奨されています 紫外線 フロントエンドはサブモジュールであるため、再帰的な Git クローンになります。移動するメイン ブランチをデプロイする代わりに、テスト済みのリリースと構成を固定します。

リアルタイムの会話パイプライン

クイックスタートアーキテクチャ

文書化されたスターター構成では、LLM には Ollama、ASR には sherpa-onnx/SenseVoiceSmall、および Edge TTS が使用されます。 Git、FFmpeg、Python 3.10 ～ 3.12、およびプロジェクトの依存関係が必要です。 Edge と Safari には既知の問題があるため、公式ガイドでは Chrome を推奨しています。ローカルサーバーが開かれます http://ローカルホスト:12393.

git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber --recursive
cd Open-LLM-VTuber
UV同期
cp config_templates/conf.default.yaml conf.yaml
# LLM、ASR、TTS、文字および資格情報を構成します
uv 実行 run_server.py
# Chrome で http://localhost:12393 を開きます

このアーキテクチャには GitHub の汎用の「Download ZIP」を使用しないでください。リポジトリのドキュメントでは、更新メカニズムに必要なフロントエンド サブモジュールと Git メタデータが省略されていると警告しています。プロジェクトが意図したリリース アーカイブまたは再帰的クローンを使用します。

モデルを選択する前にレイテンシの予算を立てる

自然な音声インタラクションは、いずれかのコンポーネントが悲惨に見えるよりもずっと前に、遅く感じられます。エンドツーエンドの応答時間には、ターン終了の検出、ASR ファイナライゼーション、コンテキスト/メモリの取得、LLM の最初のトークン、センテンスのチャンク化、TTS の最初のオーディオ、ネットワーク トランスポート、および再生バッファリングが含まれます。一部のステージは重複しますが、再試行とキューが複雑になります。

モジュール境界での計測タイムスタンプ。ネットワークとキューの遅延を考慮すると、小規模なローカル モデルが大規模なクラウド モデルを上回る可能性があり、クラウド TTS はコンピューティング競合を軽減する可能性があります。コンポーネントを単独でテストするのではなく、組み合わせてテストします。

フィードバックループなしの音声中断

プロジェクトはヘッドフォンなしで中断することを宣伝するため、アシスタントは自分自身の音声を新しいユーザー入力として扱うべきではありません。これは、要求の厳しいオーディオの問題です。音響エコー キャンセル、マイク/スピーカーの形状、音量、部屋の残響、ASR 音声アクティビティ検出、および TTS 再生状態はすべて相互作用します。静かな部屋、ノートパソコンのスピーカー、外部スピーカー、ヘッドセット、音楽、スピーカーの重なり、ウェイクワードの繰り返しをテストします。

誤った中断、見逃した中断、自己転写、およびオーディオとアップストリーム生成の両方を停止するのに必要な時間を測定します。 LLM と TTS がリソースを消費し続けている間に再生をキャンセルすると、隠れたコストと古いメッセージが作成されます。

プライバシーとセキュリティの境界

• すべてのプロバイダーをマッピングします。 Edge TTS、クラウド ASR、翻訳、ビジョン、Letta または MCP ツールが外部にデータを送信する場合、ローカル Ollama モデルはシステムをオフラインにしません。
• 構成を保護します。 conf.yaml、環境変数とログには、API キー、プロバイダー URL、ペルソナ コンテンツ、プライベート トランスクリプトを含めることができます。
• カメラと画面キャプチャを制限します。 明確なアクティブインジケーター、詳細な選択、高速停止制御、およびパスワード、メッセージ、サードパーティデータに対する保護が必要です。
• サーバーを直接公開しないでください。 リモートマイクアクセスにはHTTPSが必要です。 TLS だけではなく、認証、リバース プロキシ制限、ファイアウォール制御を追加します。
• コンテンツを敵対的なものとして扱います。 音声、画面テキスト、チャット メッセージ、Web ページ、および MCP 結果には、プロンプト インジェクションが含まれる可能性があります。
• ツールを制限します。 ファイル、シェル、ブラウザ、外部メッセージ、またはアカウントのアクションの前に、ホワイトリスト、サンドボックス、および明示的な承認を使用します。
• 削除を提供します。 ユーザーは、チャット ログ、音声、スクリーンショット、メモリ ストア、キャッシュ、プロバイダー側の履歴を見つけて消去する必要があります。

ペルソナ、愛着、節度

具現化された音声と永続的なキャラクターにより、モデルの出力がテキスト ボックスよりも権威のあるものになったり、感情的に相互作用したりするように感じられます。製品は、キャラクターが AI であることを明らかにし、意識や独占的な依存を主張することを避け、医療、法律、財務、危機に関するトピックについてエスカレーション言語を確立する必要があります。視聴者に未成年者が含まれる場合は、年齢に応じたデザイン、ペアレンタルコントロール、厳格なデータデフォルトを追加します。

積極的に話すには、静かな時間、フリークエンシー キャップ、コンテキスト ルールが必要です。 「内なる思考」は生成されたインターフェイス コンテンツであり、モデルの隠された推論へのアクセスではなく、システム プロンプト、秘密、またはプライベートな思考連鎖を決して公開すべきではありません。

ライセンスチェックリスト

実践的なパイロット

1. 1 つの LLM と 1 つの文字のテキスト入力から始めます。音声を追加する前にペルソナとログを確認してください。
2. ASR を追加して、アクセント、ノイズ、名前、中断を含む 100 の発話テスト セットを構築します。
3. 合成を許可された音声を使用して TTS を追加します。最初の音声と発音を測定します。
4. 制御されていないプロンプトの漏れではなく、明示的な感情タグから表現を構成します。
5. 定義されたタスクにのみカメラ/画面アクセスを追加し、同意と墨消しのテストを表示します。
6. メモリまたはツールを最後に有効にします。レッドチームの挿入、削除、許可、およびセッション間の分離。
7. 2 時間のライブ ソーク テストを実行し、CPU/GPU/RAM、切断、キュー、エコー、アバター フレーム ドロップを記録します。
8. リリース、構成、モデルリスト、資産マニフェスト、およびリカバリ手順を凍結します。

代替案

よくある質問

すべてをオフラインで実行できますか?

選択したすべての LLM、ASR、TTS、翻訳、メモリ、ビジョン、およびツール コンポーネントがローカルである場合、原則としてはい。実際の構成とネットワーク トラフィックを監査します。

v2.0は利用可能ですか?

公式リポジトリでは、v2 は初期の計画/ディスカッションのリライトであると説明されています。現在のユーザーは、文書化された v1.x システムと移行のリスクを評価する必要があります。

GPUは必要ですか?

重いモジュールは APIs または CPU を使用する可能性があるため、絶対的な GPU 最小値は存在しません。応答性の高い完全なローカル操作を実現するには、プロジェクトでは Apple M シリーズ システムまたはサポートされている GPU およびそれより小型のモデルを推奨します。

どのブラウザを使用すればよいですか?

クイックスタート ガイドでは、Chrome を推奨し、既知の Edge/Safari の問題について説明しています。リモート マイク キャプチャには、HTTPS や localhost などの安全なコンテキストが必要です。

バンドルされている Live2D モデルを商業的に使用できますか?

そう思い込まないでください。これらはプロジェクトの MIT ライセンスから除外され、Live2D の別個のサンプルデータ条項によって管理されますが、商用利用には追加の要件が必要となります。

以前の会話を覚えていますか?

チャットログは残ります。オプションのメモリ エージェント サポートは正確なリリースと構成に依存し、遅延が追加される可能性があります。一般的な機能リストに依存するのではなく、動作を検証します。

一次情報源

• 公式リポジトリ、v1/v2 ステータスおよび機能マトリックス
• 公式クイックスタートおよび導入ガイド
• 公式ドキュメントの概要
• プロジェクトMITライセンス
• バンドルされた Live2D アセット ライセンス通知
• MDN セキュアコンテキストの要件
• MCP ツール統合に関するセキュリティのベスト プラクティス

最終レビュー日は 2026 年 7 月 25 日です。モジュールのサポートとプロジェクトのアーキテクチャは急速に変化します。運用環境で使用する前に、正確なリリース、構成、プロバイダー、および資産ライセンスを確認してください。