PolySeek Logo
読み込み中...

【基本無料】AnyaTalk 〜無料 API でも全部ローカルでも、VRChat の会話をリアルタイム翻訳〜

PipiraPipira
商品画像 1
商品画像 2
商品画像 3
商品画像 4
商品画像 5
商品画像 6
商品画像 7
商品画像 8
商品画像 9
商品画像 10

説明

話すだけで、VRChat の会話をリアルタイムに翻訳する Windows アプリです。 本体は無料で、おすすめは無料の API キーを貼るだけの使い方。全部を自分の PC で動かすこともでき、NVIDIA GPU で高速化できます。VR では、両手のジェスチャーで開く翻訳ボックスも使えます(別売りの VR Reader)。 ※ 非公式ツールです。VRChat とは関係ありません。 English / 한국어 / 简体中文 / 繁體中文 の説明は下にあります。

■ AnyaTalk Lite と VR Reader について ・AnyaTalk Lite(無料):アプリ本体です。機能制限も期限もありません ・VR Reader(200 円):VR のジェスチャー翻訳ボックスと手の甲の字幕を使うためのアバターパッケージです。本体は含みません。デスクトップだけで使うなら必要ありません

■ おすすめは無料の API ・無料の API キーを貼るだけで使えます ・重い処理はクラウド側なので PC は軽いまま。GPU は VRChat のために空けておけます ・無料枠の目安:1 日あたり音声認識 約 2,000 回・翻訳 約 1,000 回(当方のテスト時の値です。各サービスの条件によります)

■ 全部ローカルでも動く(NVIDIA GPU で高速化) ・アカウントもキーも不要。音声認識・翻訳・読み上げ・文字読み取りをすべて自分の PC で動かせて、話した内容は PC の外に出ません ・使うもの:ローカルWhisper(音声認識)、Ollama(翻訳)、Kokoro(読み上げ)。手順はセットアップガイドにあります ・設定の「GPU 高速化(NVIDIA)」から一度ダウンロードするだけ(約 1.5GB)。CUDA の個別インストールは不要です。GPU がなくても CPU で動きます ・目安はメモリ 16GB、VRAM 8GB。VRChat も GPU メモリを使うので、足りないときは無料 API と組み合わせてください

■ VR のジェスチャー翻訳ボックス(別売りの VR Reader) ・顔の前で両手をピストルの形にすると、手の間にガラスの枠が現れ、中の文字を読み取ります ・アクションメニューの Rock Gesture をオンにすると、ピストルの代わりに両手のロック(ロックンロール)で開きます。他のギミックが両手ピストルを使っているアバターに ・手を広げる・寄せるで大きさを調整。文字が落ち着くと翻訳が枠に浮かびます。手を下ろせば閉じます ・相手の発言の翻訳を左手の甲に表示する字幕と、ヘッドセットを付けたまま操作できるアクションメニューも追加されます

■ そのほかの機能 ・声で話して声で届く:あなたの声を翻訳し、選んだ声で VRChat のマイクへ。チャットボックスにも表示 ・相手の声も翻訳して、読み上げと字幕で ・声は言語ごとに選べます(Fish Audio またはキー不要の Kokoro)。「音声は原文で読み上げる」で、言葉はそのまま声だけ変えることも ・VRChat のミュートに自動で連動 ・Alt+Q で看板やメニューの文字を翻訳、Alt+Y でゲーム内から入力して翻訳・送信 ・日本語・英語・中国語(簡体/繁体)・韓国語など多言語に対応。固有名詞の辞書も使えます

■ 同梱物(zip) AnyaTalk Lite ・アプリ本体 ・セットアップガイド PDF(日本語/English/中文) ・利用規約(NOTICE.txt)、VR Reader の利用規約(VN3ライセンス PDF) VR Reader ・AnyaTalkVRReader の unitypackage(Assets/Pipira/AnyaTalkVRReader に導入) ・導入ガイド PDF(日本語/English/中文) ・利用規約(VN3ライセンス PDF)

■ 動作環境 ・Windows 10/11(64bit)、Microsoft Edge WebView2 ランタイム ・無料 API で使う場合:Groq の API キー(無料枠あり)。読み上げは Fish Audio の API キー、またはローカルの Kokoro ・翻訳音声を VRChat に流す場合:VB-CABLE(無料の仮想オーディオ) ・VR Reader:SteamVR、VRChat Creator Companion で作成した Unity 2022.3 のアバタープロジェクト、VRChat SDK - Avatars 3.10.5 以降、Modular Avatar 1.16.2 以降

■ 動作確認について(必ずお読みください) 確認済み:Windows 11、NVIDIA GeForce RTX 5090、VRChat(デスクトップ・SteamVR)。VR Reader は Unity 2022.3.22f1、VRChat SDK - Avatars 3.10.5、Modular Avatar 1.16.2 で確認しました。 未確認:その他のバージョン、NVIDIA 以外の GPU、VRAM 8GB の環境で全部ローカルにした場合。Android/Quest 単体では使えません。 すべての環境での動作は保証できません。VR Reader の作業前にアバターとプロジェクトのバックアップを取ってください。

■ 使い方(くわしくはセットアップガイド)

  1. zip をすべて展開し、AnyaTalk.exe を起動(「Windows によって PC が保護されました」と出たら「詳細情報」→「実行」)
  2. 無料の API キーを貼り付ける(全部ローカルなら「続ける」で進み、設定で選ぶ)
  3. VRChat で OSC を有効にする。翻訳音声を流すなら VB-CABLE を入れ、VRChat のマイクを CABLE Output にする
  4. 「開始」を押して話す

■ 画像のアバターについて 画像のアバターは「キプフェル Kipfel」(もち山金魚 様)です。アバター本体は含まれません。 手のアイコンは Fluent Emoji(© Microsoft Corporation、MIT License)です。 https://booth.pm/en/items/5813187 本ツールは非公式のもので、もち山金魚様とは関係ありません。

■ お問い合わせ 不具合報告・質問・要望:https://github.com/anyapipira/AnyaTalk-Issues BOOTH のメッセージ機能からもご連絡いただけます。