・VTuberとして声は変えた配信がしたい
・無料で使えるボイスチェンジャーはあるか
・リアルタイムボイスチェンジャーの性能を知りたい
今回、VTuberの研究の一環として、リアルタイムボイスチェンジャーVC Clientについて紹介します。
前回の記事でVTuberのアバター操作ツールについて紹介しました。顔出しなしで動画配信するからいいです。
もっとよりVTuberっぽくするため、声も変えたいなーっていう方もいると思います。そこで今度は声を変えるためのツールとしてVC Clientを試行利用しました。
どういったツールなのかと導入方法、検証結果について以降で述べていきます。
リアルタイム音声変換ツール「VC Client」とは
概要
VC Clientとは、w-okada氏が開発した各種音声変換 AI(VC, Voice Conversion)を用いてリアルタイムで音声変換を行うためのクライアントソフトウェアです。キャラクターに合わせて、ユーザが発した声をAIが変換してくれます。
ツールの画面
以下はツールの画面です。いくつかキャラのデータがサンプルで入っているので、初心者でも試すことができます。
動作の流れ
VC Clientの動作の流れは以下になります。
- マイクなどの入力デバイスへ声を発する。
- AIが声を変換する。
- ヘッドホンなどの出力デバイスから変換後の声を出力する。
といった感じで普通の音声変換の仕組みですが、AIが音声を変換するというのはスペックによって時間がかかる場合があります。そこらへん後述のレビューでも触れていきます。
OSSという魅力
世の中のボイスチェンジャーとして、Voicemodのような有償ツールや、VT4のようなハードウェアがある中で、このツールはGithubで公開されており、無償で利用できるところが非常に魅力です。
 | Roland AIRA VT-4 Voice Transformer ボイストランスフォーマー ローランド VT4 価格:33000円 |
VC Clientの導入方法
導入方法として、以下がありますが、最も簡単な前者で導入します。
- バイナリからのインストール
- コマンドラインによるインストール
① GitHubにバイナリのzipファイルがあるのでダウンロードしてください
② zipを解凍して、start_http.batを起動してください(初回では必要なpythonライブラリを取りに行きます)。
VC ClientはWebアプリです。起動すれば他のPCからIPアドレスをたたいて、VC Clientを利用することもできます。この場合は、start_https.batを起動してください。
③ ブラウザを起動して、http://localhost:18888にアクセスしてください。
ウイルス対策ソフトによっては、(特にリモートからだと)誤検知ゆえうまく動作しない場合があります。
試行結果のレビュー
今回試行で使うにあたり、実際の利用を想定してGPU搭載のデスクトップにインストール、かつ、リモートデスクトップで繋ぐ方式で動かしました。それも含めてレビューします。
なお、リモートデスクトップ経由で音声認識する方法については以下を参照ください。
良かった点は以下です。
- インストールが容易
- OSSという魅力
悪かった点は以下です。
- AIの計算処理によるタイムラグ
- リモートでの接続がうまくいかない
良かった点１：インストールが容易なこと
導入方法を見ていただければわかりますが、バッチをワンクリックするだけで起動します。特別なコマンドはいりません。
良かった点２：OSSという魅力があること
世の中のボイスチェンジャーとして、Voicemodのような有償ツールや、VT4のようなハードウェアがある中で、このツールはGithubで公開されており、無償で利用できるところが非常に魅力です。
悪かった点１：AIの計算処理によるタイムラグがあること
AIが計算処理をしているため当然タイムラグが発生しています。また性能の問題なのか、ところどころ言葉がはっきりしないところがありました。
以前紹介しました、マイク入力をリモートデスクトップ経由でやっているので、ただでさえAIの計算処理に時間がかかるのに、さらに遅延の要因を作った可能性はあります。だって便利なんだもん。
タイムラグは仕方ないとして言葉はちゃんと拾ってほしいなーって思いました。
悪かった点２：リモートでの接続がうまくいかないこと
導入方法等ではあまり書いてませんが、VC ClientはWebアプリなので、サーバを立ち上げればほかのPCからアクセスできます。
しかしサーバ内のウイルス対策とかFWでうまくいかないことがあり、それについての配慮はどうなっているのかが分かるとよかったです。結局何となくつながっただけに終わったので、筆者もこの点については紹介できませんでした。
 | ZOOM V3 Volal Processor 新品[ズーム][ボーカルプロセッサー][エフェクター][ボイス、チェンジャー] 価格:24750円 |
まとめ
今回は、VTuberとして活動する際に役立つリアルタイムボイスチェンジャーソフトウェア「VC Client」について詳しく紹介しました。VC Clientはw-okada氏によって開発された無償で使えるオープンソースソフトウェアであり、ユーザの声をリアルタイムでAIが変換してくれます。
インストールは比較的容易であり、GitHubからダウンロードしバッチファイルを実行するだけの手軽さが魅力です。しかし、AIによる計算処理のためにタイムラグが生じることや、リモートデスクトップを使う場合の接続問題など、いくつかの課題点も明らかになりました。
全体としては、無償かつ公開されている便利なツールでありながら、一部のパフォーマンス問題がありますが、VTuberとしての配信において声変えを実現する強力な手段を提供します。VTuber活動の幅を広げるための一つのオプションとして、このツールは有効であると言えるでしょう。
参考文献に記載されているリンクからVC Clientを直接参照し、詳細な仕様や導入方法を確認してみてください。
参考文献
- w-okada：VC Client(https://github.com/w-okada/voice-changer)
コメント