・生成AIのツールを自分の環境で構築したい
・無料で生成AIのツールを手に入れたい
今回は無料でインストールできる生成AIシステムのLM Studioについて紹介します。生成AIのシステムとして有名なものにOpenAIが提供しているChatGPTがあります。チャット形式で質問を投げるとAIが回答します。反面、アップグレードや外のシステムと連携したいときに費用などが発生します。
こんな魅力的なシステム、自分の手元でほしいな・・・と思い、GPTツールの一つLM Studioを使ってみたのでそれについて、以降で紹介します。
LLM実行できるツール「LM Studio」とは
今回、大規模言語モデルを読み込ませて実行できるLM Studioを見つけたので、これを使うことにしました。
このツールはWindows上でGPUなしでも動作するツールで、2023年12月にGigazineでも話題になっていました。
Windows版であれば実行ファイルを起動できる点もあり扱いやすく、ChatGPTに変わりそうな非常に期待大のツールだと思い、試行利用しました。
ツールの起動から生成まで
本章では実際にLM Studioの使い方、つまり起動して文章を生成するまでの流れを紹介します。
① まずは起動画面ですが、なんかVisual Studio Codeとかで見るような画面ですね。
背景がダークなのが今風のデザインといった感じです。
② 利用したいLLMを検索します。今回は「ELYZA-japanese-Llama-2-7b-instruct」を入力します。
③ 検索結果、ひとえに「ELYZA-japanese-Llama-2-7b-instruct」といっても、
いろんな派生があるため、いろいろ出てきました。
とりあえずパラメータ数が多い「ELYZA-japanese-Llama-2-7b-instruct-q8_0.gguf」を
ダウンロードしました。
④ チャット画面に戻って、先ほどダウンロードしたモデルを選択します。
⑤ なんか文章を書いてエンターを押すと下のようにAIが文章を生成します。
とりあえずなんか出てきましたが、実際に使ってみての感触までは図だけだとわかりにくく、次章でレビューをまとめました。
試行結果のレビュー
本章ではLM Studioを試行利用した結果のレビューを紹介します。
良かった点は以下です。
- 無料での利用が可能
- 様々なLLMを簡単に探し出せる
- パラメータの調整が直感的に行える
悪かった点は以下です。
- GPUが機能していない
- あれ？OSSなのに？？？
詳細を以降でまとめています。
良かった点１：無料で利用できること
まず本来の趣旨である無料で利用できる点は強みだと思っています。これができないことには、そもそも試行するにも至らないです。
良かった点２：様々なLLMを検索で探し出せること
色々なモデルが世の中に流れている中、有名なLLMを探すのは大変です。しかしながらLM Studioはかの有名なllamaやFalcon、そしてそれらを派生した言語モデルを検索により探せます。よほどのことがない限り、変なモデルを拾うことはないかと思います。
良かった点３：パラメータの調整が直感的に行えること
世の中の情報を見るとLLMを実行する際に、コマンドのオプションやソースコードにべた書きするなどの敷居の高い情報が多くみられます。LM Studioはそういったストレスなく、画面上で直感的に設定できるので便利だと思いました。
悪かった点１：GPUが働かないこと（本当かは要検証です）
最初の検証はバージョン0.2.15でした。そのときはGPUのオフロードを十分に設定できませんでしたが、0.2.16でスライド形式で選べるようになりました。
私が利用しているRTX 1650では例えばELYZA-japanese-Llama-2-7bのような重いモデルを使うにもメモリが足りなくてというのもあるので、悪かった点を語りにくい部分があります
これは致命的・・・あまりGPUが機能していません。
ほとんどCPUしか使っておらずGPUを使うように処理が割り振られていません。前章の画像「記事作成」に現れた13行の文章ですが、実は３分かかっています。そんなに長くないはずの文章でそんなにかかってしまうのではChatGPTの代わりには程遠いです。
以下のようにモデルをファストタイプにすると若干は早くなるようです。ただパラメータの少なさなのか、３行の変な回答になってます。工夫はできるものの記事としての出来栄えはいまいちになりました。
悪かった点２：OSSのはずなんだけどソースコードは？
LM Studioの欠点をソースコードがあれば、ある程度は解消できないか。。。そう思ってGithubを調べたのですが、Readme.mdしか見えずでした。
実行ファイルではカスタマイズもできず、出来ることに制限がかかってしまいます。
まとめ
本記事では、無料で利用できる生成AIシステム「LM Studio」について紹介しました。ChatGPTなどの有名な生成AIシステムは強力な機能を持ち、多くのユーザーに利用されていますが、個人で構築したりカスタマイズを行う際にはコストが発生したり、技術的なハードルに直面することがあります。そこで、無料かつ利用しやすい代替としてLM Studioが注目されています。
LM Studioを使用するメリットは、無償でアクセス可能であること、様々なLLMを簡単に探し出せること、直感的なパラメータ調整が可能であることなどが挙げられます。実行ファイルをダウンロードするだけの手軽さが多くの利用者に評価されています。
しかしながら、ソースコードの非公開によるカスタマイズの困難さなどいくつかの課題も存在しています。今後のバージョンアップによる改善が期待されるところです。
LM Studioは、生成AIに興味を持つ個人開発者や小規模チームが、高額なサービスに依存することなく独自のAIサービスを展開するための足がかりとなりうるツールです。この記事が、より多くの人々が生成AIの可能性に触れ、それを活用していく一助となれば幸いです。
参考文献
- LM Studio：Discover, download, and run local LLMs(https://lmstudio.ai/)
- Gigazine：GPU非搭載ノートPCでもコマンド不要で各種言語モデルの性能を試せる実行環境「LM Studio」レビュー(https://gigazine.net/news/20231202-lm-studio-llm/)
コメント