LM Studioで自分の生成AIシステムを試行・レビュー

AI
サムネイル

・生成AIのシステムを自分の環境で構築したい
・無料で生成AIシステムを手に入れたい

今回は無料でインストールできる生成AIシステムのLM Studioについて紹介します。

生成AIは学習済みのモデルが新たなものを生み出すAIです。詳細は以下にまとめています。

生成AIのシステムとして有名なものにChatGPTがあります。チャット形式で質問を投げるとAIが回答します。

こんな魅力的なシステム、自分の手元でほしいな・・・と思い、GPTツールの一つLM Studioを使ってみたのでそれについて、以降で紹介します。

試行の背景

これをやろうと思ったのは、やはりChatGPTの魅力に圧倒されたためです。

自分の手元にシステムがあれば・・・

ChatGPTはOpenAIが提供しているシステムで、我々はChatGPTのシステムの内部構造を知ることなく、利用できます。反面、アップグレードや外のシステムと連携したいときに費用などが発生します。

そういったことを避けるためには、自分たちでGPTシステムやってみたいときにどうすればよいか、、、その一つがやはりOSSかなと思いました。

やはりというべきか。。。世の中にはChatGPTに対抗するための無料の学習モデル1を作ろうとしている人がいるわけで、それを使うことにしました。ただモデルだけあっても実行できるツールがないと使えないと感じるわけで・・・

大規模言語モデルを読んで実行できるツール:LM Studio

今回、大規模言語モデルを読み込ませて実行できるLM Studioを見つけたので、これを使うことにしました。

👾 LM Studio - Discover and run local LLMs
Find, download, and experiment with local LLMs

このツールはWindows上でGPUなしでも動作するツールで、2023年12月にGigazineでも話題になっていました。

GPU非搭載ノートPCでもコマンド不要で各種言語モデルの性能を試せる実行環境「LM Studio」レビュー
文章生成AIの研究開発が急速に進んでおり、無料で使える大規模言語モデル(LLM)も数多く公開されています。しかし、LLMの動作を実際に試すには高性能なハードウェアや複雑な環境構築が必要なことが多いため、最初から諦めている人も多いはず。無料で...

Windows版であれば実行ファイルを起動できる点もあり扱いやすく、ChatGPTに変わりそうな非常に期待大のツールだと思い、試行利用しました。

ツールの起動から生成まで

本章では実際にLM Studioの使い方、つまり起動して文章を生成するまでの流れを紹介します。

① まずは起動画面ですが、なんかVisual Studio Codeとかで見るような画面ですね。
  背景がダークなのが今風のデザインといった感じです。

起動画面

② 利用したいLLMを検索します。今回は「ELYZA-japanese-Llama-2-7b-instruct」を入力します。

LLM検索

③ 検索結果、ひとえに「ELYZA-japanese-Llama-2-7b-instruct」といっても、
  いろんな派生があるため、いろいろ出てきました。
  とりあえずパラメータ数が多い「ELYZA-japanese-Llama-2-7b-instruct-q8_0.gguf」を
  ダウンロードしました。

ダウンロード

④ チャット画面に戻って、先ほどダウンロードしたモデルを選択します。

モデルを選択

⑤ なんか文章を書いてエンターを押すと下のようにAIが文章を生成します。

記事作成

とりあえずなんか出てきましたが、実際に使ってみての感触までは図だけだとわかりにくく、次章でレビューをまとめました。

試行利用結果のレビュー

本章ではLM Studioを試行利用した結果のレビューを紹介します。

良かった点は以下です。

  • 無料での利用が可能
  • 様々なLLMを簡単に探し出せる
  • パラメータの調整が直感的に行える

悪かった点は以下です。

  • GPUが機能していない
  • あれ?OSSなのに???

詳細を以降でまとめています。

良かった点1:無料で利用できること

まず本来の趣旨である無料で利用できる点は強みだと思っています。これができないことには、そもそも試行するにも至らないです。

良かった点2:様々なLLMを検索で探し出せること

色々なモデルが世の中に流れている中、有名なLLMを探すのは大変です。しかしながらLM Studioはかの有名なllamaやFalcon、そしてそれらを派生した言語モデルを検索により探せます。よほどのことがない限り、変なモデルを拾うことはないかと思います。

良かった点3:パラメータの調整が直感的に行えること

世の中の情報を見るとLLMを実行する際に、コマンドのオプションやソースコードにべた書きするなどの敷居の高い情報が多くみられます。LM Studioはそういったストレスなく、画面上で直感的に設定できるので便利だと思いました。

悪かった点1:GPUが働かないこと(本当かは要検証です)

最初の検証はバージョン0.2.15でした。そのときはGPUのオフロードを十分に設定できませんでしたが、0.2.16でスライド形式で選べるようになりました。

LM Studio 0.2.16 リリースノート

私が利用しているRTX 1650では例えばELYZA-japanese-Llama-2-7bのような重いモデルを使うにもメモリが足りなくてというのもあるので、悪かった点を語りにくい部分があります

これは致命的・・・あまりGPUが機能していません。

ほとんどCPUしか使っておらずGPUを使うように処理が割り振られていません。前章の画像「記事作成」に現れた13行の文章ですが、実は3分かかっています。そんなに長くないはずの文章でそんなにかかってしまうのではChatGPTの代わりには程遠いです。

以下のようにモデルをファストタイプにすると若干は早くなるようです。ただパラメータの少なさなのか、3行の変な回答になってます。工夫はできるものの記事としての出来栄えはいまいちになりました。

ファストタイプのモデルを使用

悪かった点2:OSSのはずなんだけどソースコードは?

LM Studioの欠点をソースコードがあれば、ある程度は解消できないか。。。そう思ってGithubを調べたのですが、Readme.mdしか見えずでした。

LM Studio
Discover, download, and run local LLMs. LM Studio has 3 repositories available. Follow their code on GitHub.

実行ファイルではカスタマイズもできず、出来ることに制限がかかってしまいます。

まとめ

本記事では、無料で利用できる生成AIシステム「LM Studio」について紹介しました。ChatGPTなどの有名な生成AIシステムは強力な機能を持ち、多くのユーザーに利用されていますが、個人で構築したりカスタマイズを行う際にはコストが発生したり、技術的なハードルに直面することがあります。そこで、無料かつ利用しやすい代替としてLM Studioが注目されています。

LM Studioを使用するメリットは、無償でアクセス可能であること、様々なLLMを簡単に探し出せること、直感的なパラメータ調整が可能であることなどが挙げられます。実行ファイルをダウンロードするだけの手軽さが多くの利用者に評価されています。

しかしながら、GPUが十分に利用されていないことや、(←なんとも言えないので削除)ソースコードの非公開によるカスタマイズの困難さなどいくつかの課題も存在しています。今後のバージョンアップによる改善が期待されるところです。

LM Studioは、生成AIに興味を持つ個人開発者や小規模チームが、高額なサービスに依存することなく独自のAIサービスを展開するための足がかりとなりうるツールです。この記事が、より多くの人々が生成AIの可能性に触れ、それを活用していく一助となれば幸いです。

参考文献

  1. LLM(大規模言語モデル)のことを指しています ↩︎

コメント

タイトルとURLをコピーしました