【Radeon】Windows上でChatGPTを動かしてみる

2025年4月9日Windows,環境構築

最近ChatGPTのような対話型AIを使う機会が多くあります。
プログラミング中に、ちょっとわからないことを聞いてみると、割といい感じに回答してくれることが多くあり、便利さを実感する今日この頃です。

ただし、仕事で使っている形であり、個人的な用途は厳禁。
となるとローカルで動く環境が欲しいなぁ、と思うのが常です。
ということで、調べてみたら意外と簡単に環境を用意できたので、その方法をメモしておきます。

LLMをローカルで動かす

調べてみると、AMDが公式に手順を公開していました。

手元の環境では、上記手順で問題なく動作しました。
ということで、必要なものをいインストールしていきます。

LM Studioをインストール

LM Studioとは、ローカルでLLMのダウンロード・管理や実行できるアプリになります。
GUIで操作ができるため、コマンドプロンプトの黒い画面を操作したり、ライブラリのビルドにすったもんだすることがありません。
お気軽に使い始めることができるので、とっつきやすい印象です。

上記サイトからインストーラをダウンロード・インストールするだけ。
簡単です。

言語設定を変更する

LM Studioがインストール出来たら、いくつか設定していきます。

必要があれば、Beta版のようですが日本語にも設定可能です。
歯車から設定を開き、App Settingsを開くと言語設定欄があるので
ここから日本語を選択することで変更可能です。

GPUで動作するよう設定する

画面右下の歯車から設定画面を開き「Runtime」をクリック。
ROCm llama.cpp(Windows)とVulkan llama.cpp(Windows)をインストールしておきます。

インストール出来たら、念のためアプリを再起動しておきましょう。
その後、再度設定を開き「ランタイムの設定」でデフォルトのランタイムを指定しましょう。
CPU llma.cpp(Windows)以外を選択しておけば、GPUで処理させることが可能です。

クリックだけで必要なものをインストールできるのでお手軽ですね。

モデルをインストールする

LLMにはたくさんのモデルが存在しています。
大手企業が開発しているようなものについては、以下のサイト等で紹介されています。

公開されているようなモデルについては、以下のリポジトリにまとめられています。

今回は、以下のモデルをインストールして使ってみます。

LM Studioの設定を開き「Model Search」をクリック。
この画面から、モデルを多く公開しているリポジトリのHugging Faceから検索ができるので、モデル名を入力してインストールできます。

すでに上記モデルはインストール済みなので、参考として他のモデルを選択した時の画面を載せておきます。
以下のようにモデルを選択して、右下にある緑色の「Download」ボタンをクリックします。

モデルによっては10GB以上あったりするので、ストレージ容量にはご注意を。

ダウンロード中は、画面左下のアイコンをクリックすると、現在の進捗や完了までの推定時間等が表示できます。

インストール後、画面上部をクリックすると使うモデルを指定・切り替えできます。
使うモデルを指定すれば準備完了です。

AIと対話してみる

環境は、以下の通り。

CPUAMD Ryzen 9 7900X
GPUAMD Radeon RX 7900XTX | AMD Radeon RX 9070XT
メモリDDR5 96GB (5600MHz)
PC構成

メイン画面にて、画面中央の「Create New Chat」か、画面左上の「チャット一覧」の隣にある＋ボタンをクリックします。
すると、チャット画面が開くので、AIに聞きたいことを入力してEnter。

すると、以下のようにするするとテキストを生成してくれます。
問題なく動作すれば完了です。


なお、お使いのPCスペックやモデルによっては動かないこともあるのでご注意を。

上記環境にて、SharePointへのファイルアップロードを行うスクリプトを生成させたところ、コード含めて1843文字を生成するのに7秒程度かかりました。
Token数などは以下の通り。

  • 91.85 tok/sec
  • 649 tokens
  • 0.05s to first token

    その時のタスクマネージャはこんな感じ。

    事前に大きめのモデルを読み込んでいたので、GPUメモリの前半がほぼフルフルに使われていますがお気にせず。
    本チャンの処理ではGPU使用率が90%程、GPUメモリが8.7GB使用されていました。

    そのほかの設定

    モデル指定ボタンの隣にある歯車を押すと、使用するスレッド数等を指定可能です。
    裏側で動かすために処理を軽めにしたいときや、ゴリゴリにリソースを食わせて回してみる、など用途に応じて設定してみて下さい。

    まとめ

    今回は、Ryzen + Radeon環境のWindows上でChatGPTのような対話型AIをローカルで動作させてみました。
    割と簡単に動いたのと、それなりの速度で動くので普段使いできそうな印象でした。

    今回は、ここまで。
    おわり

    Posted by しきゆら