Ollama の環境構築メモ

はじめに

前回の記事では WSL2 の環境構築と WSL2 から NVIDIA GPU の性能を引き出すための設定を行いました。 今回はこの環境で LLM を実行するために「Ollama」を導入します。

Ollama とは

Ollama は LLM をローカル環境で実行するためのオープンソースのツールです。 通常 LLM をローカル環境で動かすためには、複雑な環境構築や専門知識が必要ですが、Ollama はそれらを肩代わりしてくれます。

環境構築の簡略化以外にも、インターネット接続不要で LLM を扱えることや、REST API が提供されていたり、モデルのチューニングなどカスタマイズ性が高いことも Ollama を使用するメリットとして挙げられます。

Ollama のインストール

https://github.com/ollama/ollama

公式が Linux 向けに提供しているインストールスクリプトを実行します。

curl -fsSL <https://ollama.com/install.sh> | sh

インストールが完了したら、以下のコマンドで正常に動作しているか確認します。

ollama -v

また、ブラウザからも Ollama が正常に動作しているかを確認できます。 Ollamaはデフォルトで 11434 番ポートを使用するため、Windows のブラウザで http://localhost:11434 を 開き、ブラウザで表示を確認します。

以下のように「Ollama is running」と表示されていれば正常に動作しています。

Ollama を使用して LLM を動かしてみる

Ollama のインストールも完了したので、さっそく LLM をインストールします。 今回は Meta が公開している Llama 3 を試してみます。

以下のコマンドを実行することで、モデルのインストールから実行までを Ollama が行ってくれます。

ollama run llama3

初回なので数 GB のインストールが走り、インストールが完了すると プロンプトが >>> に変わり、AIとの対話モードに入ります。

>>>こんにちは、あなたは誰ですか?

>>>Llama 3について日本語で説明してください。

かなり間違えています。 Llama 3 の学習ソースはほとんど英語のため、日本語による対話の性能が落ちてしまうのです。 再度、英語で同じ質問をしたところ、正しい情報を回答してくれました。

対話は Control + d もしくは /bye を入力すると終了できます。

別のモデルを試してみる

Ollama の良い点として、 ollama run モデル名とするだけで手軽に別のモデルに切り替えられます。

せっかくなので他のモデルも試してみます。

Google が公開している Gemma 2 を、日本語向けに派生させた Gemma 2 JPN をインストールし、同じ質問をしてみます。

ollama run schroneko/gemma-2-2b-jpn-it

>>>こんにちは、あなたは誰ですか?

>>>Gemma 2 JPN について日本語で説明してください。

>>>llama3について日本語で説明してください。

いい感じに回答してくれました。

さいごに

今回は Ollama を使って LLM モデルの追加と切り替えを試してみました。

実際に触ってみるとわかるように、モデルごとに得意な分野や性能が大きく異なります。 用途に合わせてモデルを使い分けることが、ローカル LLM を活用するうえでのポイントです。

様々なモデルを切り替えて試しながら、自分の用途にフィットするモデルを見つけていくのもローカル LLM の面白さのひとつです。

投稿者プロフィール

HirayamaMotoki

関連記事

  1. 【React×TypeScript】環境構築メモ

  2. 【Git】②GitHub アカウント作成

  3. Continue と Ollama を接続するメモ

  4. WSL2 から GitHub CLI を使って認証を行うまで

  5. 【Kotlin×Ktor】環境構築+静的Webサイト作成【構築編】

  6. 【Git】環境構築メモ

最近の記事

  1. AWS
  2. AWS

制作実績一覧

  1. Checkeys