MetaがLlama 3をリリースしたのを見かけ、周りでも盛り上がっているようだったので、自分でも試してみることにしました。

オープンソースのAIモデルを動かした経験はあまりなく、動かし方についてのドキュメントもあまり見つかりませんでした。数時間ほど試行錯誤した結果、OllamaでLlama 3を動かすことができたので、その手順を共有したいと思います。

GPU搭載のクラウドサーバーを用意する

今回の実験では、Scalewayで以下のスペックのサーバーを用意しました：

• サーバーインスタンスタイプ: GPU-3070-S
• OS: Ubuntu Focal
• ディスクサイズ: 100 GB（モデルが大きいため必要）

SSHで接続する際は、サーバーのlocalhost上で動作するウェブインターフェースにアクセスする必要があるため、ポートフォワーディングを指定して以下のコマンドを実行しました。

TARGET_IP='51.159.184.186' # Change to your server's IP.
REMOTE_PORT='8080'
LOCAL_PORT='8080'

# SSH in and port-forward a port to access the Open-WebUI web interface.
ssh "${TARGET_IP}" -L "${REMOTE_PORT}:localhost:${LOCAL_PORT}"

CUDAをインストールする

まず、OllamaがGPUを使えるようにCUDAをインストールします：

sudo apt-get install linux-headers-$(uname -r) && \
  sudo apt-key del 7fa2af80 && \
  echo "deb [signed-by=/usr/share/keyrings/cudatools.gpg] https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /" | sudo tee /etc/apt/sources.list.d/cuda-ubuntu2204-x86_64.list && \
  wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin && \
  sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 && \
  sudo apt-get update && \
 sudo apt-get install -y cuda-toolkit nvidia-container-toolkit ca-certificates curl

Dockerをインストールする

次に、Ollama用のウェブインターフェースであるOpen-WebUI上でOllamaを動かせるように、Dockerをインストールします：

sudo install -m 0755 -d /etc/apt/keyrings && \
  sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc && \
  sudo chmod a+r /etc/apt/keyrings/docker.asc && \
  echo \
    "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
    $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list > /dev/null && \
  sudo apt-get update && \
  sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin && \
  sudo usermod -aG docker "${USER}" && \
  newgrp docker

すべて正常に動作するか確認するには、以下のコマンドを実行します：

docker run hello-world

OllamaとOpen-WebUIを起動する

標準のOpen-WebUI用Docker ComposeファイルをOllama用に調整したものを作成したので、以下のコマンドでダウンロードして実行できます：

wget https://mtlynch.io/notes/ollama-llama3/docker-compose.yml && \
  docker-compose up

サーバーが起動したら、ブラウザで以下のURLにアクセスしてください：

• http://localhost:8080

最初にログインを促すページが表示されるので、「Sign up」をクリックします。

適当な情報を入力してください。私が試した限りでは、有効なメールアドレスである必要はないようです。

ここから使用するモデルをダウンロードする必要があります。設定ボタンをクリックしてください：

各モデルの違いはよくわかりませんが、Llama 3は数日前に出たばかりの最新モデルなので、これを試すことにしました。ollama.comではllama3:70bがチャットボットのユースケース向けに最適化されていると書かれていたので、最初はそちらを使いましたが、とにかく動作が非常に遅かったです。llama3に切り替えたところ、まずまずの速度で動きました：

しばらく100%のまま止まったように見えますが、モデルのダウンロードが完了したことを知らせるポップアップが表示されるまでは完了していません。

ダウンロードが終わったら設定ダイアログを閉じ、ドロップダウンからllama3:latestを選択します：

あとはLlama 3で遊んでみるだけです。こちらは、Llama 3にNathan Fielderになりきってもらって会話した例です：