Experimenting with Lllama 3 via Ollama

2024-04-25

Michael Lynch

透過 Ollama 試玩 Lllama 3

我看到 Meta 發布了 Llama 3 AI 模型，大家似乎對它很感興趣，所以我決定試試看。

我沒有太多執行開源 AI 模型的經驗，也沒找到太多關於如何執行的文件。我花了幾個小時摸索，成功讓 Llama 3 在 Ollama 上運作，所以想分享我的操作步驟。

佈建具備 GPU 的雲端伺服器

為了進行這項實驗，我在 Scaleway 上佈建了以下伺服器：

伺服器執行個體類型：GPU-3070-S
作業系統：Ubuntu Focal
磁碟大小：100 GB（因為模型很大，所以需要這麼大）

要透過 SSH 連線，我執行了以下指令並設定 port forwarding(通訊埠轉送)，因為我需要存取將在伺服器 localhost 介面上執行的網頁介面。

TARGET_IP='51.159.184.186' # Change to your server's IP.
REMOTE_PORT='8080'
LOCAL_PORT='8080'

# SSH in and port-forward a port to access the Open-WebUI web interface.
ssh "${TARGET_IP}" -L "${REMOTE_PORT}:localhost:${LOCAL_PORT}"

安裝 CUDA

首先，安裝 CUDA 以讓 Ollama 能夠使用 GPU：

sudo apt-get install linux-headers-$(uname -r) && \
  sudo apt-key del 7fa2af80 && \
  echo "deb [signed-by=/usr/share/keyrings/cudatools.gpg] https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /" | sudo tee /etc/apt/sources.list.d/cuda-ubuntu2204-x86_64.list && \
  wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin && \
  sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 && \
  sudo apt-get update && \
 sudo apt-get install -y cuda-toolkit nvidia-container-toolkit ca-certificates curl

安裝 Docker

接著，安裝 Docker，這樣你就能在 Ollama 專用的 Open-WebUI 網頁介面下執行 Ollama：

sudo install -m 0755 -d /etc/apt/keyrings && \
  sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc && \
  sudo chmod a+r /etc/apt/keyrings/docker.asc && \
  echo \
    "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
    $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list > /dev/null && \
  sudo apt-get update && \
  sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin && \
  sudo usermod -aG docker "${USER}" && \
  newgrp docker

要測試一切是否正常運作，請執行以下指令：

docker run hello-world

啟動 Ollama 與 Open-WebUI

我改寫了標準的 Open-WebUI Docker Compose 檔案，做成一個適用於 Ollama 的版本，你可以用以下指令下載並執行：

wget https://mtlynch.io/notes/ollama-llama3/docker-compose.yml && \
  docker-compose up

伺服器啟動並開始運作後，請在瀏覽器中前往以下網址：

http://localhost:8080

你會先看到一個要求登入的頁面。請點擊「Sign up」。

然後輸入任意資料。就我所知，你其實不需要提供有效的電子郵件。

接下來，你需要下載一個模型才能使用。請點擊設定按鈕：

我不太清楚這些模型之間的差異，但 Llama 3 是幾天前才剛推出的最新模型，所以我決定試試看。Ollama.com 上說 llama3:70b 是針對聊天機器人使用情境最佳化的，所以我一開始選了這個，但速度非常慢。我後來改用 llama3，效能就還不錯：

進度會在 100% 停留一段時間，但在看到彈出視窗通知模型已完全下載之前，都還沒完成。

下載完成後，關閉設定對話方塊，然後從下拉式選單中選擇 llama3:latest：

接著，你就可以開始試玩 Llama 3 了。以下是我讓 Llama 3 假扮成 Nathan Fielder（內森·費爾德）與它對話的畫面：