Experimenting with Lllama 3 via Ollama

2024-04-25

Michael Lynch

通过 Ollama 体验 Llama 3

我看到 Meta 发布了 Llama 3 AI 模型，大家似乎都很兴奋，于是我决定亲自试一试。

我运行开源 AI 模型的经验不多，也没看到多少关于如何运行它们的文档。我折腾了几个小时，终于让 Llama 3 在 Ollama 上跑起来了，所以想把我的操作步骤分享出来。

配置一台带 GPU 的云服务器

为了做这个实验，我在 Scaleway 上开通了以下配置的服务器：

服务器实例类型：GPU-3070-S
操作系统：Ubuntu Focal
磁盘大小：100 GB（模型很大，所以需要）

为了通过 SSH 登录，我运行了以下带端口转发的命令，因为我需要访问将在服务器的 localhost 接口上运行的 Web 界面。

TARGET_IP='51.159.184.186' # Change to your server's IP.
REMOTE_PORT='8080'
LOCAL_PORT='8080'

# SSH in and port-forward a port to access the Open-WebUI web interface.
ssh "${TARGET_IP}" -L "${REMOTE_PORT}:localhost:${LOCAL_PORT}"

安装 CUDA

首先，安装 CUDA 以便 Ollama 能够使用 GPU：

sudo apt-get install linux-headers-$(uname -r) && \
  sudo apt-key del 7fa2af80 && \
  echo "deb [signed-by=/usr/share/keyrings/cudatools.gpg] https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /" | sudo tee /etc/apt/sources.list.d/cuda-ubuntu2204-x86_64.list && \
  wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin && \
  sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 && \
  sudo apt-get update && \
 sudo apt-get install -y cuda-toolkit nvidia-container-toolkit ca-certificates curl

安装 Docker

接下来，安装 Docker，以便在面向 Ollama 的 Open-WebUI Web 界面下运行 ollama：

sudo install -m 0755 -d /etc/apt/keyrings && \
  sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc && \
  sudo chmod a+r /etc/apt/keyrings/docker.asc && \
  echo \
    "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
    $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list > /dev/null && \
  sudo apt-get update && \
  sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin && \
  sudo usermod -aG docker "${USER}" && \
  newgrp docker

要测试一切是否正常，请运行以下命令：

docker run hello-world

启动 Ollama 和 Open-WebUI

我改编了标准的 Open-WebUI Docker Compose 文件，做了一个适用于 Ollama 的版本，你可以用以下命令下载并运行：

wget https://mtlynch.io/notes/ollama-llama3/docker-compose.yml && \
  docker-compose up

服务器启动并运行后，在浏览器中访问以下 URL：

http://localhost:8080

你首先会看到一个要求登录的页面。点击“Sign up”。

然后随便填写一些信息即可。据我所知，其实不需要有效的电子邮箱。

接下来，你需要下载一个要使用的模型。点击设置按钮：

我不清楚这些模型之间的区别，但 Llama 3 是几天前刚发布的最新模型，所以我决定试试它。ollama.com 上说 llama3:70b 针对聊天机器人场景做了优化，所以我一开始选了它，但它慢得离谱。我换成了 llama3，表现还不错：

它会有一段时间停留在 100%，但在看到提示模型已完全下载的弹窗之前，下载并没有完成。

下载完成后，关闭设置对话框，从下拉菜单中选择 llama3:latest：

接下来，你就可以开始和 Llama 3 玩了。下面是我与 Llama 3 的对话，它正在扮演 Nathan Fielder（内森·菲尔德）：