2024 年更新

我在 CascadiaJS 2024 上展示了这次演讲的更新版本！幻灯片见此处，视频待发布。

2023 年演讲

我非常荣幸连续第三年受邀回到 Infobip Shift，而这次更让我倍感惊喜与荣幸的是，我被安排在 John Romero 之后做主题演讲：

在那样的大舞台上看到自己的幻灯片和“作品”依然感觉很不真实，而且欧洲的观众即使在工作中还没有亲身经历这些，也能完全领会。Shift 推特账号的运营者现场速记做得特别出色。我还偶然接受了半岛电视台一位非常友善的记者的采访。

摘要

人人都在为 AI 狂热，充斥着各种噪音、炒作和演示，却很少有关于实际用例的指引。我们将梳理一个关于“谁在做什么”的心智模型，阐明其中的机遇所在，以及非 AI 开发者可以从何处开始深入探索。

幻灯片

https://docs.google.com/presentation/d/1WPULCJsbdsYLTEnAzkdVtqKRDdx4MrfMH04u5HAD4Wc/edit?usp=sharing

我在 Daily.dev 上展示了它的精简版

在 React Summit US 上展示的 20 分钟版本

视频

以及 20 分钟的 React Summit 版本

原始笔记

目标时长 25 分钟

• 5 分钟：数据时间线，数据论据
  • 狂热
    • AI AI I/O
    • Agent 崛起
    • 企业尚未落地？https://twitter.com/bentossell/status/1686387000260358145
      • HN 引言
    • Sarah Guo 的引言
  • 人物
  • 论文发布速度令人应接不暇
  • AGI 爆发 https://x.com/swyx/status/1653887955474460672?s=20
    • 以及对 AGI 的恐惧 -> Wait But Why、不要杀死所有人的梗
    • https://x.com/swyx/status/1653885657448841216?s=20
  • 开源 AI 模型发展 https://x.com/swyx/status/1653891330668658689?s=20 与 Transformer 变体 https://x.com/swyx/status/1653890389039013889?s=20
  • Chegg 教材与 Stack Overflow 的崩塌
  • 谁在靠 AI 赚钱
    • Jasper
    • Midjourney
    • Copilot
    • ChatGPT
    • Character.ai
    • Agents？
    • 案例研究
      • Levelsio
      • Headlime
      • Zapier AI
      • Notion AI
      • Vercel AI
• 5 分钟：趋势：AI 工程师的崛起
  • 什么是 Software 3.0？
    • Software 1.0 vs 2.0
    • Software 3.0 -> 代码很重要
    • ???
  • https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
    1. 减少并度量幻觉
    2. 优化上下文长度与上下文构建
    3. 融合其他数据模态
    4. 让 LLM 更快、更便宜
    5. 设计新的模型架构
    6. 开发 GPU 替代方案
    7. 让 Agent 变得可用
    8. 改进基于人类偏好的学习
    9. 提升聊天界面的效率
    10. 为非英语语言构建 LLM
  • AI 工程师的细分方向
    • 提示工程与结构化输出
    • AI 用户体验
    • 开源 AI - 托管与基础设施
      • 警惕本地 LLM 的 U 型曲线
    • 开源 AI - 微调与评测
    • AI 生产力开发工具
    • 面向 AI 的工具链
    • AI Agent
• 5 分钟：示例：Latent Space 精选
  • 基础：数据集、基准、算法
  • 名人：Geohot、Chris Lattner、Code Interpreter、AI 工程师的崛起、Replit、逆向提示工程
  • 反直觉的经验
    • 苦涩的教训——对事物做编码只是暂时性的提升
    • RAG——第二大脑
    • 代码总是更好
      • Replit 模型
    • 并非越大越好
      • Chinchilla - Llama
      • Phi-1 数据论文、TinyStories
      • 我们有扩展的技巧——Geohot 1.7T
      • 模型的 T 恤尺码划分
    • 原始数据集被高估了
      • 不需要每年都持续更新
      • 在数据集上做深度学习 -> 4 种训练方式
      • https://twitter.com/altryne/status/1661236778458832896
      • Llama 2——预估成本 25 亿
    • Agent 是未来
• 5 分钟：版图展示
  • 对各个类别等权重处理是错误的
    • https://twitter.com/swyx/status/1701472499840532853/photo/2
  • 调研
  • 基础模型
    • openai
    • anthropic
  • 库 / 框架
    • LangChain
    • LlamaIndex
    • Deepset Haystack
    • Vercel AI
    • Semantic Kernel
    • Guardrails
    • Guidance
  • 向量数据库
    • 向量数据库
  • 开源托管 / 训练
    • ？
  • 其他
    • 提示管理
    • 监控 / 可观测性
• 5 分钟 Latent Space University——复用 CityJS 演讲的内容——0: 学习如何写提示 1. OpenAI GPT3 API 基础（已完成） 1. 什么是 token https://twitter.com/swyx/status/1653893171787747329 2. 提示工具与记忆（已完成） 3. 使用 GPT3 进行代码生成（已完成） 4. 使用 Dall-E、Stability AI、Lexica 和 Midjourney 进行图像生成（进行中） 5. 使用 Whisper 进行语音转文字（待定） 6. 微调与运行开源模型（待定） 7. AI Agent
• 你并不算年长
  • https://www.latent.space/p/not-old
  • AI 工程师的机遇
    • 提示工程
    • AI 用户体验
    • 开源 AI - 托管与基础设施
    • 开源 AI - 微调与评测
    • AI 生产力开发工具
    • 面向 AI 的工具链
    • AI Agent
  • 值得思考的维度
    • 伦理、溯源
    • 安全——Software 2.0 安全
    • 多模态
  • 要排除的内容：
    • AGI 很难
    • Google vs OpenAI vs Meta 之争
    • 存在性风险、监管、法律
    • Threadbois

背景

我很荣幸担任今年 Infobip Shift 大会的主旨演讲嘉宾，紧接着传奇人物 John Romero 登场：