Organizing AI Engineer World's Fair 2024

2024-06-29

AI Engineer World's Fair 2024を企画・運営する

原文は Shawn Wang により 2024-06-29 に公開されました。このブログを購読する

注：これはAIEの運営における僕の側の話でしかない。本来はBenにもロジスティクスやスポンサーシップ周りについて書いてもらう予定だったのだが、結局やらないまま1年半が経ってしまったので……あるものをそのまま出す。この思いつくままを吐き出したような内容で申し訳ない。2025年版はこちら https://www.latent.space/p/aiewf-2025-keynotes

僕らは今、最初のAI Engineer World's Fairという、ビジネスパートナーのBenと二人で作り上げているAI Engineerカンファレンスシリーズの大型・マルチトラック版の、非常に濃密な制作期間を終えたところだ。僕は昔から教訓や考えを書き残すのが苦手で、だから金曜の夜、マクドナルドでM2 MacBook Airのバッテリー残量16%の状態でラップトップに向かい、バッテリーが切れるか自分が力尽きるまで書き続けている。

会場

AI Eng Summitは2023年10月7〜8日に開催され、まずまずうまくいった。AIの進化の速さを考えれば、年に少なくとも2回はカンファレンスをやるべきだと僕はかなり固く決めていた。カンファレンスに登壇し参加する機会が多い身として、KubeCon（~~1万人規模、クラウドネイティブ業界向け）やNeurIPS（~~1万5千人規模、研究志向）といった大規模な業界カンファレンスや、Big Data London（~~4〜5千人規模、主に展示ホールで小さなトークが少しある程度）のような大きなエキスポ、そしてビジネスとしてはInfobip Shift（~~4〜5千人規模、ブートストラップでInfoBipに売却）に刺激を受けている。これらはどれも本当に巨大なB2Cカンファレンスやトレードショーに比べれば小さいが、それぞれの開発者サブ業界にとってはランドマーク的なイベントであり、僕らも同じようなものを作るべきだというのは明らかだった。

最大の問題は、Benがこれまで700人規模を超えるカンファレンスを運営したことがなかったのに、今回は一気に規模を拡大しようとしていたことだった。AIES 2023は約550人だったが、僕は目標としてざっくり約2,000人という数字を掲げた。

僕は昔から万国博覧会に憧れていた。僕の中では、世界が誇る最高のものを集めた博覧会という理想の典型だ。サンフランシスコで芸術宮殿（Palace of the Fine Arts）を見たことがあれば、シアトルでスペースニードルを、パリでエッフェル塔を、上海で中国館を見たことがあれば、それらはかつての万博が現代の文化に永続的に残した痕跡であり、古代文明が私たちを驚嘆させるために巨石やジッグラトを築いたことの淡い模倣だ。だから理想の会場として芸術宮殿を名指しし、Summitの会場でそのままWorld's Fairを発表した。「ブラインドバード」チケットとして——全額返金可能で、日程も「2024年春」といった曖昧な表現以外は何も決まっていない状態で。

会場はすぐに最大のネックになることが分かった。Summitの直後に芸術宮殿（PoFA）の内見をした。そこには約1,000人収容の美しいシアターと、エキスポやフードブース、フードトラックを余裕を持って収容できるホールがあった。1年前にHugging Faceが同じ場所で約2,000人規模の「Woodstock of AI」を開催して好評だったこともあり、PoFAならいけるだろうと思っていた。PoFAのロタンダは絵になるレセプションや、野外コンサート（知り合いのバイオリニストが弦楽四重奏を連れてくるのを喜んでくれそうだった）にぴったりの、開放的で素敵な空間だった。PoFA周辺の湖や公園には、屋外のスタンドやブースを並べ、ドローンが飛び回る光景まで夢想していた。

現実は、PoFAはサンフランシスコ市によって厳しく規制されているということだった。屋外スタンドを出すには、無名のカンファレンスである僕らにはまず下りないような特別な許可が必要になる。ロタンダは歴史的価値があり、借りるのに非常に高い追加費用がかかった。PoFA自体も安くはないが、本当の懸念はマルチトラックカンファレンスにおける音漏れだった——4〜5トラックを想定していたが、選択肢は100〜300人規模の小さな部屋と、1,000人収容のシアター、そしてどうにか300〜500人を詰め込めるが背景の騒音が大きいエリアが1〜2カ所ある程度だった。プレシディオの奥まった場所にあるため、ゲストやスピーカーが快適に行き来できるホテルを見つけるのも難しく、バスをチャーターする必要も出てきそうだった。僕はそれでも構わないと思っていたが、最終的には見送ることにした。

1月末までに、僕らはバックアップ案だったFort Masonに決めた。桟橋に位置し、眺めが素晴らしく、僕の好きなアウトドア感もあった。1月末から2月初頭にいくつかのビジュアルとともにSave the Date（開催予告）を出し、それが初期のチケット販売のきっかけになった。

しかしFort Masonも、複数トラックをやるにはステージが足りなかった。そして3月に入ってもコストのことが頭から離れなかった。チケット販売予測の下振れで着地した場合、30万〜50万ドルもの非常に高額な固定費を抱え込み、実質的に事業が破綻しかねない額の損失を被ることになりそうだったからだ。

会場は日程との兼ね合いでもある。僕は春開催にこだわっていたし、6カ月ペースでいくと4月になるが、寒さの問題もあれば、短期間で会場を確保できるかという問題もあった。絶え間ないやり取りの詳細はもう覚えていないが、押して押して、最終的に6月の日程に落ち着いた。

僕らは会場が確定しないまま、ずっと「ブラインドバード」チケットを売り続けていた——両方の会場を仮押さえしつつ、チケットの売れ行きや他の選択肢次第で引き返せるようにしていた。かなりギリギリの段階（3月だったか？）で、Benが古い知り合いのつてでMarriott Marquisを見つけてきた。そしてその柔軟性、理想的なAV環境、街中という立地、そして街全体を見渡せるView Loungeを気に入った。僕は、これまで無数に行われてきた他のカンファレンスと同じように、ホテルの冷房の効いた地下でカンファレンスをやるというアイデアが大嫌いだったが、Benが乗り気だったので折れた（結果的に、それは特に問題にはならなかったように思うが、それでもアウトドア感の方がより「フェア」らしく、SNS映えもしたはずだという考えは今でも変わらない）。

素晴らしい会場には、素晴らしいスポンサーが必要だ。スポンサー探しや交渉の詳細をどこまで話せるかわからないが、僕らの夢のプレゼンティングスポンサーは——常に——Microsoftだった。彼らはSummitを支援してくれて満足してくれていたし、今度はもっと大きな信頼を寄せてもらうことになる。Brittonをはじめとする素晴らしいチャンピオンたちのおかげで、最終的に引き受けてくれることになった。

ローンチ

僕らは3月29日にMicrosoft Deputy CTOのSam Schillaceとともにサイトをローンチした。その時点で、呼びたいと思っていた主要なAIラボのほぼすべてから登壇の内諾を得ていた（詳細は後述）ので、集客にはそれなりに自信があった。ただ、会場とプレゼンティングスポンサー（と他数社）を除けば、残り3カ月という時点で他には基本的に何も確定していなかった——もちろん、それまでの3カ月間口説いていたスピーカーたちには口頭でオファーは出していたが。

その頃には、僕が企画していた9つのトラックも固まっており、それが次の話につながる……

スピーカー

「この業界セグメント（少なくとも米国では）で、ほぼすべての影響力のある人や企業からどうやって賛同を得たのか、すごく気になります」

どうやってスピーカーを集めたのかに興味を持つ人が多いようなので、できる限り振り返ってみる……が、答えはちょっと退屈なものになる。ひたすら手を動かし、Latent Space Podを作り、AIE Summitの実績を持ち、自分のオーディエンスにとって面白いと思う人に来てほしいと頼む。それだけだ。

詳しく書くと：

僕らはローンチと同時にCall for Proposals（公募）を出し、伝統的な応募プロセスを設けた。

驚くべきことに、このプロセス経由だけで素晴らしいスピーカーがインバウンドで集まり、その中には4人のキーノートスピーカー（MozillaのStephen Hood、ModularのChris Lattner、「Spreadsheets are all you need」のIshan Anand、AdeptのDanielle Perszyk——彼女はカンファレンスの時期にAdeptが買収されたため最終的に辞退した）や、すぐに採用を決めた注目に値する高プロフィールなスピーカーが多数含まれていた：

João Moura - crewAI、創業者兼CEO
Eno Reyes - Factory、CTO
tevye Krynski - Perpetual、AI（当時まだプライベートベータ） CEO
Patrick Debois - Jedi、VP of Engineering
Two speakers -: Hamel, Husain & Emil Sedgh Parlance Labs (Hamel), Rechat (Emil) AI Engineer (Hamel), CTO (Emil) (invited by swyx)
Nikhil Thota - Perplexity、AI「Member of Technical Staff」
Ahmed Menshawy - Mastercard、Vice President of AI Engineering
Arjun Bansal -, Alexander, Kvamme (ak@echoai.com) Log10, Echo AI (Joint presentation) Log10 CEO & Co-founder, Echo AI CEO
Philip Kiely & Pankaj Gupta - Baseten、Head of Developer Relations、共同創業者
Jeronim Morina - AXA、Senior MLOps Engineer
Ian Webster - Discord、Senior Staff Software Engineer
Shawn Jansepar - Khan Academy、Director of Engineering, Learning & AI Platform
Dominik Kundel - Twilio、Head of Product & Design, Emerging Tech & Innovation
Daniel Whitenack - Prediction Guard、創業者兼CEO
Atita Arora - Qdrant、Solution Architect
Mark Moyou - NVIDIA、Sr. Data Scientist
Vibhor Kumar - Tinder、AI Software Engineer - Trust & Safety
Sumit Agarwal - Gather、CEO兼共同創業者
Remi Louf - .txt、CEO
Phlo Young - Young、マーケター
Morgante Pell - Grit、CEO
Shelby Heinecke - Salesforce、Senior Research Manager
Emil Eifrem - Neo4j、共同創業者兼CEO
Arvid Lunnemark - Anysphere、共同創業者兼CTO
Jasmine Wang - LanceDB、Head of Ecosystem Enagement
Mark Kim-Huang, Gradient、共同創業者兼Chief Architect
Sheila Gulati - Tola Capital、Managing Director
Vaclav Mlejnsky - E2B、CEO
Gunjan Patel - Palo Alto Networks、Director of Engineering
Phoebe Klett - Normal Computing、Machine Learning Engineer
Stefania Druga - Google Gemini、Research Scientist
Hubert Misztela - Novartis、AI Researcher/ Director Data Science
Manuel Odendahl - The Tree Center、Principal Engineer
Tanmai Gopal - Hasura、共同創業者兼CEO
Banjo Obayomi - AWS、Senior Developer Advocate
Aaron Dignan - Plumb、創業者兼CEO

この30数名は、応募してきた約500名のうち審査を通過した約6%に過ぎない。

つまり、それとは別にスポンサーから提供されるスピーカーを除いて、少なくともさらに30〜50名の招待スピーカーを集めるのが完全に僕の仕事だったということだ。

僕はトラックごとに理想のスピーカーリストを作り、そこから声をかけ始めた。リスト自体はお見せできないと思うが、基本的に9トラック×各8名の候補者と、それぞれについて思いつく限りの信頼できる／ふさわしい名前を片っ端から声をかけていくイメージだ。8名ずつ候補を立てた最大の問題は、自分がどれだけ「在庫」を持っているのか——つまり何枠オファーできるのか——が、非常にギリギリになるまでまったくわからなかったことだ。本来はもっと早くBenと合意しておくべきだったことで、適切なスケジュールをキュレーションしつつ、特定のトラックでオーバーコミットして後からオファーを撤回するような事態を避けようと、途方もなく無駄なストレスと選別作業を抱えることになった。

最も難しかったのはキーノートだ——僕らはなんとかJeff DeanやAidan Gomez、あるいはMicrosoft、Anthropic、Hugging Face、OpenAIの上層部の誰かをブッキングしようとしていたが、彼らの出張スケジュールはすでにその時期は埋まっていた。最初は受諾してくれたのに、その後連絡が途絶えてしまう人もいて、さらに混乱を招いた。

AIカンファレンスにはスパイスとしてAIラボが必要だ。昨年はOpenAIとAnthropicに参加してもらったので、今年は残りのCohereやMistralなどを集める必要があった。それはDevRelやVCのつてで実現できた。MetaとHugging Faceについては明らかな抜け漏れを作ってしまったが、これは単純に手が回らなかったという以外に言い訳がない。

AIカンファレンスには、みんなが見たいホットなAIスタートアップも必要だ。上で見たように、キーノートのCFPですでにかなり運に恵まれていた。目玉はScott Wu／Cognitionだった。幸い彼は僕のことを知ってくれていて一度話したこともあったので、オファーしたらそのまま受けてくれた。特に語ることはない。同様に、Cursor、Cartesia、Dawn Analytics、Midjourney、Zeta Labs、Groq、そしてYear in LLMs記事の6人の著者たちにも機会を見て声をかけた。何が「ホット」かを見極める目と、シンプルに声をかけることが、ここでは大半の仕事をしてくれたと思う。

僕が本当に力を入れたことの一つは、World's Fairを文字通り「世界の」代表にすることだった。アフリカ、中東、インド、中国のAI企業や、シンガポールや日本の知り合いにも声をかけた。基本的には誰も乗ってこなかったが、Qwenのような中国のグループは興味を示してくれたものの、ビザのために6カ月のリードタイムが必要だった。結局、ヨーロッパとラテンアメリカからの参加にとどまった。

もう一つ、より対応が難しかったのがAI Leadershipトラックだ——これまで一度も企画したことがなく、あまり馴染みのないペルソナでもあった（程度は低いがAI in F500トラックも同様）。結果的には心配する必要はなかった。SourceGraphのAIイベントに参加して、AIリーダーに何が刺さるのかという点で多くのインスピレーションを得て、彼らが数名のブッキングを手伝ってくれたし、あとは僕の自然なネットワークと（上記の）CFPで残りは非常にオーガニックに集まった。最も誇りに思っているのは、僕が足りないと感じていたギャップに焦点を当てた特別セッションをOpenAI、Cohere、LlamaIndex、Hexに依頼し、すべて受けてもらえたことだ。レビューを見る限り、AI Leadershipトラックは特にうまくいった。

ギリギリになって作った仕掛けの一つがTrack Hostというコンセプトだ。Benと僕だけでは手が回らず、5つの同時並行トラックで良い体験を担保できないことは目に見えていたし、MCなしでトラックを回すのは良くないと感じた。ここでもネットワークをかき集めてホストを集めたが、声をかけた人はほぼ全員快く引き受けてくれたと思う（DemetriosやPeter Cooperのように、自ら進んで志願してくれた人もいた）

最後にダイバーシティについて。昨年は女性スピーカーが10%だった。今年は、後述する直前の変更がある前は、女性のキーノートスピーカーとトラックホストが50%だったと思う。多少は僕が意図的にバランスを取った部分もあるが、インバウンドのプール自体が純粋により多様で、それが最もオーガニックに効いた。さらに、友人のSasha Shengに初めてのダイバーシティ委員会を運営してもらい、約35名の多様な参加者にスカラーシップを提供できた。これはWriterの厚意による部分的な支援で実現した。彼らは僕らが確保できた唯一のダイバーシティスポンサーだった。

直前の1週間

これは厳密には直前7日間というわけではなく、どちらかといえば直前1〜2週間だが、カンファレンスに向けてストレスが極限まで高まっていった時期を思い出しながら書いている

マーケティング：

5月17日 - スピーカー第一弾を発表
6月3日 - スピーカー第二弾を発表
6月17日 - VP AIセッションとサイドイベントの詳細を公開
また、cerebralvalley.aiからlatent.spaceまで主要なニュースレターで広告を出し、一部のニュースレター著者とはメディアパートナー契約も結んだ。ROIがどうだったかはわからない。
6月20日頃から、売れ行きのプレッシャーが「売れ残り」から「売れすぎ」に反転するのを感じ始め、ボランティア募集を呼びかけたところ、カンファレンス本番の2〜3日前にAndrej Karpathyを含む多くの人々が拡散してくれて成功した。

僕らは約2,000人の来場を目標にしていた。5月1日時点で25%、6月1日時点で41%しか売れておらず、完売したのはAndrejのツイートの後、6月24日になってからだった。以下は、こうしたイベントの事前計画を極めて困難にする、ギリギリになってFOMOで急騰する販売カーブを、意図的に分解して示した折れ線グラフだ：

比較として、ICLRの販売カーブが理想的な状態、すなわちカンファレンス60日前にチケットの50%を売る状態に達するまでに何年かかったかを見てほしい。

コンテンツ：

多くの、非常に多くのことがギリギリに決まる。スピーカー一人ひとりが外部依存であり、しかもスピーカー自身も僕らの知らない依存関係を抱えていて、いつでもコミットが揺らぎうる。だから彼らにとっては、確定を遅らせるほど良い。理想的な人材の多く——OpenAI、Anthropic、Cohere、LlamaIndex、Hugging Face、Supabase、Exaなど——はギリギリになって登壇の打診をしてきて、僕らはすでに満席で断るか、キャンセルが出た穴埋めに充てるしかなかった。そしてもちろん、参加者や会場・印刷パートナーにとっては真逆のニーズがある——すべてが何週間も前に確定している方が良いのだ。

6月17日時点でスケジュールがどれだけラフだったかはこんな感じだ。

直前にやったことの網羅的ではないリスト……

トラックホストへの指示を確定して送付
ビザ免除を申請して却下され、カンファレンスに向けて入れていた複数の対面コミットや、カンファレンス中のコミット（特にGitHub CEOとのもの）から手を引かざるを得なくなった
ソーシャル用インタビュアーを手配（展示フロアのウォークスルーや動画マーケティング用——3組がインタビューを担当）
外部スタートアップパートナーを手配（スピーカー／トラックホスト向けのBeeとCompassのウェアラブル、Videotap、インフォグラフィック用のThoth）
ワークショップのスピーカーが直前で辞退——リスケが必要に
スポンサーからの参加者リスト送付依頼に対応——私たちは参加者リストを販売しない
ライブストリームするトラックを確定
新しいスピーカーとその登壇時間を確定
AI Engineeringに対する非常に公な批判への対応
World's Fair 2025の資料を準備
社内の技術やプロセス、スポンサーとスピーカーの現場でのプレゼンスバランスをめぐる絶え間ない小競り合い（笑）
100名超のスピーカーディナーとスワッグの手配を確定
約50名のボランティアチームを立ち上げ

うまくいったこと

学んだ教訓

社内オペレーション
- 人は来ない——RSVPで「行きます」と言っていても、お金を払っていても来ない人はいる。定員の130%くらいまで余裕を持って予約しても問題なかったはずだが、今回は100%で硬く上限を設定してしまい、無駄に自分たちを追い込んだ
- Single Source of Truth（唯一の正）が必須——スピーカーや部屋、時間割を追うスプレッドシートが最大5つもあり、すべてが手作業で書き込まれていた。しかもそれらがCMSともバラバラだった。
- すべてのスピーカーとトラックホストの電話番号を必ず持っておくこと——必要なときに見つからず非常にストレスだった（あるキーノートスピーカーが登壇を完全にすっぽかす事態につながった）
- セッション／ワークショップの事前登録を提供すべきか？
技術（モバイルアプリとウェブサイト）
- データベース／CMSの負荷テスト——最も必要なときに落ちやすい。僕らの場合はSupabaseでコネクションプーリングに切り替えていなかったことに気づかず、4〜8時間のダウンタイムが発生した
- モバイルアプリの読み込みが遅かった
- ウェブアプリの読み込みが遅かった——途中で事前生成に切り替えるまで
- モバイルアプリには自分でスケジュールを組む機能、マッチング、リードスキャンを追加した——実際にどれだけの人がアプリを使ったかは未集計
- スケジュールのAPIを提供して、他の人がその上に構築できるようにすべき。なぜなら、まさに人々は僕らのウェブサイト／アプリへの不満からそうしたからだ
コンテンツキュレーション
- 大企業からの録画デモはなしでお願いします
- ソーシャルイベントにもっと余白を——Weaviateは朝ヨガをやりたがっていたし、他の人たちはランセッションをやりたがっていた
- オンラインでのトーク応募をもっと多く受け入れる——ライブストリームでかなり空白の時間があった

長さと精度

Tiago Freitas — 枠はもっと長くすべきだ。スピーカーが何かちゃんとしたことをするには短すぎたし、話した誰もが同じ不満を口にしていた

Eugene — 多くの人が前年のよりハッカソン的だった雰囲気を懐かしがっていた。もっと突飛で奇抜なアイデアの方が良いのでは？——だからランダムなトラックがあってもいいかも？——みんな、自分と同じような普通の人がいろいろ試しているのを見るのが好きなんだ（僕は去年はいなかったが、何度も耳にした）
もう少し hang out するためのフリースペースがほしい。SaaStrはテーブルや椅子を多く用意して廊下での交流を最適化している例だ（僕はそれだけのために来ているのでバイアスはあるが）
一部のマルチトラックカンファレンスでは、たいてい中央に全トラックのスケジュールを示す大きなボードがある。一カ所にまとめて——そうでないと混乱する