少し前のことだが、私たちは6週間のサイクルを丸ごとBasecampのオンボーディングフローの改善に充てた。

狙いは、使い始めの体験をなめらかにし、基本を素早く教えるやり方を改善し、一歩一歩を少しずつ簡単にすることで、トライアルから有料プランへのコンバージョンを上げることだった。

大まかに言うと、その6週間で取り組んだのは次のようなことだ。

• 手順と基本的な使い方を盛り込んだサンプル「Getting Started」プロジェクトの追加。
• プロジェクト作成の簡素化（従来の複数ステップを1ステップに削減）し、すべてのツールを最初から見えるようにした。ウィザード形式のオプションも廃止した。
• 未使用のツールを紹介するブランクスレート（空の状態の画面）を刷新し、シンプルにした。
• ポッドキャスト作成用のサンプルプロジェクトを刷新した（部門をまたがる、誰もがイメージしやすい優れた例だった）。
• 新規アカウント作成の高速化（以前はサンプルプロジェクトの生成中に数秒待たなければならなかった）。
• トライアル終了が近いことを知らせるリマインドメールの追加。
• サンプルが多すぎて混乱させないよう、もう一つのサンプルプロジェクトを削除した。
• Hey!メニューのオンボーディング用メッセージ／ヒントを、より分かりやすくなるように書き直した。

結果はどうだったか？ なんとコンバージョンが30%も増加した。30%だ！

この分野で働く人なら誰でも知っているように、（人を騙すようなことをせずに）コンバージョンを改善するのは大抵地道な作業だ。少しでも成果が出れば大喜びするのが普通で、1桁台の小さな改善を積み重ね、また1桁台の改善を積み重ね、やっと2桁に届けば御の字、という進め方になる。それなのに今回は、どういうわけか30%もの増加にたどり着けたのだ。

そして、なぜそうなったのかはわからない。そして、知りたいとも思っていない。

一体何が効いたのだろうか？ 本当に効いたのは一つだけだったのか？ すべての改善が合わさった結果なのか？ いくつかの小さな改善が積み重なって大きな効果になったのか？

わからないし、どうでもいい。私たちは6週間かけて作業に取り組み、最善を尽くし、何かが本当に、本当にうまくいった。結果には大満足だし、それで十分だ。結局、それが目的だったのではないか？

一つひとつを別々に試し、それぞれの影響を測定してから次の一手を決めるべきだった（あるいはいつ止めるべきかを判断すべきだった）、という意見もあるだろう。一度にあれだけ多くのことを変えれば、どの変数が実際に効いたのかわからなくなる、という意見もあるだろう。もっと厳密に評価して、今後のプロジェクトに応用できる本質的な学びを得るべきだった、という主張もあり得る。

そういった議論はどれももっともだ。あなたがそれらの点を議論し、何カ月もかけて答えを探したり、統計的有意性を得るために一つひとつの変更を順にテストしている間に、私たちはすでに成果に浸り、プロダクトチームを次のプロジェクトへと移していた。6週間ですべての作業は完了し、私たちは最善を尽くし、そしてそれはうまくいったのだ。

大事なのは「知ること」ではなく「やること」だった。そして、私たちはそれをやり遂げたのだ。