Whistle Synth Macアプリ
原文は Jeff Kaufman により に公開されました。 このブログを購読する
口笛でシンセサイザーをコントロールする自作プログラムが、Mac App Storeで公開されました:
無料で広告なし、オープンソースです。Macをお持ちで口笛が好きなら、ぜひ試してみてください。外部マイク、ヘッドホン(遅延を抑えるため有線がおすすめです)、あるいはその両方が必要ですが、おすすめは前者です。
ジーニーの時代ともいえる今、実装はClaudeに大幅に書き直してもらいました。レイテンシーは下がり、途切れもなくなり、選べる音色(ボイス)も増えています。しかも前述のとおり、今ではMacアプリになっています。
レイテンシーの改善が最も簡単で早かったです。マイクをヘッドホンに向けて、Claudeにレイテンシーを下げてほしいと頼みました。それだけで往復レイテンシーを測定するのに必要な材料はすべて揃い、Claudeはいくつか試した末に、コールバックAPIといくつかの追加調整が必要だと突き止めました。これにより、(ピッチ検出とシンセ合成を除いた)オーディオの往復時間は80msから5msまで短縮されました。
途切れの修正は、ロジックをシンセに指示を出す検出器とシンセ本体に分けることで実現しました。皮肉なことに、このリファクタリングは、5年前に奇妙なアイデアのために捨ててしまう前の当初の設計へと回帰することになりました。そのアイデアは確かに音は良くなったのですが、非常に制約が多いことが判明したのです。
新しいシステムでは音色の作成がずっと簡単になりました。少なくともそうだと思うのですが、実際に書いたのはすべてClaudeですから。Claudeに様々なタイプのベースをブレインストーミングさせ、プロトタイプをコーディングさせ、納得いくまで一緒に繰り返し改善しました。これにはオクターブレス・ベースも含まれています。高くなるにつれて倍音のミックスをゆっくりと変化させ、知覚されるオクターブを一定に保つ仕組みです。
高音域についても、ようやく満足できる音色ができました。最初からずっと取り組んできた課題でしたが、これまで試したものはどれも気に入りませんでした。これはClaudeにとっても難しかったようです。ベースの試作は70%ほど気に入ったのに対し、実際に演奏に値する高音の音色は今のところ一つしかありません。ドローバー(Hammond)オルガンです。人間の耳は高音域でははるかに敏感ですし、ベースラインの方がシンプルで(失敗しにくく)、チューニングのズレがより速く認識される(音程が完全に定まる前に気づかれてしまうまでの時間が短い)といった要因もあるでしょう。
高音の音色はもっと増やしたいのですが、最大の壁は、(a) 聴いて心地よく、(b) Claudeが実装可能な音色がどんなものかを見極めることでした。本物のフルートの音源を渡すなどして、良いフルートの音を作らせようと長い時間を費やしましたが、物理モデリングにたっぷり時間をかけても、満足できるものはできませんでした。様々なシンセリードやタインピアノ(Rhodes)も試しましたが、うまくいきませんでした。
ドローバーがなぜそこそこ聴けるのかを考えると、回転スピーカー(Leslie)が、持続音では本来物足りなくなりがちなところに豊かな生命感を加えているのが大きいのだと思います。似たようなものは何かと考え、Claudeにアコーディオンの音も作らせてみました。悪くはないのですが、まだ十分に満足できていません。
口笛の音から完全5度下(D -> G)で発音する設定も追加しました。これは口笛が第3倍音の整数倍を補う形になるということです。このアイデアはUgo Contiから得たもので、(音量さえ十分にあれば)脳がいかに速くこの操作に慣れるかは驚くほどです。これにより、自分の音域では本来合わせにくいキーでも曲を口笛で演奏できるようになります。
Mac App Storeでの配信は今回が初めてでした。一つには、Appleの審査プロセスが非常に厳しいことで有名だからです。Claudeにそのプロセスを案内してもらえるか試してみることにしました。ただ、その前にアイコンが必要でした。Geminiに作らせたところ、数回追加で指示を出した末にできたのがこれです:
アイデアの表現としては悪くはないのですが、かなりごちゃごちゃしています。もっとずっとシンプルなものを作らせてみました:
それからClaudeに、これをコードで再現させ、様々なサイズで詳細度を落としたアイコンを作らせました。これはClaudeにはとても難しかったようで、かなり手助けが必要でした。完全にはうまくいかず、少しシンプルにする必要もありましたが、十分な出来だと思います:
128×128ではディスプレイの波形が消えます:
そして32×32ではコントロール部分もなくなり、どぎつい緑の口笛の面影だけになります:
App Storeへの掲載には、開発者メンバーシップの料金を支払い(どうやら昔よりケチではなくなったようです)、本人確認をする必要がありました。気づかなかったのですが、Appleが私の身分証を読み取った際に名字が「Kaufhan」となっていました。Appleサポートに連絡する必要がありましたが、修正してもらえました。スクリーンショットの撮影やデモ動画の作成を含め、残りの工程はClaudeが案内してくれました:
これはAIが補完的に機能する好例です。すべてを自分で書かなければならないとしたら、こんなことはとてもやる気にならなかったでしょう。共同作業によって、手書きのシンセよりもずっと良い音で、ずっと汎用性が高く、App Storeからインストールできるものを作ることができました。AIが非常に役立つほど十分に優秀でありながら、まだ自分が付け加える余地がなくなるほどではない、この絶妙な時期を最大限に活用していくつもりです。
記事をランダムに読む


コメント
ログインしてコメントする