私たちは皆、問題への取り組み方がわからないために先延ばししてしまう瞬間を経験したことがあるはずです。そんなことが私にもかなり頻繁に起きていると認めることに、私は恥じていません。でも、それこそがデータサイエンティストの仕事です。私たちは多種多様なトピックのプロダクトエキスパートであり、シニアエンジニアでもあり、そして忘れてはいけない――非常に高度なスキルを持つ統計家でもある必要があります。真実を言えば、誰もこの3つをすべて兼ね備えているわけではありません。それで大丈夫です。
AIの時代にあって、熟練した専門家としてはすぐに時代遅れになる、もし格好をつけるならforループやエージェントに置き換えられる運命だと、常に言われています。そこで私は私たちに賭けることにして、私たちを置き換えることを目指すのではなく、私たちを補完するAIパワードのツール群を作ることにしました。私は、人間の判断がビジネス上の問いに対して正しい答えに到達するための重要な鍵であり続けると強く信じています。そしてもちろん、面倒な作業はエージェントを使って自動化するでしょう。でも最終的に判断を下すのは私たちです。
正しい判断を下すことは、適切なアプローチを選ぶことから始まります。現実には、制約があるほど難しくなります。実験は高コストです。特定のテストを実行するのに十分なデータがないこともよくあります。さらに、どの手法にもトレードオフが付きもので、その多くは解析の途中で初めてはっきりしてくるのが常です。
そこで私はplan()を作りました――分析上の課題を説明し、適切なアプローチについての構造化された計画を、分析を始める前、またはプロセスのどこかで第二の意見が必要になったときに得られるようにするものです。このツールはBridgekitスイートの一部で、Anthropic APIを裏側で使いながら、推奨する手法がなぜあなたの特定の課題に適しているのか、重要な前提条件、よくある落とし穴、代替案を説明します。
plan()の動作例はこちらです。プロダクトマネージャーが、新しいオンボーディングフローによってアップグレード率が上がっているかを知りたいとします。
私のお気に入りのセクションは、KEY ASSUMPTIONSとWATCH OUT FORです。もちろん多くのデータサイエンティストは、このセットアップならz検定に着地しがちですが、ニュアンスや落とし穴はしばしば解析の途中でしか表面化しません。これらを最初に用意しておけば、最初から適切なセーフガードを組み込めます。答えられない問いを誰かに投げられてから「後付け」で穴を埋める必要がなくなります。
plan()は、データ品質に問題があるかどうか、A/Bテストが正しくセットアップされているかどうか、あるいはそもそもビジネス上の問いが答える価値のあるものかどうかまでは教えてくれません。それは結局、あなたの仕事です。plan()がしてくれるのは、始める前――あるいはアプローチを疑い始めている解析の途中――までに、起こり得る可能性をすべて考え抜くようにすることです。なので、このプロセスのどこかでステークホルダーから「なぜあなたは特定の手法を選んだのですか？」と聞かれたときに、説得力のある形でその理由を説明し、前提条件を一つずつ確認し、何が起こり得てまずいことになる可能性があるのかを言語化できます。
リポジトリへのリンク：
Bridgekitはgithub.com/getbridgekit/bridgekitでオープンソースです。クローンして、役に立つと感じたらスターを付けてください。
