- 「ほぼ正しい」はレビューを通過するだろう。
- 「ほぼ正しい」はテストとリンターを通過する。
- 「ほぼ正しい」はあなたのコードベースに入り込み、潜在的な大惨事を引き起こすちょうど良い理由の組み合わせを待つことになる。
はい、AIツールはあなたの仕事を高め、実力以上の成果を出す力を与えます。さらに、規律と練習が必要で、ペースを落とし、何が起こっているのかをより深いレベルで学ぶことを自分に許可することができます。
業界がエージェントへ権限を引き渡す方向へ情熱的に推し進めている一方で、私はより慎重なアプローチを提案します。LLMs(大規模言語モデル)と作業する際のデフォルトのモードは常に精査と懐疑心であるべきだと推奨します。信頼は与えられるものではなく、獲得されるべきです。
トレーニングデータが堅牢で豊富で、リクエストが適切な文脈をもって明確に設計されている領域で作業する場合、それらは比較的高い精度を示します。とはいえ、実際の作業はニュアンスと細部にあり、表面的には無害に見える追加や変更を通じてアプリケーションを壊す問題を引き起こすことがよく知られています。すべての返答には“信頼するが、検証する”姿勢を持つべきです。
セキュリティエンジニアは、Claude が提案した解決策が“危険な方法で本当に賢い”ものであると示したことの重要性を強調しました。つまり、それは判断と経験を持つユーザーだけが問題として認識できるものでした。
Anthropic自身もこのアプローチを支持しています:
A security engineer highlighted the importance of experience when Claude proposed a solution that was “really smart in the dangerous way, the kind of thing a very talented junior engineer might propose.” That is, it was something that could only be recognized as problematic by users with judgment and experience.
It's only by knowing how to code, and practicing your coding on a regular basis (and your debugging, 私が現在受講を始めているコース), will you learn the skills to be able to catch those "almost right" solutions that these models provide, and be able to vet them properly, and ensure you're not pushing up a time bomb to your repo!