広告

プロンプトを数えるのをやめて、AIの流暢さを振り返ろう

Dev.to / 2026/3/28

💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage

要点

  • この記事は、AIのプロンプト数や出力(例:PR数、行数)を数えることは、効果的なAI支援作業の本当の「手触り(feel)」を表すことに失敗していると主張している。
  • AIの生産性を「流暢さ(fluency)」の一形態として捉え、利用者は他者よりも良い結果を得られることがあるが、その優位性は単純な指標では定量化しにくいと論じている。
  • 著者は、AIを使ってできると思っていることと、実際に具体的に証明できることの間には測定可能なギャップがある点を指摘している。
  • 投稿は続いて、著者の以前の取り組みを振り返り、その文脈を用いて、生の活動数(単なる作業量)を超えた本物のAI熟練(AI proficiency)をどのように示すかという問いに答えている。

"僕はこれを操縦するのが一番だ!"

日本のメカアニメに、有名なセリフがあります――主人公が叫ぶんです:「僕が一番ガンダムをうまく使えるんだ!」――「僕がこのガンダムを最もうまく操縦できるんだ!」

毎日AIのコーディングツールを使っているなら、きっと似たような感覚を覚えたことがあるはずです。AIと噛み合った瞬間のような――それが「分かる」って感じ。周りの多くの人よりも、より多くを引き出せていると分かる感覚です。

でも、それってどうやって示せばいいのでしょう?

「PR数を見てみろ」?「生成した行数を確認しろ」?違います。そうした数字では、AIと上手くやれているときの感触は捉えられません。分かっていることと証明できることの間に残る、そのもどかしいギャップ――それが、私を始めさせたのです。

自分自身の問いに、答えを出す

前回の投稿で、私はこう問いかけました:

あなたのチームは、AIのコーディング生産性を、これらのどれかで測っていますか?

よくある指標 実際に褒める(評価してしまう)もの
生成したコード行数 量の目標が、膨張(バウンス)を促進する
セッションあたりのプロンプト数 件数が多いほど、指示が悪いことを示す場合があり、頑張っているとは限らない
応答速度 聞く前に考える人を罰する
コミット数 作業を分割するだけで簡単に水増しできる
採用しているAIツールの数 使う=うまく使う、ではない

どれもを測っています。ですが、あなたが実際にAIと上手くやれているかどうかは、量の指標には表れてきません。

この記事では、3つの永続する原則を示しました:元に戻せる状態を保つ、意図を明確にする、出力を検証する。AIフルーエンシーは、これらを構造化したセルフリフレクション(自己振り返り)に落とし込もうという試みです。あなたをランキングするスコアではなく、どうやってAIと協働しているかを映し出す鏡として使うためのものです。

「フルーエンシー(Fluency)」ってなぜ?

フルーエンシー――言語の流暢さのようなものです。流暢であれば会話は自然に流れます。つまずいたり、途中で戻ったり、自分の言いたいことをうまく表現できずに苦戦したりしません。

AIと一緒に働くときも、似た感触があります。うまくいっているときは、指示とAIの出力が噛み合って、仕事がただ流れていく。逆にうまくいっていないと、修正と手直しのループに閉じ込められます。

AIフルーエンシーは、それを可視化しようとします――AIとどれくらい自然に協働できているか

私が作ったものはこれです

AI Fluencyスコアカード:5軸のレーダーチャートでスタイルタイプ、順位、各軸のスコアを表示

私の結果:The Explorer —— AIの新しい使い方を探索するタイプ。Breadth(幅)が強みで、Precision(精密さ)には伸びしろがあります。

完全な能力シート:profile.md

リポジトリ:github.com/suruseas/ai-fluency

日本語版も Qiita で利用できます。

別のものさし:5つの軸

「fluency(流暢さ)」が実際に意味することを分解した結果、私は5つの次元にたどり着きました:

何を測るか
Context Design(文脈設計) AIが最善の仕事をできるように環境を整えること
Precision(精密さ) 最小限のやり取りで意図を明確に伝えること
Steering(操縦) AIの出力を正しい方向へ導くこと;品質を判断すること
Output(成果物) AIの協働によって実際に価値を届けること
Breadth(幅) 多様なタスクにわたってAIの能力を使うこと(ただ1つのパターンだけにとどまらない)

最初の3つは、前回の記事からの不変の原則に対応します:

  • 「意図を明示する」→ Context Design + Precision
  • 「出力を検証する」→ Steering

残りの2つはさらに一歩進みます—— 協働が実際に成果を生んでいるかどうか(Output)、そしてAIの幅広い可能性を使い切っているのか、それとも単一のパターンに閉じ込められているのか(Breadth)を問います。

「プロンプト数が少ないほど良い」ではなく——「より少ないやり取りで正しくできるか?」。 「コミット数が多いほど良い」ではなく——「本当に目標を達成できているか?」。量から質へのこの切り替えこそが、すべての要点です。

手法に関する注記

この5つの軸は、文献調査や厳密な研究から導き出したものではありません。AI自身と反復していく中で生まれました—— 私自身の何十ものセッションにおいて「うまく協働できている」と感じたものを分解し、その後、そのカテゴリ同士が重なり合わなくなるまで、カテゴリを圧力テストしました。これは意見に基づくフレームワークであり、科学的な計測器ではありません。でも、自己省察のためのツールとしてはそれで十分だと思っています。

16のスタイルタイプ—— ちょっとした遊び心が定着した

5軸のスコアを出したあと、素の数値をそのまま語るのは難しいと気づきました。「私のContext Designは76で、Breadthは96」—— これはカクテルパーティーの会話としてはちょっと違います。

そこで、思いつきで性格タイプのシステムを作りました。レーダーチャートのによって人を分類するのです。すると驚くほど直感的だったので、そのまま定着しました。

タイプは「スコアがどれだけ高いか」ではなく、どの軸が際立っているかで決まります。順位ではなくスタイルの話です。いくつか例を挙げます:

  • The Sniper(Precision)—— 最小の入力で最大の出力。ワンショットの指示で、うまくいく。
  • The Architect(Context Design)—— 舞台設定の名人。AIはほとんど質問する必要がない。
  • The Explorer(Breadth)—— 常にAIの新しい使い方を探している。まずMCP、プラグイン、サブエージェントを試す。
  • The Surgeon(Precision + Steering)—— 難しい問題に対する精密さと手さばき。
  • The Virtuoso(Balanced)—— すべての軸にわたってバランスが取れている。

全部で16タイプあります(1つのバランス型 + 5つの主要型 + 10のハイブリッド型)。リポジトリで完全な一覧を見る。

全軸で高スコアであることがゴールではありません—— どの形にも意味があります。

正直な限界

これは自己省察ツールであって、パフォーマンス指標ではありません。知っておくべきことがいくつかあります:

  • スコアは実行のたびに変わります。 定性的な評価にはLLMを使うため、結果は決定論的ではありません。これはAIベースの評価を使うトレードオフです—— 私は絶対値の数字よりもを重視することで、その点に踏み込みました。
  • スタイルは個人的なもので、比較には向きません。 共通の評価基準はありますが、まったく同一のスケールではありません。あなたの「72」と、別の人の「72」は同じ意味ではありません。大事なのはレーダーチャートの形です。

それに加えて、名前をつけて言語化しておくべき内在的な循環性もあります:このツールは、LLMを使って「あなたがLLMとどれだけうまく働けているか」を評価します。死角がありえます—— 例えば、簡潔だがエキスパートなセッションよりも、冗長なセッションを好むなどです。現時点でその解決策はありませんが、フレームワークの透明性(すべてのスコアリングロジックがリポジトリにある)が役に立つと思っています。

使い方

現在はClaude Codeのセッションデータをサポートしています。5つの軸そのものは、設計上エージェント非依存です—— 他のエージェントの対応は計画されています。

# 1. クローンしてセットアップ
git clone https://github.com/suruseas/ai-fluency.git
cd ai-fluency
npm install

# 2. Claude Codeでセッション分析を生成
claude> /insights

# 3. スコアカードを生成(英語出力)
npm run score           # → output/scores.json
npm run card            # → output/card-dark.svg, card-light.svg
npm run profile         # → output/profile.md

もっと簡単に: もしすでにClaude Codeのセッション内にいるなら、あとは /ai-fluency と入力するだけでOKです。ワンショットで全部処理してくれます。

これによりSVGカード(ダーク/ライトテーマ)と、output/ にMarkdown形式の能力シートが生成されます。カードをGitHub READMEに埋め込むには、リポジトリ内の手順を参照してください

まとめ

これは、前回の記事で私が投げた問いへの答えとして始まりました。コード行数やプロンプト数が間違った指標なら、私たちは何を見るべきなのでしょうか?

私の答え:Context Design, Precision, Steering, Output, Breadth —— 人とAIの協働の質であり、量ではありません。

完璧なツールではありません。でも、これで立ち止まって考えられるなら——「なるほど、こういうことが私のAIとの付き合い方なんだ」— それで十分です。

もしClaude Codeを使うなら、所要時間はだいたい2分です。あなたのタイプをコメント欄に投げてください—— follow-up記事でdev.to向けの配布版をまとめます!

GitHub ロゴ suruseas / ai-fluency

AI Fluency - 5つの軸でAIコラボレーションのスタイルをスコア化

AI Fluency

GitHub プロフィールに貼れる「AI活用力」のスコアカード生成ツール。

AI エージェントとの協働スタイルを5軸でスコアリングし、SVGカードと能力シートを出力します。評価軸はエージェント共通の設計ですが、現時点では Claude Code のセッション分析データ(/insights で生成)に対応しています。

カード例



AI Fluency Card

前提条件

現在の対応エージェント: Claude Code

  • Claude Code がインストールされていること
  • Claude Code でのセッション履歴があること(分析対象データとして必要)

他の AI エージェントへの対応は今後追加予定です。

試してみる

1. リポジトリをクローンしてセットアップ

git clone https://github.com/suruseas/ai-fluency.git
cd ai-fluency
npm install

2. facets データを生成する

Claude Code で /insights を実行してください。セッション履歴が分析され、~/.claude/usage-data/facets/ に facets データ(JSON)が生成されます。

claude> /insights

注: facets データがない状態では、以降のステップを実行できません。

3. スコアカードを生成する

クローンしたディレクトリで Claude Code を起動し、/ai-fluency を実行します。

cd ai-fluency
claude
claude> /ai-fluency

直近3ヶ月分のデータを対象に、スコア算出からカード・能力シートの生成まで、すべて自動で行われます。

手動で実行する場合

# 定量スコアのみを算出(output/scores.json に出力)
npm run score

# SVG カードを生成(output/card-dark.svg, card-light.svg)
npm run card:ja     # 日本語版
npm run card        # 英語版(デフォルト)

# 能力シートを生成(output/profile.md)
npm run profile:ja  # 日本語版
npm run profile     # 英語版(デフォルト)

生成物はすべて output/ ディレクトリに出力されます。

注意: 生成物にはプロジェクト固有の情報は仕組み上含まれませんが、output/profile.md に機密情報が出力されていないことを公開前にご確認ください。

3. README に埋め込む

<picture>
  <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/suruseas/ai-fluency/main/output/card-dark.svg">
  <img src="https://raw.githubusercontent.com/suruseas/ai-fluency/main/output/card-light.svg" alt="AI Fluency">
</picture>

スコアについて

スコアの一部(定性評価)は AI がセッション内容を読み取って判定しています。そのため以下の点にご注意ください。

  • 再現性はありません — 同じデータでも実行のたびにスコアが多少変動します




広告