「最新モデルに乗り換えたのに、精度が変わらない」という相談を、よく受けます。話を聞くと、たいてい原因はモデルではありません。AI活用の成果は、複数の要素の足し算ではなく掛け算で決まるため、モデル以外のどこかがゼロに近いままだと、性能をいくら上げても結果は変わらないのです。
この記事では、その「掛け算」の考え方と、モデル選びより先に見直すべき場所を整理します。
AI活用の成果は、4つの掛け算で決まる
AIを使いこなせるかどうかは、次の4つの要素で決まります。AIそのものの基本性能、指示の出し方、会社ごとの前提情報(コンテキスト)、そして必要な情報を探し出す仕組み(索引力)です。
ポイントは、この4つが足し算ではなく掛け算の関係にあることです。どれか1つが0に近ければ、残り3つがどれだけ優れていても、成果全体は0に近づきます。逆に言えば、成果が出ないときに直すべきは、たいてい一番目立つ「AIの性能」ではありません。
「モデルを変える」が一番効きにくい理由
AIの回答に不満があると、多くの人がまず検討するのは、より高性能なモデルへの乗り換えです。感覚としては分かりやすい対処ですが、4つの要素のうち、基本性能が結果に与える影響は実はいちばん小さいことが多いです。
会社の前提情報が渡っていない、指示があいまい、必要な情報をAIが探し出せない——この3つがそろったままでは、どれだけ賢いモデルに変えても、出てくる答えは一般論の域を出ません。
たとえば、こんな例を考えてみます
契約書のチェック業務をAIに手伝わせたい、ある士業事務所を例に考えてみます。最初は精度に不満があり、より高性能な有償モデルに切り替えたとします。ところが、指摘してくる内容はほとんど変わらなかったとしたらどうでしょうか。
原因は、モデルではないかもしれません。事務所には、過去のトラブル事例から積み上げた「うちの事務所では、この条項は必ず赤字にする」という独自のチェック基準があったとします。長年のノウハウですが、それが所長の頭の中にあるだけで、AIには一度も渡されていなかったとしたら——これは十分に起こり得ることです。
その基準を書き出して読み込ませれば、モデルは元のままでも、指摘の質は変わるはずです。ゼロに近かったのはモデルの性能ではなく、コンテキストのほうだった、というわけです。
不満を感じたら、先に確かめる場所
AIの回答に物足りなさを感じたときは、モデルを変える前に、次の3つを確かめてみてください。
- 指示が具体的か。「いい感じに」で済ませていないか
- 会社・業務ならではの前提情報を渡しているか
- 渡した情報を、AIが必要なときに探し出せる状態になっているか
この3つがゼロに近いままだと、モデルをいくら上げても掛け算の答えは変わりません。もう少し詳しい考え方は、AI活用マップのコラムにまとめています。
コラム：AI活用の成果は、足し算ではなく掛け算
AI活用マップ：https://aixmap.jp