「AIを導入したのに、思ったほど成果が出ない」という相談を受けることがあります。話を聞いていくと、決まって出てくる答えが「もっと性能のいいAIに乗り換えましょうか」です。でも実際に中身を見ていくと、性能の問題であるケースはごく一部です。
たとえば製造業の会社で、「AIに見積書のたたき台を作らせているのに、毎回一般的な文面しか出てこない」というケースを考えてみます。使っているモデル自体は最新のものだとします。ところが渡している指示が「見積書を作って」の一言だけなら、会社の商品構成も、過去の見積もりの型も、値引きの判断基準も伝わっていません。この状態では、モデルをどれだけ変えても結果は変わりません。
AI活用の成果は、4つの要素の足し算ではなく掛け算で決まると考えています。AI基本性能・指示力・コンテキスト・索引力。どれか1つでもゼロに近づけば、他の3つがどれだけ優れていても、成果全体がゼロに近づきます。
性能の伸びしろは、思っているより小さい
最新モデルへの乗り換えは、4つの要素の中でいちばん手を出しやすい選択肢です。「新しいモデルが出た」というニュースは目に入りやすく、契約プランを変えるだけで完結するからです。
ですが、渡す情報さえ整っていれば、1世代前のモデルでも十分実用に足る回答が返ってくることのほうが多いです。4つの要素の中で、AIの基本性能が結果に与える重みは、体感としてはいちばん小さいものです。不満の原因をモデル選びに求める前に、残り3つを疑ったほうが、たいてい早く解決します。
指示は「不要」になったのではなく「雑でも通る」ようになっただけ
数年前に一時期、プロンプトエンジニアリングという言葉が話題になりました。AI自体の推論力が上がったことで、多少雑な指示でも先回りして意図を汲んでくれるようになり、指示の重要性は当時より下がった実感はあります。
とはいえ「いい感じにまとめておいて」とだけ伝えて、期待とまったく違うものが返ってきた経験は今でもあります。良い情報を渡していても、指示が曖昧なままだと、その情報は十分に活かされません。指示は不要になったのではなく、最低限の輪郭を示すだけで足りるようになった、というのが実感に近い変化です。
コンテキストがなければ、答えは「どこかで聞いた話」になる
「集客のアイデアを出して」とだけ頼むと、「SNSで発信しましょう」「チラシを配りましょう」と、どこかで見たような一般論が並びます。自社のサービス内容、顧客層、過去にうまくいかなかった施策——こうした前提を渡してはじめて、答えは自社向けの具体案に変わります。
先ほどの見積書の例も同じ構造です。会社の商品構成や値引きの判断基準を渡した瞬間に、AIが出す文面は一般論から実務で使える初稿へと変わるはずです。基本性能の問題ではなく、渡す情報の問題だったわけです。
情報が増えるほど、探し出す力が必要になる
4つの中でいちばん重いのはコンテキストだと考えていますが、そのコンテキストが増えるほど必要になるのが、目的の情報を的確に探し出す「索引力」です。渡す資料が増えるほど、AIに全部を毎回読ませるのは非現実的になっていきます。
せっかく積み上げたコンテキストも、AIが探し出せなければ、存在しないのと同じです。情報を貯めることと、貯めた情報を必要なときに引き出せる状態にしておくことは、別の作業として意識しておく必要があります。
不満を感じたら、モデルより先に確かめること
AIの精度に不満があると、多くの人がまず考えるのは「もっと賢いモデルに乗り換える」ことです。ですがこれは4つのうち1つの要素にすぎません。指示力・コンテキスト・索引力がゼロに近いままなら、どれだけ高性能なモデルに変えても、成果はゼロに近いままです。
次にAIの回答に不満を感じたときは、モデルを変える前に、指示は曖昧になっていないか、必要な前提情報は渡せているか、渡した情報をAIが正しく引き出せているか——この3つを先に確かめてみてください。
この考え方の元になっているコラムは「AI活用の成果は、足し算ではなく掛け算」で詳しく書いています。4つの要素をどう仕組みに落とし込むかはAI活用マップで公開しています。