ローコード・ノーコードツールでAIエージェントを作ろうとすると、かなり早い段階で「RAG（検索拡張生成）」を学びます。
教材に添付されたナレッジファイル（検索元のデータ）を指定し、指示文（プロンプト）を貼り付けるだけ。これで最低限動くAIエージェントの完成です。
「えっ、これだけのものにお金を取るの？」と思う人も多いでしょう。（ちなみに、弊社で作るAIエージェントはそんな簡易モードで作成しません）
◆RAGは本当に簡単なのか？
私は「RAGは料理に例えると、握り寿司に似ている」と感じています。
刺身がご飯の上に乗っていればいい、というのであれば誰でも作れます。
しかし、素人とプロが握った寿司には雲泥の差があり、当然コストも違います。
RAGも同じです。適当なデータをナレッジ（情報検索元データ）として読み込ませ、適当なプロンプトを入れれば、一応それらしく動きます。
でも、その精度（寿司でいえば食感や味）はどうでしょうか？
とんちんかんな回答や、古い情報に基づく回答が混ざっても構わない、というのであれば問題ありません。
しかし企業で使う場合、誤った情報を回答することは大きなトラブルの原因になりかねません。
さらに、信頼できない回答が増えると利用者が離れ、せっかく導入したAIが使われなくなってしまいます。
◆RAGの仕組みと、難しさのポイント
RAGは、大きく分けて2つのステップで動いています。
- 利用者の質問に対して、ナレッジから適切な情報を探し出す
- 探し出した情報をもとに、質問に合った回答を作成する
精度を左右するのは、この2つのステップそれぞれの「質」です。
■ステップ1：適切な情報を探し出せているか
（1）ナレッジそのものの質
AIは検索元のナレッジから情報を拾ってきます。そのため、ナレッジが次のような状態だと、正しい回答を返すのは至難の業です。
- そもそも必要な情報が載っていない
- 情報が古い
- 人間が読んでも理解しづらい文章になっている
- 内容が画像で描かれている
- 社内でしか通じない略語・通称が混ざっている
これは、どれだけAIが進化しても解決しません。
人間が実際に手を動かして整理する必要がある領域です。
理想を言えば、「AIが理解しやすい形式」に整えて保存しておくことが望まれます。
（2）検索がきちんと機能しているか
実際に使ってみると、「ナレッジにテキストで書いてあるのに、なぜか答えてくれない」ということがよく起こります。
ツールによって調整できる範囲は異なりますが、
- 該当のファイルがきちんと検索対象になっているか
- 質問に含まれる情報を漏れなく検索できているか
といった点を確認・調整する必要があります。ここが機能していなければ、次のステップがうまくいくはずがありません。
■ステップ2：正しく回答を作成できているか
ステップ1が機能していることを前提に、「ナレッジの情報だけを参照して、質問に対して正しく回答できているか」をチェックしていきます。
◆一度作って終わり、ではない
「米を握って刺身を乗せたら完成」ではないことが、お分かりいただけたでしょうか？
きちんと精度を出そうとすると、検証すべきポイントが数多くあります。
しかも、一度完成したら終わりではありません。
中核となるLLM（大規模言語モデル）は頻繁にアップデートされるため、定期的な微調整が欠かせません。
利用履歴を確認し、ナレッジを修正・追加していく作業も続きます。
◆精度は「職人の勘」から「数字」で測る時代へ
AI先進国のアメリカでは、RAGの精度を職人の勘に頼るのではなく、専用ツールで数値化して評価・改善する手法が注目を集めています。
7robotsでも、この手法を取り入れたRAGの精度評価・改善を行っています。
「AIエージェントを導入したものの、回答の精度に不安がある」
「作ってはみたが、社内で使われなくなってきた」
そんなお悩みがあれば、お気軽にお問い合わせください。
