RAG改善策は足し算にならない、積むほど効果が薄れる理由
ニュースの概要
RAG（＝外部文書を検索して回答に使うAIの仕組み）の改善策を次々に足していくと、効果が単純には合算されないという研究が紹介された。IBMとワイツマン研究所の研究チームは、複数の検索改善策を組み合わせた構成を、文書数5,000件から20万件までのコーパスと複数の標準ベンチマークで評価した。個別の評価では、三つの検索技術を重ねれば基準値から47％の改善が見込まれていた。しかし実際に一つのパイプラインへ統合すると、その予測どおりには伸びなかった。研究チームは、手法を個別に試して良さそうなものを足すやり方に注意を促し、実運用に近い規模での検証を求めている。
引用元: RAG改善手法は積み重ねるほど効果が減る可能性、実運用規模での検証を提言（DEV Community）
分析・見解
個別に測った47％改善が統合後に再現されない
この研究の核心は、部品ごとの成績表をそのまま足し算してはいけない、という点にある。
再ランク付け、クエリの書き換え、文書の分割方法の見直しなどは、それぞれ単独で試すと改善が出やすい。論文でもそう報告されることが多い。
ところが三つを一つの流れに組み込むと、予測した47％には届かなかった。
理由は単純である。どの手法も「検索で取りこぼした正解を拾い上げる」という同じ穴を埋めようとしている。最初の手法が穴の大半を埋めてしまえば、次の手法が活躍する余地は残っていない。
つまり効果は独立ではなく、互いに食い合う。
同じ不具合を直し合うから効果が重なる
家の雨漏りに例えると分かりやすい。屋根の補修、防水シート、コーキングをそれぞれ別の業者が見積もると、どれも「雨漏りの8割が止まる」と言うかもしれない。
しかし三つ施工しても、雨漏りが60％減ることはあっても、止まる分が24割になることはない。
同じ原因を別の角度から直すだけだからである。
RAGも同じで、検索の取りこぼしという一つの原因を複数の手法が奪い合う。
ここで見落とされがちなのは、手法を足すごとに処理の段数が増え、そのぶん新しい失敗の入り口も増えることだ。書き換えた質問が元の意図からずれる。再ランクが良い文書を押し下げる。段が増えるほど、ずれが次の段へ伝わる。
5,000件と20万件で結論が変わりうる
研究が文書数を5,000件から20万件まで振った点も大事である。
少ない文書では、似た内容の紛らわしい文書が少ない。単純な検索でも正解が上位に来やすく、改善策の効果が出やすい。
20万件になると、似た文書が大量に並ぶ。ここでは手法の相性が結果を大きく左右する。小さな実験で良かった構成が、本番規模で崩れる危険がある。
これは機械学習全般で昔から言われる「小さい実験の成功は本番の保証にならない」という話の、RAG版といえる。
評価の作法が変わる転機になる
今後は、論文の個別スコアよりも、自社データでの統合後スコアが重視されるはずだ。
手法を一つずつ外して性能を測る「引き算の評価（アブレーション）」が、導入の標準手順になっていくだろう。
また、検索を何段にも重ねる方向から、少ない段で安定させる方向へ設計思想が動く可能性が高い。
当サイトで扱うCorpus2Skillのように、検索そのものを減らして構造をたどらせる発想が評価されやすい背景にも、この流れがある。
ビジネスへの影響
手法の追加は一つずつ、外した場合の差で判断する
ベンダーの提案書にある「各手法で何％改善」という数字は、合計して使えない。
導入するときは、現行構成に一つ足すたびに社内の質問集で再測定する。さらに、足した後で別の手法を外した場合の差も確認する。
効果が小さくなった手法は、処理時間とコストだけが増えるので外すのが妥当である。
評価データは本番の規模と質問で作る
数百件の試験用文書で成功しても、数万件を超える本番では結果が変わる。評価用の文書は、本番に近い件数まで増やして検証したい。
質問集も、実際に社員や顧客が入力した文言から作る。きれいに整えた質問だけでは、現場の失敗を拾えない。
月に一度でも同じ質問集を回し続ければ、文書が増えて精度が落ちる兆候を早めにつかめる。
予算は部品の数でなく測定の仕組みに回す
手法を一つ足す開発費より、評価の仕組みを整える費用のほうが、長期では効く。
担当者が代わっても同じ基準で検証できる状態を作ることが、RAGを継続運用するうえでの本当の資産になる。