出典を示せる企業RAGへ、Bloomberg研究が示す設計の転換点

分析・見解

検索が当たっても回答が外れる、見落とされがちな隙間

RAGの精度というと、多くの人は「正しい文書を探せたか」に目を向ける。しかしBloombergの問題提起は、その先にある。文書を正しく見つけても、回答の段階で話がずれることがあるのだ。

たとえば契約書を三通取り出したとする。回答は二通目の内容なのに、出典欄には三通目が書かれる。こうした取り違えは、検索の指標だけを見ていても気づけない。探す工程と書く工程は別物であり、それぞれ別に点検する必要がある。

関連箇所を先に絞る発想が品質を左右する

EvidenTのように、文書全体を渡さず、関連する箇所だけを先に抜き出す設計は理にかなっている。長い文書をそのまま渡すと、モデルは無関係な段落にも引きずられやすい。材料が少なく濃いほど、回答は根拠に近づく。

もう一つの利点は、抜き出した箇所がそのまま「証拠」として残ることだ。回答のどの文がどの箇所に対応するかを記録できれば、後から人が確かめられる。これは単に精度を上げる話ではなく、検証できる形で回答を作るという設計思想の変化である。

出典追跡は金融・法務で先に必須になる

Bloombergが金融と法務を主戦場にしている点は示唆的だ。これらの分野では、正しい答えよりも「その答えがどこから来たか」が問われる場面が多い。監査や訴訟では、根拠を示せない回答は使えない。

類似の流れは、検索エンジン各社が回答に脚注リンクを付け始めた動きにも見られる。ただし脚注を付けることと、脚注が本当に回答を支えることは違う。引用の見た目だけ整えた「飾りの出典」を見抜く評価手法が、今後の競争点になるだろう。

今後は検索の改善より検証の自動化が焦点になる

今後の課題は、回答と出典の対応を機械的に点検する仕組みの整備にある。回答を文単位に分け、各文が引用箇所から導けるかを別のモデルで確認する方法が考えられる。ただしこの確認役も誤るため、完全な保証にはならない。

ここで一つ独自の見方を加えたい。出典追跡の価値は、誤りを減らすことよりも、誤りの発見コストを下げることにある。人が全回答を疑う運用は続かない。根拠への一クリックの経路があれば、疑うべき回答だけを短時間で確認できる。信頼は精度の数字ではなく、確認のしやすさから生まれる。