新しい手法の採否を判断するには、定量的な根拠が欠かせません。本ページでは、論文「Don't Retrieve, Navigate」が報告するベンチマーク結果と、どのようなコーパスで有効かを調べた10サブセットの汎化研究、そしてCorpus2Skillに内蔵された評価モジュールの指標を解説します。
エンタープライズQAベンチマークの結果
論文の主評価は、エンタープライズ顧客サポートのQAベンチマークで行われています。比較対象は、単発の密検索RAG、ハイブリッド検索RAG、階層検索RAG、エージェント型RAGの4方式です。結果として、Corpus2Skillは回答品質とグラウンディング（根拠の裏付け）の両方で全ベースラインを上回り、その代償として発生するコスト増は中程度にとどまると報告されています。
この結果で注目すべきは、品質とグラウンディングが同時に改善している点です。RAGの改善では、回答の流暢さが上がっても根拠の正確さが伴わない、あるいはその逆というトレードオフがしばしば発生します。ナビゲーション型では、エージェントが探索の末に取得した文書全文を根拠として回答するため、「答えの質」と「根拠の質」が構造的に連動しやすいのです。
エンタープライズ顧客サポートという評価領域の選択にも意味があります。この領域の質問は、製品仕様・料金・手続きといった明確なトピック構造を持つナレッジに答えがあり、正確さと根拠の提示が強く求められます。つまり、ナビゲーション型の設計思想が最も活きる条件と、企業が実際にQAシステムへ求める要件が重なる領域です。ベンチマークの勝敗を自社に引き付けて解釈する際は、「自社のユースケースがこの評価領域とどれだけ似ているか」を最初に確認するとよいでしょう。
コスト面の評価としては、WixQAベンチマークにおける計測が報告されています。プロンプトキャッシュなしで1クエリ0.172ドル、キャッシュ有効化後は0.089ドルと、約48%の削減です。品質面の優位とあわせて読むと、「品質を上げた分のコスト増は、キャッシュ活用でおおむね半分に圧縮できる」という全体像になります。品質・グラウンディング・コストの3軸を同時に評価する姿勢が、この研究の評価設計を貫いています。
10サブセット汎化研究：どこで効き、どこで効かないか
論文のもう一つの重要な貢献は、10種類のコーパスサブセットを使った汎化研究です。単一のベンチマークで勝った手法が他のデータでも勝てるとは限らないため、性質の異なるコーパスで系統的に検証が行われました。
結論は明快です。復元可能なトピック分類体系を持つ単一ドメインのコーパス——たとえば特定製品のヘルプセンター記事や社内マニュアルのように、内容が自然にトピック階層へ整理できるもの——では、Corpus2Skillは一貫して有効でした。一方、オープンドメインの事実断片のプール（雑多なトリビア的知識の集合）や、均質な表形式コーパス（似た構造のレコードが並ぶだけのデータ）では、フラット検索が優位でした。
直感的には、コーパスに「意味のある地形」があるかどうかが分かれ目です。クラスタリングが自然な丘や谷を見つけられるコーパスなら、ツリーの階層は良い道標になります。逆に、どこを切っても同じような平坦なコーパスでは、階層を作ってもナビゲーションの手がかりにならず、探索ステップのコストだけが残ります。この知見に基づく実務的な判断基準は「エンタープライズ活用と適用判断」で整理しています。
内蔵評価モジュールと指標の読み方
Corpus2Skillには評価モジュールが同梱されており、QAペアのファイル（JSONL形式）を用意すれば、自分のコーパスで品質を定量測定できます。
python -m corpus2skill.eval --qa benchmark.jsonl測定される指標は次のとおりです。
| 指標 | 測定内容 | 読み方のポイント |
|---|---|---|
| F1 | 正解との語彙一致（適合率と再現率の調和平均） | 短い事実型QAで有効。言い換えに弱い点に注意 |
| BLEU | n-gram一致に基づく生成品質 | 定型的な回答の再現度を測る補助指標 |
| ROUGE-1 / ROUGE-2 | 正解との単語・2-gram重なり | 要約的な回答の網羅性を確認 |
| LLM判定の事実性 | LLMが回答の事実的な正しさを判定 | 言い換えに強く、実運用の体感に近い |
| コンテキスト再現率 | 回答に必要な根拠文書へ到達できたか | ナビゲーションの成否を直接反映 |
語彙一致系の自動指標（F1・BLEU・ROUGE）とLLM判定系の指標は、それぞれ癖が異なります。前者は再現性が高い一方で言い換えに弱く、後者は意味の等価性を評価できる一方で判定LLMの傾向に依存します。両者を併読することで、指標のバイアスに引きずられない判断ができます。特にコンテキスト再現率は「そもそも正しい文書へ到達できたか」を測るため、ナビゲーション型の手法では最重要のヘルスチェック指標といえます。
指標間の乖離は、改善箇所を特定する手がかりにもなります。たとえばコンテキスト再現率が高いのにLLM判定の事実性が低い場合、文書には到達できているが回答の組み立てに問題があると推測でき、回答生成側の改善が優先になります。逆にコンテキスト再現率そのものが低い場合は、ツリーの構造かノード要約の品質に問題がある可能性が高く、分岐率の調整や再コンパイルが対策の中心になります。単一の総合スコアで一喜一憂するのではなく、指標の組み合わせから「どの工程が弱いか」を読み取る姿勢が、改善サイクルを速くします。
トークン会計とコスト計算
評価モジュールのもう一つの特長は、トークン会計とUSDコスト計算が内蔵されていることです。クエリ処理で消費されたトークンを、入力（input）、出力（output）、キャッシュ読み取り（cache_read）、キャッシュ作成（cache_creation）の4区分で記録し、モデルの料金体系に基づいて1クエリあたりのドルコストを算出します。
ナビゲーション型の手法では、品質評価とコスト評価を切り離せません。探索ステップが増えれば品質が上がる場面もありますが、コストも増えるためです。同じ実行から品質指標とコスト指標の両方が得られる設計は、「品質あたりのコスト」で方式間を比較するという実務的な意思決定を直接支援します。キャッシュ区分の詳細な読み方と、48%コスト削減の内訳は「コスト構造とプロンプトキャッシュ最適化」で解説します。
自社で評価を実施する際の実務的な流れも示しておきます。まず問い合わせログなどから評価用QAセットをJSONL形式で用意し、コンパイル済みツリーに対して評価モジュールを実行します。既存RAGがあれば、同じQAセットに対する既存システムの回答も採点し、品質指標とクエリ単価を並べた比較表を作ります。判断の軸は「品質がどれだけ上がるか」単体ではなく、「品質の上げ幅に対してコストの増分が見合うか」です。誤答対応の人件費や顧客満足への影響まで含めれば、品質向上の金銭的価値を概算でき、意思決定の説得力が増します。
評価は一度きりのイベントではなく、運用の一部として定着させることが大切です。コーパスの更新や再コンパイル、パラメータ変更のたびに同じQAセットで評価を回せば、品質の退行を早期に検知できます。ソフトウェア開発における回帰テストと同じ発想で、QAセットと評価スクリプトをリポジトリに含めてCI的に実行する体制を作れば、ナレッジ基盤の品質を継続的に保証する仕組みになります。評価モジュールがCLI一発で完結するCorpus2Skillの設計は、この運用への組み込みを容易にしています。
- エンタープライズQAベンチマークで、回答品質とグラウンディングの両方が全ベースラインを上回りました。
- 10サブセット研究により、単一ドメインの構造化コーパスで有効、断片プールや表形式ではフラット検索優位と判明しています。
- 内蔵評価モジュールでF1・BLEU・ROUGE・LLM判定・コンテキスト再現率とコストを一括測定できます。
