Skill Router実装の要点、BM25と埋め込み検索を生かす設計術

分析・見解

検索精度だけでなく「誤って実行してしまう害」まで評価する

Skill Routerの難しさは、検索結果の順位だけでなく、選んだスキルを実行してよいかまで同時に判断しなければならない点にあります。通常の文書検索なら、多少順位を誤っても読者が内容を確認できます。しかしエージェントは、誤ったスキルをそのまま実行してメールを送る、顧客情報を書き換える、返金処理を開始するといった行動に移せます。したがって評価対象は検索の精度だけではなく、誤った選択の発生率、危険な実行を抑止できた割合、確認に回した割合まで広げる必要があります。

BM25と埋め込み検索、それぞれが拾える入力の違い

BM25(単語の一致度を使う検索方式)と埋め込み検索(意味の近さを使う検索方式)を併用するのが有力なのは、両者の弱点が比較的補完的だからです。BM25は「請求書」「解約」「在庫引当」のような業務用語、製品名、規約番号、API名を正確に拾えます。一方、埋め込み検索は「取引先から届いた支払い関連の書類を処理する」のように、利用者がスキル名と異なる表現を使った場合に力を発揮します。例えば、スキル名が「請求書登録」であっても、入力が「仕入先の明細を経理システムへ反映して」と書かれていれば、意味検索が候補を見つけやすくなります。

候補生成と再順位付けを分け、メタデータで判断材料を増やす

実装では、最初から一つの検索方式に賭けるより、候補を集める段階と順位を付け直す段階を分ける設計が扱いやすいでしょう。BM25とベクトル検索からそれぞれ上位10件程度を取り、重複を統合したうえで、入力との一致度、スキルの対象部門、必要な権限、前提条件、過去の成功率を加味して再順位付けします。ここで重要なのは、スキルの説明文だけを索引に入れないことです。入力例、対象外の例、必要な引数、実行による副作用、代替スキルをメタデータとして持たせると、候補選択の判断材料が増えます。

保留は失敗ではなく、しきい値も業務リスクごとに変える

独自の視点として、abstain(判断を保留すること)は「検索に失敗したときの例外処理」ではなく、検索品質を継続的に改善する観測装置にもなります。Routerが自信を持てずに保留した入力を集めれば、未登録のスキル需要、曖昧な説明、似すぎたスキルの境界を発見できます。例えば、保留率が特定部門だけ12%に達しているなら、モデルの性能不足ではなく、その部門の用語辞書やスキル定義が不足している可能性があります。保留を失敗として隠すのではなく、改善用のデータとして扱うことが重要です。

また、信頼度のしきい値を全スキルで共通にするのも危険です。読み取り専用の社内検索は多少の誤差を許容できますが、送金や権限変更に関わるスキルは、より高い確信度と人間の承認を要求すべきです。候補間のスコア差が小さい場合、上位を無理に決めるより「AとBのどちらですか」と質問する方が合理的です。今後は、検索器、ポリシー判定、実行承認、評価ログを分離し、変更の影響を個別に検証できる構成が標準になるでしょう。スキル数が増えるほど、モデルの賢さよりも、分類境界と失敗時の振る舞いを管理する設計力が競争力になります。