索引は木か、人物と社名の網か。CorpusMapが示す新しい道
ニュースの概要
データサイエンス系メディアのData Science Oceanが、CorpusMapという新しい文書探索の手法を紹介した。Corpus2Skillは文書を一つの話題の階層、つまり木の形に並べ、エージェントが枝をたどって答えに近づく。これに対しCorpusMapは、文書の中で何度も出てくる人物、組織、製品といった固有名詞に注目する。事前の処理で文書を整理し、固有名詞を取り出し、表記の違う同一対象を一つにまとめ、出典付きの紹介ページを作る。さらに、そのページと元文書を結ぶ網の目状の関係図を用意する。質問を受けたエージェントは、この網を行き来しながら根拠となる文書へ進む。木ではなく網で道を作るという発想の違いが、この提案の核心である。
引用元: Corpus2Skillのツリー構造に対し、エンティティ文書グラフ型のCorpusMapを提案（Data Science Ocean）
分析・見解
一本の木に収める設計が抱える無理
Corpus2Skillの考え方は明快である。文書を話題ごとに分け、さらに細かく分け、目次のような階層を作る。エージェントは上から順に下りていけばよい。図書館の分類棚に近い。
ただし、現実の文書は一つの棚に収まらない。たとえば、ある取引先との契約書は「法務」にも「営業」にも「調達」にも関係する。木では置き場所を一つに決めるしかない。置かれなかった枝から探す人は、そこで迷子になる。
名前を軸にすると、道が何本にも増える
CorpusMapはこの無理を、名前で解く。取引先名や製品名ごとに紹介ページを作り、その名前が出てくる文書すべてに線を引く。契約書は、営業の枝にも法務の枝にも属さず、「その取引先」のページを通じて両方から到達できる。
ここで大事なのが、同じ対象の名寄せである。「株式会社A」「A社」「Aグループ」が別物として数えられると、網はほころびる。これを一つにまとめる工程（＝同一エンティティの解決）が、精度を左右する。紹介ページに出典を付ける点も実務向きで、回答の裏取りがしやすい。
木と網の優劣ではなく、問いの型の違い
どちらが優れているかという問いは、あまり意味がない。「人事制度の全体像は」のような広い質問は、話題の階層が強い。一方で「A社との過去のやり取りを通して見ると何が言えるか」のような横断的な質問は、名前を軸にした網が強い。
似た対比は検索の歴史にもある。目次型のディレクトリ型検索は、やがて語句をたどる全文検索に置き換わった。ただし、いまも両方が使われている。独自の見方を加えるなら、今回の二つは競合というより、質問の入り口を増やす部品として併用するのが自然だろう。
前処理の重さと更新のしやすさが分かれ目
ネットワークを作る作業は、文書が増えるたびに名寄せの見直しが必要になる。木は新しい文書を足す場所を決めればよいが、網は新しい名前が既存の名前と同じかどうかを毎回判断する。この更新コストの差は、運用で効いてくる。
また、固有名詞が少ない文書、たとえば手順書や方針文書では、網の利点が出にくい。論文の著者は、固有名詞が密集した資料に向く手法として位置づけるのが妥当だろう。
ビジネスへの影響
まず自社の文書が名前中心かを見極める
導入判断の第一歩は、手元の文書を眺めることである。顧客、取引先、案件、製品の名前が何度も出る文書群、たとえば営業記録、契約書、議事録、問い合わせ履歴は、名前を軸にした探索と相性がよい。逆に就業規則や操作マニュアルは、話題の階層で十分に整理できる。
全社一律で一つの方式に統一するより、文書群ごとに選ぶほうが費用対効果は高い。
小さく試して、名寄せの精度を測る
いきなり全社展開はお勧めしない。取引先上位五十社程度に絞り、紹介ページを作らせて、表記ゆれがどれだけ正しくまとまるかを人の目で確認する。ここでの誤りが、後の回答の質をそのまま決める。
同時に、出典付きで答えが返るかを必ず点検したい。担当者が裏取りできない回答は、現場では使われなくなる。評価指標は、正答率だけでなく、根拠にたどり着くまでの手数も入れるとよい。
既存の木型の仕組みを捨てず、併用を前提にする
すでにCorpus2Skill型の整理を進めている企業は、作り直す必要はない。木で全体像を答え、網で個別の名前の深掘りを担当させる、という役割分担が現実的である。更新の担当者と頻度を最初に決めておけば、運用の破綻を防げる。