ChatSenseの社内RAG利用状況の一括出力が変える生成AI運用と改善の進め方

分析・見解

利用回数だけでなく業務短縮効果まで見る指標を

生成AIの導入では、モデルの性能や回答の流暢さばかりが先に評価されがちです。しかし企業で本当に問われるのは、登録した社内情報が業務の中で実際に使われ、意思決定や作業時間の削減につながっているかどうかです。RAG（社内の文書を検索して回答に活かす仕組み）の利用状況を一括で出力できるようになると、導入の効果を会話の印象ではなく、部門別・期間別のデータで議論できるようになります。

ここで大切なのは、単純な利用回数を成果と取り違えないことです。例えば月間の検索数が1万件あっても、回答を読んだ後に利用者が社内ポータルへ戻っているなら、検索結果が足りていない可能性があります。反対に利用回数が少なくても、経理の月次締めや法務の契約確認といった定型作業を短縮できているなら、投資効果は高いといえます。見るべき指標は、利用者数、再利用率、質問が集中する分野、回答後に追加質問が来るかどうか、参照した文書の種類、そして未回答や低評価の割合です。可能であれば、RAGを使った業務と従来の手順とで所要時間を比較し、削減できた時間を金額に換算することも有効です。

検索の部品から運用の対象へ格上げされるRAG

この機能が持つ技術的な意味は、RAGを検索の部品から運用の対象へと格上げする点にあります。これまでは、文書を登録して検索できれば導入は完了とみなされることがありました。しかし実際には、文書の更新漏れ、重複した規程、権限設定の不整合、質問に対して細かく分割しすぎたデータなどが、回答の質を左右します。利用状況の集計は、どの情報にアクセスが集中しているかを知る手がかりになり、更新の優先順位や文書の構成を見直す材料になります。質問は多いのに参照される結果が安定しない分野は、検索の設定だけでなく、元になる文書の書き方そのものを見直す必要があります。

使われない文書こそ知識の流通を映す診断材料

独自の視点として、利用されていない文書も重要な診断材料になります。アクセスが少ないからといって不要とは限りません。社員がその文書の存在を知らない、題名から中身を想像できない、権限の設定によって検索の対象から外れている、といった理由が考えられます。利用の統計は人気ランキングではなく、社内の知識がどう流通しているかを映す地図として読むべきです。例えば人事部門の規程ばかりが検索され、現場の手順書が使われていないなら、現場の質問が別のチャットや口頭での相談に流れているのかもしれません。

個人監視にしない設計と改善サイクルの速さが鍵

一方で、利用状況の出力には慎重な設計も必要です。質問の内容には個人情報や機密情報が含まれるため、管理者向けの集計と、個人単位の監視とを明確に分けなければなりません。保存する期間、閲覧できる権限、匿名化する範囲をあらかじめ決め、評価を人事査定へ直結させないことが、利用を促す前提になります。今後は利用量だけでなく、回答の正確性、参照元の妥当性、業務の成果までを結び付けた評価が求められます。RAGの競争力は検索の技術だけでなく、改善のサイクルをどれだけ短く回せるかで決まります。