プロンプトキャッシュで48%コスト削減

多段階のナビゲーションでコーパスを探索するCorpus2Skillは、「トークンを食う仕組み」に見えます。ところが実測では、プロンプトキャッシュの活用により1クエリあたりのコストが約半分になることが報告されています。本記事では、この数字の背景にある構造を考察します。

ナビゲーション型は本当に高いのか

従来RAGは、検索結果の断片をプロンプトに一度詰めて回答を得るため、LLM呼び出しは基本的に1回です。一方Corpus2Skillのエージェントは、鳥瞰ビューを読み、枝を選び、ノードの要約を読み、ときに引き返しながら文書に到達します。ステップごとに「それまでの文脈＋新しい情報」を入力として送るため、素朴に考えれば入力トークンはステップ数に対して累積的に膨らみます。

この懸念は方向としては正しく、実際にキャッシュなしの構成では、WixQAベンチマークで1クエリあたり0.172ドルというコストが計測されています。単発検索のRAGと比べれば明確に高い水準です。品質とグラウンディングの向上（ベンチマーク解説を参照）に見合うかどうかが、そのままでは悩ましいラインといえます。

ただし、コストの比較では見えにくい相殺要素があることも指摘しておきます。Corpus2Skillはサーブ時にベクトルデータベースや埋め込みモデルのサービングを必要としないため、従来RAGで発生していた検索基盤の常時稼働費用と運用工数が丸ごと不要になります。クエリ単価だけを並べる比較は、この固定費の差を見落としがちです。総所有コストの視点では、LLM API費用が増えても基盤費用が減る、という付け替えが起きています。

キャッシュが効く構造：入力の大半は「再放送」

状況を変えるのがプロンプトキャッシュです。Corpus2Skillはcache_controlのephemeral指定で、スキルツリーの読み込み内容をキャッシュします。ここで効いてくるのが、ナビゲーションの入力が持つ2つの冗長性です。

第一に、クエリ間の冗長性です。どんな質問でも、エージェントは同じ鳥瞰ビューとトップレベルスキルから読み始めます。この部分は全クエリで共通のため、2回目以降はキャッシュから供給されます。第二に、ステップ間の冗長性です。探索のステップNの入力は、ステップN-1の入力に新しいノードを継ぎ足したものです。つまり入力の大半は直前の「再放送」であり、キャッシュ読み取りの対象になります。累積的に膨らむ入力という弱点が、割引対象の拡大という強みに反転するわけです。

お金の作り方を学ぶオンライン講座【Finorie｜フィノリー】

WixQAの実測値を読む

報告された数値を整理します。キャッシュなしの1クエリコストが0.172ドル、キャッシュありが0.089ドルで、削減率は約48%です。内訳としては、入力トークンの約70%がキャッシュ読み取り（cache_read）となり、通常の1/10の料金で供給されました。

0.089ドルという水準は、多段階探索と文書全文の取得、根拠付き回答の生成まで含めた金額です。人手のサポート対応1件のコストや、誤答が招く手戻りのコストと比較する視点に立てば、エンタープライズQAの選択肢として現実的なレンジに入ってきたと評価できます。もっとも、キャッシュには作成コスト（cache_creation）があり、クエリがまばらな環境では期限切れによる再作成が増えるため、効果はワークロードのクエリ密度に依存します。数値を鵜呑みにせず、内蔵のトークン会計（評価モジュール）で自社ワークロードを実測することが重要です。実測の際は、input・output・cache_read・cache_creationの4区分が揃って記録されるため、キャッシュヒット率の推移や削減効果の内訳を、推測ではなく数字で説明できるようになります。

運用の経済性を高める3つの実践

考察を実践に落とすと、ポイントは3つに整理できます。第一に、クエリが集中する用途から導入することです。カスタマーサポートや社内ヘルプデスクのように同じナレッジへ質問が続く業務は、キャッシュヒット率が自然に高まります。第二に、ツリー形状の調整です。探索段数はコストに直結するため、コーパス規模に対して深すぎる木を避け、小規模なら--compactオプションで段数を減らします。第三に、4区分のトークン会計を監視指標にすることです。cache_readの比率が下がってきたら、キャッシュ期限とアクセスパターンの不整合を疑うサインになります。

規模感の例として、1日200件を処理するサポート部門なら月間約6,000クエリです。単価0.172ドルなら月額約1,032ドル、キャッシュ有効化後の0.089ドルなら約534ドルとなり、設定一つで月500ドル規模の差が生まれる計算になります。もちろん単価はコーパスの規模や質問の複雑さで変動しますが、キャッシュの有効化がそのまま予算の数十パーセントを左右するという構造は、どのワークロードでも共通です。

コスト構造の全体像とキャッシュの仕組みの詳細は、解説ページ「コスト構造とプロンプトキャッシュ最適化」にまとめています。導入判断の材料として、あわせてご参照ください。

まとめると、プロンプトキャッシュはナビゲーション型ナレッジ活用の経済性を成立させる中核技術です。静的なスキルツリーという知識表現と、共通プレフィックスを割引するキャッシュの料金体系は、設計として噛み合っています。ナビゲーションのコストを固定的な弱点と捉えるのではなく、ワークロードとキャッシュ戦略の設計で制御可能な変数と捉えること——それが、この48%という数字から得られる実務上の教訓だと考えます。