RAG・長文処理のメモリ設計

文書数とコンテキスト長は同じではない

RAGでは、保存している全文書を毎回モデルへ渡すわけではありません。検索で選んだ断片と質問を合わせた入力が、実際のコンテキスト長を決めます。PC選定では文書総数ではなく、一度の回答で投入する量を基準にします。

文書の索引、複数の量子化モデル、元データを同じPCへ保存する場合はSSD容量も必要です。GPUを一段上げるためにRAMやSSDを削るより、検索処理と部分オフロードを含む全体構成で不足をなくす方が運用しやすくなります。

この記事の目安構成へ変更後の総額を確認できる商品の一部です。特定商品の推奨や順位付けではありません。

バランス VRAM 16GB

必要RAM 64GB・比較可能 24台・構成後 426,980円〜

上位 VRAM 24GB

必要RAM 64GB・比較可能 20台・構成後 793,100円〜

余裕あり VRAM 32GB

必要RAM 64GB・比較可能 41台・構成後 869,800円〜

価格・構成は2026-07-24 22:20時点の取得データです。最新情報は公式商品ページでご確認ください。