AIの次のボトルネックはGPUではなく「メモリ配置」——推論46GW時代に日本企業が見直すべき設計

AI基盤の議論では、つい「GPUを何台確保できるか」が主役になります。しかし、GPUが計算を始めるには、モデルの重み、入力文、過去の会話、検索結果、生成途中の情報を、必要な時に必要な場所へ届けなければなりません。高価な計算装置を増やしても、データを待つ時間が長ければ、設備も電力も十分に生かせません。

2026年8月27日、＠ITは二つの動きを報じました。一つは、AI推論の電力需要が2035年に46GWへ拡大し、コード生成だけで23.6GWを占めるというABI Researchの予測です。もう一つは、キオクシアがDRAMとSSDの間を埋める低遅延メモリ拡張モジュール「KIOXIA XL1」を業界パートナー向けに評価出荷する計画です。

同じ週、The VergeはNVIDIAの四半期売上高が962億ドルに達し、そのうちデータセンター部門が890億ドルだったと伝えました。AI向け計算需要の大きさを示す数字ですが、記事はメモリやシステム価格の上昇が消費者向けPC販売を鈍らせたとも報じています。

三つのニュースを並べると、次の競争軸が見えてきます。AIを速くするだけでなく、限られた高速メモリを本当に必要な処理へ配り、低頻度のデータを安価な層へ逃がす設計です。日本企業に必要なのは、GPU調達競争へそのまま参加することではありません。業務ごとの応答時間、データ量、電力、機密性を見ながら、推論を階層化することです。

推論が主役になると、設備の評価軸も変わります

AI開発の初期には、大規模モデルを一度学習させる計算量が注目されました。しかし、モデルが本番サービスへ入ると、利用者の質問、コード補完、社内検索、画像判定などに毎日答える推論が積み上がります。一回の処理は学習より小さくても、人数、回数、文脈の長さが増えれば、総量は大きくなります。

＠ITが紹介したABI Researchの予測では、AI推論が消費する電力は2026年の2GWから2035年には46GWへ増え、2033年に学習を上回るとされています。予測には不確実性がありますが、企業が注目すべき方向は明確です。モデルを作る時だけでなく、使い続ける時の費用と電力が経営課題になります。

特に大きいと予測されるのがコード生成です。2035年には23.6GWとなり、推論全体の半分以上を占める見込みです。コード生成は一問一答で終わりません。リポジトリを読み、関連ファイルを探し、修正案を作り、テスト結果を受け取り、もう一度書き直します。エージェント型になるほど、長い文脈と繰り返しの推論が必要です。

ここで重要なのは、「高性能なモデルほど良い」という単純な選び方をやめることです。社内FAQの分類に巨大モデルを使い、毎回長い履歴を読み込ませれば、品質差より費用差の方が大きくなります。反対に、障害対応や大規模なコード変更では、文脈を削りすぎると見落としが増えます。仕事に合わせてモデル、文脈、記憶場所を変える必要があります。

以前、Smart Kurashiではモデルではなく運用を包むハーネスが実用品質を決めると整理しました。今回の論点は、そのハーネスを支える物理的な記憶層です。どのモデルを呼ぶかだけでなく、どのデータを高速層へ残し、どのデータを退避し、いつ戻すかまで制御対象になります。

HBM、DRAM、フラッシュは「速さの順位」ではなく役割分担です

AI向けGPUの周辺では、HBMが重要な部品として知られています。広い帯域で大量のデータをGPUへ渡せるため、学習にも推論にも欠かせません。ただし、容量とコストには制約があります。すべてのデータを最速の場所へ置くことはできません。

サーバーのDRAMは、CPUが頻繁に使うデータを置く主な作業台です。SSDは大容量で保存単価を抑えられますが、DRAMと同じ感覚で細かな読み書きを繰り返す用途には遅延があります。これまで両者の間には、速度、容量、価格の大きな段差がありました。

＠ITが報じたKIOXIA XL1は、低遅延のXL-FLASHとCXLを組み合わせ、その段差を埋めようとするものです。アクセス頻度の低いデータをDRAMから移し、DRAMを本当に頻繁に使うデータへ集中させる考えです。キオクシアは2026年8月中に評価用サンプルを業界パートナーへ出荷する予定としています。

CXLは、CPU、メモリ、アクセラレーターを高速に接続し、外部のメモリを利用しやすくする規格です。ここでの価値は、フラッシュがDRAMと同じ速さになることではありません。用途の違う記憶装置を一つの階層として扱い、データの温度に応じて置き場所を変えられることです。

記憶層	向いているデータ	設計時の注意
HBM	いま計算中のモデル重み、頻繁に参照するキャッシュ	容量と価格が限られるため、占有時間を短くします
DRAM	実行中の処理、頻繁に使う文脈、検索索引の一部	全量を置こうとせず、利用頻度を測ります
CXL接続の拡張層	すぐ再利用する可能性はあるが常時は触らないデータ	移動の遅延とソフトウェア対応を実測します
SSD	モデル保管、監査ログ、低頻度の索引、再生成できない成果物	読み込み集中と書き込み寿命を監視します
オブジェクト保管	長期保存、バックアップ、学習素材の原本	復元時間、通信費、保管場所を決めます

この表で大切なのは、製品名を先に決めないことです。まずデータを「熱い」「温かい」「冷たい」に分けます。毎秒参照するのか、数分後に再利用するのか、一日一回でよいのかによって、必要な場所は変わります。

NVIDIAの成長が示すのは、GPUだけでは完結しない市場です

The VergeによるNVIDIA決算の報道では、直近四半期の売上高は962億ドル、データセンター部門は890億ドル、利益は597億ドルでした。次の四半期は1080億ドルの売上高を見込むとされています。数字だけを見ると、計算装置を増やす競争がさらに続くように見えます。

一方で、同記事はメモリとシステムの価格上昇が消費者向けPC販売を抑えたというNVIDIAの説明も伝えています。AIデータセンターへ高収益な部品と生産能力が集まれば、企業用サーバー、PC、スマートフォンまで同じ供給網の影響を受けます。AI部門だけの問題ではありません。

日本企業が「GPUの予算」だけを切り出して考えると、導入後に別の費用が膨らみます。メモリ、ストレージ、ネットワーク、冷却、電力、監視ソフトウェア、データ移動の料金が必要です。さらに、担当者が長い文脈を無制限に投入できる設計なら、利用が広がるほど費用も増えます。

以前の記事では、AIインフラをコスト、モデル、フィジカル実装の三層で考える方法を紹介しました。今回そこへ「記憶の置き場所」という横軸を加えると、投資判断が具体的になります。同じGPUでも、データ待ちが多い構成と、頻度に応じて階層化した構成では、実際に処理できる仕事量が違うからです。

日本企業は「トークン単価」だけでなく待ち時間を測るべきです

生成AIサービスの比較では、100万トークン当たりの価格がよく使われます。分かりやすい指標ですが、自社基盤や複数クラウドを含む運用では、それだけでは足りません。安いモデルでも、必要なデータを毎回遠いストレージから読み、長い入力を作り直していれば、応答時間と電力が増えます。

最初に測るべきなのは、次の五つです。

1. 最初の応答までの時間：利用者が待ち始めてから最初の文字が出るまでを測ります。
2. 一処理当たりの読み込み量：モデル、文脈、検索結果を何GB動かしたかを測ります。
3. キャッシュの再利用率：同じ指示や共通文書を再計算せずに使えた割合を測ります。
4. GPUの待機時間：計算能力が不足した時間と、データ待ちだった時間を分けます。
5. 業務一件当たりの電力と費用：トークン数ではなく、レビュー完了や問い合わせ解決までで割ります。

例えば、AIコーディング支援では、全リポジトリを毎回入力へ詰め込むより、ファイル構造と依存関係を索引化し、変更に関係する範囲だけを高速層へ置く方が合理的です。共通ライブラリや設計規約は再利用し、古いビルドログは安価な層へ移します。必要になった時だけ検索して戻します。

社内検索でも同じです。全資料を常時DRAMへ置く必要はありません。よく使う規程や最新の製品情報は高速層に残し、過去の会議録や終了案件は低頻度層へ移します。ただし、頻度だけで決めると重要な災害手順が追い出される恐れがあります。利用頻度に加え、緊急性と再取得時間を条件にします。

家庭や小規模事業者にとっても無関係ではありません。ローカルAI用PCを選ぶ時、GPU性能だけを比べると、メインメモリ不足やSSD読み込みで使い勝手が決まることがあります。70B級モデルを限られたGPUメモリで扱うローカル推論の考え方でも触れたように、速度、機密性、費用のどれを優先するかで、最適な構成は変わります。

90日で始める「メモリ配置」の見直し

CXL対応機器をすぐ購入しなくても、準備は始められます。技術の導入より前に、データの動きを可視化すると、現在のクラウドやサーバーでも改善点が見つかります。

30日：一つのAI業務を分解します

対象をコードレビュー、問い合わせ検索、帳票読取など一つに絞ります。入力データ、モデル、検索索引、会話履歴、出力、監査ログを一覧にします。それぞれについて、容量、更新頻度、参照頻度、機密区分、失われた時の復元方法を記録します。

次に、処理時間を計算と待ち時間へ分けます。GPU使用率が低いからといって、利用が少ないとは限りません。CPU処理、データ転送、ストレージ読み込み、外部API待ちで止まっている可能性があります。増設の前に、どこで止まるかを確認します。

60日：三段階の保存方針を試します

すべてを高速層へ置く構成と、頻度で三段階に分ける構成を比較します。高頻度データはメモリへ、中頻度データはローカルの高速ストレージへ、長期保管はオブジェクト保管へ置きます。キャッシュの有効期限も決めます。

評価では平均応答時間だけでなく、遅い側のばらつきを見ます。普段は速くても、月曜朝や大規模更新後だけ極端に遅ければ、利用者は不安定だと感じます。業務一件当たりの費用、電力、再試行回数、タイムアウト率を同じ表で比較します。

90日：調達条件をGPU中心から業務中心へ変えます

提案依頼書にはGPU型番だけでなく、対象業務での同時利用者数、文脈長、応答時間、データ保持場所、復旧時間を記載します。CXLや拡張メモリを検討する場合は、機器の最大値ではなく、自社ワークロードでの遅延、移動量、ソフトウェア対応、障害時の挙動を確認します。

また、クラウドとオンプレミスを比較する際は、保存単価だけでなくデータ移動の料金と時間を含めます。機密データを社内へ残すことが目的なら、推論結果だけでなく、キャッシュ、ログ、一時ファイルがどこへ保存されるかも契約と構成で確認します。

---

参考・出典

• ＠IT「キオクシアが『DRAMとSSDの間を埋める』新手法」（2026年8月27日）
• ＠IT「2035年、AI推論需要の半分は『コード生成』に」（2026年8月27日）
• The Verge「Nvidia is about to be a hundred-billion-dollar-a-quarter company」（2026年8月26日）

結論——AI基盤の主権は「どこに覚えさせるか」から始まります

推論需要が46GWへ増えるという予測がそのまま実現するかは分かりません。しかし、コード生成、エージェント、社内検索が日常業務へ広がるほど、一度の学習より毎日の推論が重要になる方向は変わりません。そこで不足するのはGPUだけではなく、データを待たせず、かつ高価なメモリを浪費しない設計です。

KIOXIA XL1は評価段階の技術であり、あらゆる企業が直ちに導入すべき完成品という話ではありません。それでも、DRAMとSSDの間を埋め、利用頻度に応じてデータを置き分ける発想は、現在のクラウド構成にも応用できます。最速の層を増やす前に、何をそこへ置くかを決めるのです。

次のAI基盤会議では、「GPUを何台追加するか」の前に、「GPUは何を待っているか」を一度測ってみませんか。モデルの大きさではなく、データの温度に合わせて記憶場所を選べる企業ほど、電力と部品価格が揺れる時代にもAIを使い続けられるはずです。