SuperAI Singapore 2026 参加レポート:AIの本当のボトルネックは「メモリ」である──カウンタートップ問題

2026年6月10日〜11日、シンガポールのマリーナベイ・サンズで開催されたアジア最大のAIカンファレンス「SuperAI Singapore 2026」の参加レポートをお届けしています。ステージ上のセッションと同じくらい面白いのが、会場フロアでの立ち話や登壇者を囲んだ議論です。今回の記事で取り上げるのは、その会場で最も熱を帯びていたトピックのひとつ、「AIのコンテキストメモリ」です。すなわち、メモリこそがAIがいま直面している本当のボトルネックになりつつある、という議論です。

ここでいうメモリとは、多くの人が思い浮かべる親しみやすい意味のメモリ、つまりアシスタントがあなたの名前や先週のプロジェクトを覚えている、といった話ではありません。これらのモデルを動かすチップの内部にある物理的なメモリのことであり、それが静かに枯渇しつつあるのです。

一見するとインフラエンジニアだけの話題に聞こえるかもしれません。しかし筆者は、この議論こそ、AIを使うすべての企業とAIを作るすべての企業が理解しておくべき「AIの経済学」の核心だと考えています。本稿では、会場での議論を「料理人と調理台」のメタファーで整理したうえで、筆者の考察として、AIを使う企業への示唆とAIプロダクトを作る企業への示唆をそれぞれ掘り下げます。

‍

会場で最も熱かった議論:AIメモリの壁(Memory Wall)

議論を理解するためのメタファーはシンプルです。AIが料理人だとすれば、メモリはその料理人が作業する調理台(カウンタートップ)です。

どんな料理でも迷いなく作れる天才シェフを想像してください。制約はスキルではありません。調理台です。そのシェフに狭すぎる調理台を与えれば、才能は意味を失います。食材は積み上がり、作りかけの皿は脇へ押しやられ、完成した料理は置き場所がないという理由で崩されていく。今日のAIは、このシェフです。モデルは驚くほど有能で、四半期ごとにさらに賢くなっています。しかし、GPU内部のワーキングメモリはそのペースに追いついていません。この開き続けるギャップこそ、業界が「メモリの壁(Memory Wall)」と呼ぶものです。

ここに、多くの経営者が目にすることのないメカニズムがあります。AIが作業するとき、AIはワーキングステート(調理台の上に広げられているすべて)を保持しており、この状態はメモリを急速に埋めていきます。調理台がいっぱいになったとき、AIは私たちのシェフと同じことをします。スペースを空けるために、作業を捨てるのです。そして、その作業が再び必要になったとき、AIはそれを取り出してくるのではありません。ゼロから作り直します。毎回、です。

つまり、あなたはAIに「考えること」の対価を払っているだけではありません。すでに考えたことを「考え直すこと」にも払っているのです。その思考はトークンで計量されます。トークンとは、モデルが読み書きするテキストの小さな単位であり、AIの作業が課金される単位です。作り直しのたびに、一度支払ったはずのトークンをもう一度支払うことになります。

そしてこの問題は、今後さらに深刻化する見通しです。Gartnerは2026年3月の予測で、1兆パラメータ規模のLLMの推論コストは2030年までに2025年比で90%以上下がるとしながら、企業はその恩恵を実感できないだろうと警告しています。理由は、エージェント型AIが標準的なチャットボットと比べてタスクあたり5〜30倍のトークンを消費するからです。トークン単価の下落よりも消費量の増加が速く進むため、推論コストの総額はむしろ上がっていく。単価は下がるのに請求額は増える、という逆説です。

会場で語られていた解決の方向性は、拍子抜けするほどシンプルでした。完成した仕事を捨てるのではなく、保存する。厨房の隣に倉庫を建て、皿を後から取り出すコストが作り直すコストより安くなるほど高速に保つ。これが業界のいう「コンテキストメモリ」です。自らのワーキングステートを破棄せず保持し、一度計算したものを再計算するのではなく再利用するシステムを作ること。

これはハードウェアの脚注ではありません。AIの経済学そのものです。メモリがうまく使われれば、同じマシンではるかに多くの仕事ができ、知性のコストは下がります。チップが賢くなったからではなく、無駄な労力をかけるのをやめたからです。Gartnerのガイダンスも同じ方向を指しています。定型的で高頻度のタスクはより小さく安価なモデルにルーティングし、高価なフロンティアモデルの推論は、本当にそれを必要とする複雑な推論タスクのために厳格に温存すべきである、と。

‍

AIを「使う」企業への示唆:コストの形を理解する

ここからは筆者の考察です。まず、AIを利用する側の企業にとって、この話が「誰か他の人の問題」ではない理由から始めます。製造業、小売、物流、そしてAIを業務に織り込み始めたあらゆる企業の話です。

メモリ、チップ、推論コスト。それはベンダーの心配事だろう、と思いたくなります。しかし違います。メモリの経済学は、AIがあなたにいくらかかるかを決め、コストは何が可能かを決めます。技術的には見事でも、動かすのに破滅的なコストがかかる能力の上に、ビジネスは築けません。

エンジニアリングを理解する必要はありません。理解すべきは、コストの形です。自分の仕事を絶えず作り直すAIは、高くて遅い。仕事を再利用するように作られたAIは、安くて速い。この違いが、採用する価値のあるベンダーやツールと、静かに予算を吸い上げていくものとを、ますます分けていきます。これを掴んだリーダーは、より鋭い質問をし、高くつく失敗を避けられます。AIを「常に使えて、常に手頃な魔法のユーティリティ」として扱うリーダーは、請求書が届いたときに驚くことになるでしょう。かつての世代が、初めての巨額のクラウド請求書に驚いたのと、まったく同じように。

この理解は、ベンダーへの問いを変えます。AIベンダーを評価するとき、「機能あたりの価格」は間違ったレンズです。問うべきは、システムが繰り返しの仕事をどう扱うか。利用量が増えたときコストがどうなるか。直線的に伸びるのか、それとも平坦に保つ仕組みをベンダーが持っているのか。これはまさに、Forresterが2026年の予測でバイヤーに求めている規律と重なります。コストと稼働率をリアルタイムで計測し、推論効率とユニットエコノミクスを追跡し、透明な指標と消費ベースの契約を軸にベンダー交渉を組み立て直す、という規律です。メモリ効率を解決しているプロバイダーは、スケールしても安定的で予測可能な価格を提示できます。解決していないプロバイダーは、需要の急増をそのままあなたに転嫁します。

そして、コードを一行も検査せずにこれを見分ける方法があります。ベンダーのアーキテクチャを監査することはできませんし、する必要もありません。次の3つの質問が、知るべきことの大半を教えてくれます。

‍

質問1:価格ではなく、コストカーブを見せてください

利用量が10倍になったとき、請求額はどうなりますか、と聞いてください。効率を解決しているパートナーは、スケールするにつれて曲がり、平坦になっていくカーブを見せられます。解決していないパートナーは、今日のユーザーあたり単価の魅力を語り、明日については口をつぐみます。あなたが買っているのは今日の価格ではありません。その線の傾きです。

質問2:私のリクエストをどのモデルが処理するかは、何が決めるのですか

間違った答えは「常に最も強力なモデルを使っています」です。正しい答えは、ルーティングを説明します。シンプルで大量の仕事は小さく安価なモデルへ送り、高価なフロンティアモデルの推論は、本当にそれを必要とするタスクのために温存する。デモ映えするからという理由ですべてを最上位モデルに通しているパートナーは、あなたが使ってもいない馬力を、静かに請求しています。

質問3:似た仕事を繰り返すとき、システムは計算済みのものを再利用しますか、それとも最初からやり直しますか

これが「再利用テスト」です。メモリをめぐる議論のすべてを、ひとつの質問に凝縮したものです。ここで聴くべきは、正確な回答そのものというより、相手がそもそもこの質問を理解しているかどうかです。この領域に流暢なパートナーは、再計算という税金について考え抜いています。この質問に戸惑うパートナーは、その税金をあなたに払わせ続けるでしょう。

3つの質問を貫くパターンは同じです。良いパートナーは、スケール時のコストについて話すことを厭わない。無駄の多いパートナーは、今日のコストの話しかしたがらない。

もうひとつ、賭け金をどこに置くかも変わります。製造業や小売業で最も価値あるAIユースケースは、多くの場合、反復的で大量のもの、つまり同じ種類のタスクを1日に何千回も走らせるものです。それこそが、メモリ効率が最も効くワークロードであり、よく作られたシステムと無駄の多いシステムの差が最も開く場所です。そこで正しい土台を選ぶことは、複利で効いてきます。

‍

早期導入とは、一番乗りすることではありません。早く、かつ正しくあることです。勝つのは最も多くのAIを導入した企業ではなく、スケールしても回し続けられるコストのAIを導入した企業です。その出発点は、コストを後付けの検討事項ではなく第一級の指標として扱うことです。見えないコストは、制御できないコストだからです。この準備の差は現実に存在し、測定可能です。Harvard Business Review Analytic Servicesの調査では、94%の組織が「よく接続されたデータとプロセスがAIの成功に不可欠」と答えた一方、それを実際に達成できていると答えたのはわずか27%でした。タスクに適切なレベルの知性、そして適切なコストをマッチングさせること自体が、競争優位なのです。

‍

AIプロダクトを「作る」企業への示唆:効率こそがモート(堀)になる

次に、AIプロダクトを作る側の企業です。作り手にとって、これは背景情報ではありません。足元の地面そのものです。メモリの壁は、マージンを、価格設定を、プロダクトアーキテクチャを、そしておそらくは会社が生き残れるかどうかを規定します。

AIプロダクト企業にとって、推論コストは売上原価(COGS)です。手を振って消せる費目ではありません。プロダクトがリクエストのたびに同じ仕事を作り直しているなら、顧客を増やすたびにコストが増える。つまり、成長するほど弱くなるということです。デモでどれほど良く見えても、それは脆弱なビジネスです。メモリの経済学を理解していない創業者やプロダクトリーダーは、飛行機を沈める可能性が最も高いその一点を測る計器なしで飛んでいるのと同じです。生き残る企業は、推論コストをプロダクトそのものと同格の中核規律として扱うリーダーに率いられているでしょう。

競争軸も動きます。しばらくの間、AIプロダクトの差別化要因はケイパビリティ、すなわち誰が最良のモデルにアクセスできるかでした。その優位は薄まりつつあります。誰もが似たようなフロンティアモデルの井戸から水を汲んでいるからです。持続的な優位は効率へと移っています。同等の知性を、何分の一かのコストとレイテンシで届けられるのは誰か。それはアーキテクチャの問題であり、その中心にメモリが座っています。実務的には、計算を繰り返すのではなく再利用するようにプロダクトを設計すること。シンプルなタスクは小さなモデルにルーティングし、高価なモデルは本当に必要な仕事のために温存すること。そして、メモリとキャッシングを「後で足す最適化」ではなく「早期に下す意思決定」として扱うこと。後から改修するのが難しいからです。

こう作るべき理由はもうひとつあり、多くのプロダクトチームが過小評価しています。本番環境では、エージェントは単独で動きません。群れ(スワーム)で動き、サブタスクを生み、互いを呼び出します。Forresterの見立ては率直です。長時間稼働するエージェントはチャットボットというより分散システムのように振る舞い、共有されたルーティングなしに孤立したエージェントを縫い合わせれば、重複とドリフトに崩壊する、と。重複したステップのひとつひとつが、無駄になったメモリであり、作り直された計算です。これを内面化したチームは、コストを考えずに知性をボルト留めした競合よりも、リーンに運用し、低く価格づけできるでしょう。

とはいえ、すべての組織が推論エンジンやメモリレイヤー、分散キャッシングフレームワークを自前でゼロから作るべきだ、ということではありません。AIエコシステムは急速に進化しており、モデルプロバイダー、ハイパースケーラー、インフラプラットフォームは、プロンプトキャッシング、コンテキスト管理、モデルルーティング、メモリ最適化といった機能を組み込みサービスとして提供するようになっています。これらはエンタープライズAIアプリケーション開発に必要なエンジニアリング労力を減らし、プロダクトチームが基盤インフラの再発明ではなくビジネス課題の解決に集中できるようにしてくれます。

しかし、インフラの機能だけでは、効率的なエージェント型AIプラットフォームは生まれません。アーキテクチャ上の意思決定は、依然としてCTO/CAIOとエンジニアリングチームのものです。どのコンテキストをエージェント間で永続させるか。再利用可能な計算をどこにキャッシュするか。ワークフローをどうオーケストレーションするか。いつ小さなモデルへ、いつ大きなモデルへルーティングするか。導入が拡大する中で推論コストをどう監視し最適化するか。ベンダーが提供するのはビルディングブロックであり、競争優位は、それらの機能を信頼できるパフォーマンス・持続可能な経済性・エンタープライズスケールを実現するアーキテクチャへと組み上げる力から生まれます。

次の10年の勝者となるAI企業は、必ずしも最も賢いモデルを持つ企業ではないでしょう。知性を、誰もの手に届くほど手頃なものにした企業です。効率は仕事の地味な部分ではありません。それこそがモート(堀)です。Forresterの表現を借りれば、先頭を走っているのは最も多くのエージェントを持つ企業ではなく、列車が走るための線路を敷いている企業なのです。

‍

問いは「何ができるか」から「何を回し続けられるか」へ

これまでのAIをめぐる会話は、ケイパビリティ、つまりモデルに何ができるかの話でした。これからの5年、10年を形づくるのは、もっと静かな問いです。私たちは何を、経済的に回し続けられるのか。メモリの壁は、このふたつの問いが交わる場所にあります。それは、来たる10年の本当のボトルネックである可能性が高く、チップを作る企業だけの関心事ではありません。ビジネスがAIの上で走るすべての人、つまりほぼすべての人の関心事です。

だからこそ、AIを使う側であれ作る側であれ、すべてのビジネスに求められる規律は、お金と時間と注意を、デモの一段深い層に注ぐことです。AIが今日何ができるかではなく、それを明日100万回やるといくらかかるのか。そしてその仕事を一度で済ませるのか、際限なくやり直しに支払い続けるのか。その問いは、プラットフォームのレベル、すなわち知性の下にあるメモリ、アーキテクチャ、経済性で決まります。

シェフはすでに天才です。優位は今や、最も大きな調理台を作った者のものです。

参考資料

• Gartner: Gartner Predicts That by 2030, Performing Inference on an LLM With 1 Trillion Parameters Will Cost GenAI Providers Over 90% Less Than in 2025(2026年3月25日)
• Forrester: The State of Agentic AI in 2026 — Companies Are Chasing, Few Are Catching
• Forrester: Predictions 2026
• SuperAI Singapore 2026 公式サイト

‍