Sony AIがプロ卓球選手級のリアルタイム運動性能を持つフィジカルAIを具現化。背後にあるのは次世代ビジュアルセンサー群の技術力

今泉大輔です。X（Twitter）はこちら @researchpro_jp 【X速報】経営者が読むNVIDIAのフィジカルAI / ADAS業界日報 by 今泉大輔

フィジカルAIの開発と技術戦略に関わる方々を想定して、Gemini + Deep ResearchのAI OSINTによる極めて高解像度な技術レポートを作成しました。

このAI OSINTの前身は、YouTubeで公開されている動画ロボット動画を、同じくGemini + Deep Researchにより、ロボット工学の専門家目線で解析させた以下の2本の投稿です。これができた当時、Geminiのあまりに高度なロボット工学の知見に驚きました。彼の、欧米最先端ロボット工学専門家十数人分の学習の賜物です。

Geminiには（Deep Researchと掛け合わせて使うと）、そのような、最先端のロボット/フィジカルAIを、技術的に正確に分析し、レポートする能力があります。これも一種のAIエージェントと言ってよいでしょう。

あまりに高度なヒト型ロボ”Optimus”のテスラギガファクトリー内行動とGeminiによるロボット工学的解析（2025/6/4）（ITmediaオルタナティブブログ）

Geminiを使うとBoston Dynamics AtlasのYouTube動画をロボット工学の研究者的に精緻に分析できる（2025/6/1）（ITmediaオルタナティブブログ）

Sony AIのプロ選手級卓球ロボット「Ace」における超高速センシングと階層型強化学習の統合解析：出現した次世代フィジカルAIの技術アーキテクチャ
物理世界における自律性の極致：Project Aceの衝撃
1章センシング・アーキテクチャ：Gaze Control System (GCS) の解剖
第2章知能アーキテクチャ：階層型意思決定とSim-to-Real
第3章ハードウェア：Physical AIのための最適設計
第4章システム統合とパフォーマンス・ベンチマーク
1. 4.1 応答速度とレイテンシの完全分解
2. 4.2 対人戦における戦績
第5章事業・政策的インプリケーション：汎用フィジカルAIへの道
1. 5.1 産業転用への道筋
2. 5.2 日本独自の強み：ソニーの物理デバイス×NVIDIAの計算基盤
結論：自律型物理システムの未来
引用文献

Sony AIのプロ選手級卓球ロボット「Ace」における超高速センシングと階層型強化学習の統合解析：出現した次世代フィジカルAIの技術アーキテクチャ

物理世界における自律性の極致：Project Aceの衝撃

2026年4月、Sony AIが開発したプロ卓球選手級のリアルタイム運動性能を持つフィジカルAI「Ace」が科学誌『Nature』の表紙を飾った。「Ace」は、人工知能が物理的な身体性を伴い、極限の動的環境下で人間と対等に渡り合えることを証明した。

Nature2026年4月号表紙のキャプション和訳
卓球は、高度な巧緻性を要するスポーツであり、素早い反射と予測不可能なプレーに対応する能力を必要とする。これらすべてがロボットにとって大きな課題となる。いくつかのロボットシステムはラケットを手にしてきたが、単純化されたルールのもと、またはアマチュア選手を相手にすることしかできなかった。今週号において、Peter Dürr とその同僚たちは、公式競技ルールのもとでエリート卓球選手を打ち負かすことができる自律型ロボット Ace を発表する。Ace は、カメラのネットワーク、AIベースの制御システム、そして8つの関節を持つ高速ロボットアームから構成されている。研究者たちは、5人のエリート選手と2人のプロ選手との一連の試合において Ace をテストした。このシステムは、エリート選手との5試合のうち3試合に勝利し、プロ選手との2試合はいずれも敗れたものの、そのうちの1人に対して1ゲームを獲得することには成功した。表紙写真は、エリート選手の1人と対戦する Ace の動作中の様子を捉えている。全体として、チームは、Ace がそのプレーにさまざまな種類のスピンを加えることができたこと、また通常とは異なるショットにも素早く反応できたことを指摘している。

卓球というスポーツは、時速150キロメートルを超える球速と、毎秒150回転（9,000 RPM）に達する複雑なスピン、そしてコンマ数秒という極めて短い反応時間を要求される物理AIの究極のベンチマークである。このような環境下で、エリートレベルやプロレベルの人間プレーヤーを撃破した事実は、従来の産業用ロボットが追求してきた「静的な環境での正確な反復」から、物理AIが「動的かつ予測不可能な環境での適応的制御」へとパラダイムシフトを果たしたことを意味している。

本報告書では、Project Aceの技術的アーキテクチャを「センシング」「知能」「ハードウェア」の3つの側面から深掘りし、日本の製造業およびロボット産業の技術担当役員（CTO/VPoE）に向けた技術実装のベストプラクティスを提示する。

Aceの成功は、ソニーが長年培ってきたCMOSイメージセンサー技術、最新の深層強化学習（Deep Reinforcement Learning）、そしてトポロジー最適化を駆使したハードウェア設計が高度に統合された結果であり、その本質はミリ秒単位の「認知・判断・実行」のループにある。

なお、Aceの具現化には、精密機械要素部品メーカーであるTHKが協力している。（YouTube参照）

1章センシング・アーキテクチャ：Gaze Control System (GCS) の解剖

卓球ロボットが直面する最大の課題は、直径40mmの軽量なボールが持つ物理的特性、特に「スピン（角速度）」を正確に把握することである。従来型のフレームベースカメラでは、高速回転するボールの表面ロゴや微細なテクスチャがモーションブラーによって消失し、スピンの推定が困難であった。Aceはこの課題に対し、フレームベースのイメージセンサーとイベントベースのイメージセンサー（EVS）を組み合わせた「ハイブリッド・ビジョン・システム」を導入している。

1.1 イベントベースセンサー IMX636 の優位性と役割

Aceの視覚系の中核を成すのは、ソニーとPropheseeが共同開発したイベントベースセンサー「IMX636」である。従来のカメラ（Active Pixel Sensor: APS）が一定のフレームレートで画面全体の輝度情報をサンプリングするのに対し、EVSは各画素が独立して機能し、輝度の変化（イベント）があった瞬間にその座標と時間をマイクロ秒単位の精度で出力する。

性能指標	従来のフレームベースカメラ (APS: IMX273)	イベントベースセンサー (EVS: IMX636)
時間分解能	5 ms (200 Hz)	マイクロ秒単位 (<1 ms)
データ特性	フレーム単位の全画素情報	輝度変化のみを非同期に出力
輝度耐性	露光時間に依存	広ダイナミックレンジ (120dB以上)
高速動体への適応	モーションブラーが発生しやすい	モーションブラーが原理的に発生しない
Aceでの役割	3D空間座標の特定（三角測量）	ボールのロゴ追跡によるスピン（角速度）推定

IMX636は、ボールのロゴが回転する際の輝度変化を「イベントの塊」として捉えることで、最大9,000 RPMの回転速度をリアルタイムで計測可能にする。この「データ量の少なさと超低レイテンシ」の両立が、Aceの高速な反応速度を支える基盤となっている。

1.2 Gaze Control System (GCS) の制御機構

広大な卓球台の上で高速移動するボールに印字された数ミリのロゴを捉え続けるためには、解像度の不足を物理的な「注視」で補う必要がある。Aceは3基の「Gaze Control System (GCS)」をコート周辺に配置している。各GCSは以下のコンポーネントで構成される。

Pan-Tilt Mirrors（高速駆動ミラー）： 9台のAPSカメラから得られた予測軌道に基づき、ボールを常にセンサーの中心に捉え続けるためのアクチュエータ。
Tunable Lens（可変焦点レンズ）： ボールとの距離（Z軸）の変化に応じて、ミリ秒単位で焦点を調整し、常にロゴを鮮明に保つ。
IMX636センサー： ボールの微細な回転情報を抽出するためのイベントベースセンサー。

GCSの制御ロジックは、ボールの物理モデル（空力抵抗やマグヌス効果を含む）に基づいた「先読み」を行っている。これにより、システム遅延を補償しながらボールを追尾し、センサー上でのボール像を一定の大きさと鮮明さで維持することが可能となっている。

1.3 マルチカメラ・センサーフュージョンの実装

Aceは全体把握のために、9台の高速カメラ（IMX273搭載）を使用している。これらのカメラは200 Hzで同期動作し、全方向からボールを捉えることで、平均3.0 mmという極めて低い誤差で3次元座標を特定する。

この多層的な観測システムにより、Aceは人間が「感覚」で行っているスピンの読みを、厳密な物理データとして処理することを可能にしている。

第2章知能アーキテクチャ：階層型意思決定とSim-to-Real

Aceの「脳」にあたる制御系は、ソニーAIが過去に開発したレーシングAI「Gran Turismo Sophy」の知見を、物理世界に応用したものである。物理現象の不確実性と、ロボットの運動学的制約を考慮した高度な強化学習モデルが採用されている。

2.1 階層型意思決定アーキテクチャの分離

Aceの意思決定プロセスは、時間スケールと抽象度が異なる3つの層で構成されている。この分離により、計算負荷の高い「戦略的判断」と、極めて高速なレスポンスが必要な「運動制御」が両立されている。

戦略・戦術層 (Strategy & Tactics): 試合全体やラリーの流れを読み、返球のコースや球種を決定する。ここでは、相手の立ち位置や過去の打球傾向を考慮した「上位計画」が行われる。
スキル層 (Skill Layer): 決定された返球を実現するための具体的な打球アクションを選択する。Aceは、「トップスピン」「スライス」「スマッシュ」といった特定の物理アクションを実行するための「スキルポリシー」のライブラリを持っている。各スキルは32 ms（約31.25 Hz）というタイムスケールでサンプリングされる。
制御層 (Low-level Control): 1 kHz（1 ms周期）という超高速ループで動作し、関節のトルクや位置を制御する。ここでは、ボールの微細な軌道変化に追随するためのリアルタイム修正が行われる。

この階層化により、戦略的な判断を人間と同等以上のペースで行いつつ、物理的な打球瞬間の制御は1 msという機械ならではの精度で行うという、最適化が図られている。（今泉注：この階層化は、Sony Playstationのゲーム「グランツーリスモ」用に開発されたAIエージェント「Gran Turismo Sophy」の知見に基づいて開発されている。）

2.2 強化学習の報酬設計 (Reward Function)

2.3 Sim-to-Real と Asymmetric Actor-Critic

シミュレーションで学習したAIを現実のロボットに適用する際、最大の課題となるのが「Sim-to-Real ギャップ」である。Aceはこの問題を解決するために「Asymmetric Actor-Critic (非対称アクター・クリティック)」という手法を用いている。

訓練時 (Simulator): クリティック（評価役）はシミュレータ内の完璧な情報（特権的情報：ボールの正確な座標、速度、スピンの真値）にアクセスできる。一方、アクター（実行役）は、ノイズが乗ったセンサーデータ（現実のカメラを模した不完全な情報）のみを元に行動を学習する。
実行時 (Real-world): アクターは不完全な情報からでも、クリティックの厳しい評価に耐えうる「堅牢な行動」を選択できるようになっている。

さらに、物理パラメータ（摩擦係数、空気抵抗、カメラのキャリブレーション誤差など）を意図的に変動させる「ドメイン・ランダマイゼーション」を徹底することで、現実世界のわずかな環境変化に対しても、追加学習なしで適応することを可能にした。（今泉注：これ（Asymmetric Actor-Criticという方法論）はロボット開発におけるSim2Realギャップの問題を乗り越えるための画期的な方法論だと思われる。この方法論を適用した強化学習は、大前提として、「シミュレータ内の完璧な情報（特権的情報：ボールの正確な座標、速度、スピンの真値）」が不可欠であり、物理世界で「ボールの正確な座標、速度、スピンの真値」に相当する情報をセンシングすることができる超高度なセンサーが存在していることがその前段にある。つまり従来存在しなかった超高度なセンサーを開発できる技術力があることによって、Asymmetric Actor-Criticの強化学習というブレークスルーが生まれる。縮めて言えば、超高度なセンサー開発力がAceのようなプロ卓球選手級のフィジカルAIを具現化する原動力である。センサー開発力がフィジカルAIの完成度において決定的な意味を持つ時代が到来したと言うこともできる。これを自動運転に応用した世界を考えてみるべき。）

2.4 リアルタイム適応：Surpriseへの対応

卓球では、ネットイン（ボールがネットの縁に当たって軌道が変わる）やエッジボール（台の端に当たって跳ね方が変わる）など、予測を根底から覆す事象（Surprise）が頻発する。

Aceの再計画（Re-planning）能力は極めて高く、ネットインが発生してからわずか「49ミリ秒」でラケットの軌道を修正し、返球に成功した例が報告されている。これは、1 kHzの制御ループが常にボールの「観測値」と「予測値」の乖離を監視しており、大きな乖離が検出された瞬間に即座に下位の制御命令（軌道生成）を書き換える仕組みが機能していることを示している。

第3章ハードウェア：Physical AIのための最適設計

Aceの物理的な構造は、単に速いだけでなく、卓球という競技特有の「広範囲な横移動」と「手首による繊細な回転」を両立させるためにゼロから設計されている。

3.1 スカラ×多軸のハイブリッド構造

従来の6軸垂直多関節ロボットでは、卓球台の端から端までの高速な横移動において、複数の関節が複雑に連動する必要があり、これが速度のボトルネックとなっていた。Aceはこの問題を解決するために、合計8つの自由度（DOF）を持つ特殊なハイブリッド構造を採用している。

関節タイプ	構成数	技術的工夫と役割
プリズマティック (直動)	2軸	台の横方向および前後方向への高速な水平移動。SCARAロボットから着想を得た設計。
レボリュート (回転)	6軸	ラケットの姿勢（向き）の制御、打球の強度、およびスピンの付与。

この設計の肝は、3つの回転軸を同一直線上に配置し、それらを同時に回転させることで角速度を「合成（Compound）」し、人間を超えるスイングスピードを実現している点にある。

3.2 トポロジー最適化と新素材の活用

ロボットアームが高速で加減速を行う際、アーム自体の「慣性」と「剛性」のトレードオフが課題となる。Aceでは、航空宇宙産業などで使用される「Scalmalloy（スカマロイ：スカンジウムを含むアルミニウム合金）」を主要素材として採用している。

トポロジー最適化: アームが受ける応力をシミュレーションし、構造的に不要な部分を極限まで削ぎ落とした有機的な形状を採用。
アディティブ・マニュファクチャリング: 金属3Dプリンティング技術を用いることで、従来の切削加工では不可能だった「軽量かつ高剛性」な内部空洞構造を実現した。

これにより、アーム先端の速度は最大 20 m/s（時速72km）に達し、かつ打球時の衝撃による振動を最小限に抑える剛性を確保している。

3.3 エンドエフェクターと振動制御

Aceのエンドエフェクターには、競技用ラケット（バタフライ製ディグニクス05ラバー等）が装着されている。また、以下の特殊な機能が備わっている。

ボール保持用カップ: プリズマティック関節と連動し、片腕だけで「ITTFルールに準拠したサーブ（16cm以上のトス）」を行うための機構。
衝撃吸収構造: 打球時の微細な振動を低減するため、アーム先端には高減衰素材が組み込まれている。これにより、AIが計算した通りの反射角度を正確に再現することができる。

第4章システム統合とパフォーマンス・ベンチマーク

これらの要素技術が統合された結果、Aceは単なる実験機ではなく、実戦に耐えうる「アスリート」としての性能を獲得した。

4.1 応答速度とレイテンシの完全分解

AIの意思決定から物理的な打球に至るまでのパイプラインは、人間を遥かに凌駕する速度で実行される。（今泉注：自動運転に応用された際のインパクトは従来の自動運転をはるかに超えるものになることが想定される。）

プロセス	レイテンシ	備考
センシング (ボール位置特定)	10.2 ms	9台のAPSカメラによる trianguration
センシング (スピン推定)	1.4 ms 以下	EVSとCNNによる非同期処理
制御命令生成 (AI推理)	5.0 ms 以下	SACポリシーの推論時間
アクチュエータ応答	5.0 ms 以下	モーターの追従遅延
エンドツーエンド合計	約 20.2 ms	人間の反応速度（約230ms）の10倍以上

この圧倒的な「時間の余裕」が、複雑なスピンに対する緻密な計算と、ネットイン等への即時対応を可能にしている。

4.2 対人戦における戦績

Aceは2025年から2026年にかけて、段階的にその性能を向上させてきた。

対エリート選手 (10年以上の経験者): 5名との対戦で3勝2敗。サービスエースは16回を記録（人間は8回）。
対プロ選手 (Tリーグ所属): 当初は敗北を喫したものの、1ゲームを奪うことに成功。2026年3月の最新マッチでは、プロ選手3名全員に対して少なくとも1回以上の勝利を収めるまでに進化した。

特筆すべきは、Aceの「予測不可能性」である。AIはシミュレーションを通じて、人間には予測困難な「極限の回転とコース」を組み合わせたショットを独自に開発しており、これがプロ選手をも驚愕させる要因となった。

第5章事業・政策的インプリケーション：汎用フィジカルAIへの道

Project Aceの成功は、卓球という限定的なドメインを超え、次世代の産業構造に革命をもたらす「フィジカルAI」のショーケースとしての側面を持っている。

5.1 産業転用への道筋

Aceで確立された「超高速センシング×階層型適応制御」は、以下の分野への転用が期待されている。

次世代物流・高速ピッキング: 不揃いな形状の物品が混在し、高速で移動するコンベア上での仕分け作業。物体の重心や滑りやすさを「スピン推定」と同様の手法でリアルタイムに把握し、最適な把持力を調整する。
不整地での災害救助: 瓦礫の上など、物理モデル化が困難な環境での姿勢制御。Sim-to-Realで鍛えられた堅牢なAIは、未経験の地形に対しても「ネットインへの対応」と同様のミリ秒単位の軌道修正で対応できる。
精密手術支援: 臓器の変形や出血など、刻一刻と変化する術野において、医師の操作を補正し、組織の弾性をセンシングして最適な力加減を維持する。

5.2 日本独自の強み：ソニーの物理デバイス×NVIDIAの計算基盤

NVIDIA等のグローバル・プラットフォームが計算資源（GPU）とシミュレーション環境（Isaac Gym等）で覇権を握る中、ソニーの強みは「物理世界との高精度なインターフェース」にある。

イメージセンサーの優位性: IMX636のような「特定の物理現象を効率的にデータ化する」センサーは、AIが学習するための「質の高い教師データ」を生み出す唯一無二の源泉である。
垂直統合型開発: ハードウェアの運動学（SCARA構造）とソフトウェア（SACアルゴリズム）を密結合させる「すり合わせ」の技術は、日本の製造業が伝統的に得意としてきた領域である。

NVIDIAのプラットフォームを「計算の土壌」とし、ソニーのデバイスを「知覚の門」とする補完関係こそが、日本企業が世界のAI・ロボティクス競争で優位に立つための戦略的モデルケースと言える。

結論：自律型物理システムの未来

Project Aceは、ロボットがもはや「あらかじめ決められた動作を繰り返す機械」ではなく、人間と同じ、あるいはそれ以上の速度で世界を解釈し、行動を最適化する「自律的なエージェント」へと進化したことを証明した。

本解析で明らかになった「1 msの制御ループ」「49 msの再計画」「9,000 RPMのスピン計測能力」といった指標は、今後の産業用ロボット開発における重要な目標値となるだろう。日本の製造業・技術担当者は、このAceのアーキテクチャを単なる「スポーツロボット」としてではなく、あらゆる物理的課題をAIで解決するための「実装のテンプレート」として活用すべきである。

ソニーが『Nature』という基礎科学の舞台でこの成果を発表したことは、AIがデジタルな情報の海から解き放たれ、ついに物理的な現実世界（Physical Reality）を真に掌握し始めたことを象徴している。この「感覚」と「知覚」の革命を、いかにして次なる産業競争力へと昇華させるかが、今後の日本の技術政策における最大の焦点となる。