テンソル・プロセッシング・ユニット（、TPU）はGoogleが開発した機械学習に特化した特定用途向け集積回路（ASIC）。グラフィック・プロセッシング・ユニット（GPU）と比較して、ワットあたりのIOPSをより高くするために、意図的に計算精度を犠牲に（8ビットの精度）した設計となっており、ラスタライズ/テクスチャマッピングのためのハードウェアを欠いている 。チップはGoogleのテンソルフローフレームワーク専用に設計されているがGoogleはまだ他のタイプの機械学習にCPUとGPUを使用している 。他のAIアクセラレータの設計も他のベンダーからも登場しており、組み込みやロボット市場をターゲットとしている。

Googleは同社独自のTPUは囲碁の人間対機械シリーズのAlphaGo対李世ドル戦で使用されたと述べた。GoogleはTPUをGoogleストリートビューのテキスト処理に使っており、5日以内にストリートビューのデータベースの全てのテキストを見つけることができる。Googleフォトでは個々のTPUは1日に1億枚以上の写真を処理できる。TPUはGoogleが検索結果を提供するために使う「RankBrain」においても使用されている 。TPUは2016年のGoogle I/Oで発表されたが、GoogleはTPUは自社のデータセンター内で1年以上前から使用されていると述べた。

Googleの著名ハードウェアエンジニアのNorm Jouppiによると、TPU ASICはヒートシンクが備え付けられており、データセンターのラック内のハードドライブスロットに収まるとされている米Googleが深層学習専用プロセッサ「TPU」公表、「性能はGPUの10倍」と主張 日経コンピュータDigital。2017年時点でTPUはGPUTesla K80やCPUXeon E5-2699 v3よりも15～30倍高速で、30～80倍エネルギー効率が高いGoogle、AIチップ「TPU」はGPUより30倍速いJouppi, Norman P., et al. "In-datacenter performance analysis of a tensor processing unit." 2017 ACM/IEEE 44th Annual International Symposium on Computer Architecture (ISCA). IEEE, 2017.。

Google Pixel向けに設計されている自社製SoC「Google Tensor」にはTPUが内蔵されており、これによってローカル環境下である程度のAI処理を行うことが可能となっている。

アーキテクチャ +Tensor Processing Unit (TPU) generations v1 v2 v3 v4Stay tuned, more information on TPU v4 is coming soon , retrieved 2020-08-06. v5eCloud TPU v5e Inference Public Preview, retrieved 2023-11-06. v5pCloud TPU v5p Google Cloud. retrieved 2024-04-09Cloud TPU v5p Training , retrieved 2024-04-09. v6e (Trillium) v7 (Ironwood) Date introduced 2015 2017 2018 2021 2023 2023 2024 2025 Process node 28 nm 16 nm 16 nm 7 nm Not listed Not listed Not listed Not listed Die size (mm2) 331 < 625 < 700 < 400 300–350 Not listed Not listed Not listed On-chip memory (MiB) 28 32 32 (VMEM) + 5 (spMEM) 128 (CMEM) + 32 (VMEM) + 10 (spMEM) Not listed Not listed Not listed Not listed Clock speed (MHz) 700 700 940 1050 Not listed 1750 Not listed Not listed Memory 8 GiB DDR3 16 GiB HBM 32 GiB HBM 32 GiB HBM 16 GB HBM 95 GB HBM 32 GB 192 GB HBM Memory bandwidth 34 GB/s 600 GB/s 900 GB/s 1200 GB/s 819 GB/s 2765 GB/s 1640 GB/s 7.37 TB/s Thermal design power (W) 75 280 220 170 Not listed Not listed Not listed Not listed Computational performance (trillion operations per second) 23 45 123 275 197 (bf16) 393 (int8) 459 (bf16) 918 (int8) 918 (bf16) 1836 (int8) 4614 (fp8) Energy efficiency (teraOPS/W) Not listed Not listed Not listed 4.7

第1世代 第1世代のTPUは、PCIe 3.0バスを介してホストCPUからのCISC命令で動作する8ビット行列乗算エンジンである。TPUは28 nmプロセスで製造され、正確なダイサイズは不明であるがHaswellの半分未満とされていることから最大で331 mm2であるGoogleのAI開発を支えるディープラーニング専用プロセッサ「TPU」 - ISCA論文レビュー版から、その仕組みを読み解く マイナビニュース。クロックスピードは700 MHzであり、熱設計電力（消費電力）は28～40Wである。TPUは28 MiBのチップメモリーと65536個の8ビット積和演算器の結果を取る4 MiBの32ビットアキュムレーターを有している。命令はホストとのデータ送受信、行列の乗算または畳み込み、活性化関数の適用を実行する。

第2世代 第2世代のTPUは2017年5月17日に発表された。個々のTPU ASICは45テラFLOPSであり、4チップ（1台）で合計180テラFLOPSモジュールとなる。これらのモジュールは256チップ（64台）組み合わせると11.5 PFLOPSのパフォーマンスを発揮するGoogleの機械学習マシン「TPU」の第2世代登場、1ボード180TFLOPSで64台グリッドでは11.5PFLOPSに到達 GIGAZINE。とりわけ第1世代のTPUは整数に限定されている一方で第2世代のTPUは浮動小数点演算が可能であるGoogleが第2世代TPUを発表、処理性能は180TFLOPS EE Times Japanので、機械学習モデルの訓練と推論の両方に役立つ。Googleはテンソルフローアプリでの使用のために「Google Computeエンジン」で第2世代のTPUが利用できるようになると述べた。

第3世代 第3世代のTPUは2018年5月8日に発表された。発表内容は、1ユニットあたりの計算性能が100ペタFLOPSであり、冷却が液体冷却であることのみであった。

第4世代 2021年5月18日にGoogle I/O 2021でTPU v4が発表された。

第5世代 2023年、TPU v5eとTPU v5pが発表された。TPU v5eは8月30日に発表され、電力効率や費用対効果が高いものの、性能自体はTPU v4に及ばない。TPU v5pは12月6日に発表され、性能重視のモデルである。

第6世代 2024年5月にGoogle I/O 2024でTPU v6eが発表された。TPU v5eの4.7倍の性能を誇る。コード名は「Trillium」。

第7世代 2025年4月のGoogle Cloud NextでTPU v7が発表された。ピーク演算性能は4,614TFLOP/sである。コード名は「Ironwood」。

脚注

関連項目

AlphaGo TensorFlow