Google Cloud、第6世代のTPU「Trillium」発表 - 前世代から性能が4.7倍に
2024年5月17日（金）14時41分 マイナビニュース
米Google Cloudは5月15日、第6世代のGoogle Cloud TPU(Tensor Processing Unit)「Trillium」を発表した。
○「Trillium」の概要
Trillium TPUは、前世代の「TPU v5e」と比較してチップあたりのピークコンピューティングパフォーマンスが4.7倍、高帯域幅メモリ(HBM)の容量と帯域幅が2倍、チップ間相互接続(ICI)の帯域幅もTPU v5eの2倍となっている。Trillium TPU のエネルギー効率はTPU v5eと比べて67%以上向上しているという。
また、度なランキングやレコメンデーションのワークロードでよくある大規模なエンベディングを処理するための、特別なアクセラレータである第3世代の「SparseCore」を搭載。これにより、基盤モデルを素早くトレーニングし、レイテンシと費用を低く抑えてモデルをサービングすることを可能としている。
さらに、高帯域幅かつ低レイテンシの単一のPod内で256TPUまでスケールアップでき、マルチスライステクノロジーと、Titanium Intelligence Processing Unit(IPU)により、数百Podにスケーリングできるという。その際、マルチペタビット/秒のデータセンターネットワークで相互接続された、建物規模のスーパーコンピュータの数万に及ぶチップを接続する。
JAX、PyTorch/XLA、Keras 3などのオープンソースをサポートするため、前世代のTPU向けに書かれた宣言型モデルの説明が、Trillium TPUの新しいハードウェアとネットワークの機能に直接対応できる。また、Optimum-TPUに関してHugging Faceと提携し、モデルのトレーニングとサービングを効率化している。
○「Trillium」の概要
Trillium TPUは、前世代の「TPU v5e」と比較してチップあたりのピークコンピューティングパフォーマンスが4.7倍、高帯域幅メモリ(HBM)の容量と帯域幅が2倍、チップ間相互接続(ICI)の帯域幅もTPU v5eの2倍となっている。Trillium TPU のエネルギー効率はTPU v5eと比べて67%以上向上しているという。
また、度なランキングやレコメンデーションのワークロードでよくある大規模なエンベディングを処理するための、特別なアクセラレータである第3世代の「SparseCore」を搭載。これにより、基盤モデルを素早くトレーニングし、レイテンシと費用を低く抑えてモデルをサービングすることを可能としている。
さらに、高帯域幅かつ低レイテンシの単一のPod内で256TPUまでスケールアップでき、マルチスライステクノロジーと、Titanium Intelligence Processing Unit(IPU)により、数百Podにスケーリングできるという。その際、マルチペタビット/秒のデータセンターネットワークで相互接続された、建物規模のスーパーコンピュータの数万に及ぶチップを接続する。
JAX、PyTorch/XLA、Keras 3などのオープンソースをサポートするため、前世代のTPU向けに書かれた宣言型モデルの説明が、Trillium TPUの新しいハードウェアとネットワークの機能に直接対応できる。また、Optimum-TPUに関してHugging Faceと提携し、モデルのトレーニングとサービングを効率化している。
関連記事（外部サイト）
