Broadcom TOMAHAWK5

Tomahawk 4 Tomahawk 5
BCM56990 BCM56996 BCM78900
25.6Tbps 25.6Tbps 51.2Tbps
7nm process   5nm process
56G SerDes x 512 112G SerDes x 256 112G SerDes x 512
2019/12/18 2022/02 2022/08/16

Broadcom TOMAHAWK4 + NPO(400G FR4)

400G FR4 4 portのNPOを16個TOMAHAWK4(100Gx256)に配置した構成。

Broadcom TOMAHAWK4 + SCIP CPO(400G DR8)

外部光源(ELS)を利用するCPOを半分のポートに配置したパッケージ。

Intel(Barefoot) Tofino3

FCB6689 25.6T 112G x 256

cisco 800G対応スイッチ

     
Cisco 8111-32EH 25.6Tbps 32 port QSFP-DD800
Nexus 9232E 25.6Tbps 32 port QSFP-DD800
  • Silicon One G100,

cisco 800G対応トランシーバー

       
QDD-8X100G-FR QSFP-DD 17W dual MPO-12
QDD-2X400G-FR4 QSFP-DD 17W dual Dup-LC

8X100G(DR8+)がMPO-16でも24でもなくdual MPO-12コネクタ。

2xFR4もdual CSでは無くdual dup-LC。

 

CPOの時代は来るか?

ファブリックからフロントパネルまでの配線をPCB基板上で行うには消費電力および伝送品質の点で困難。"flyover cable"による接続になるだろう。これにより、100G SerDes x 512の51.2Tbps シングルファブリックチップの構成はCPOを採用しなくても実装化可能。

BiPass

https://www.molex.com/molex/products/family/bipass_io_and_backplane_cable_assemblies

800G or 2x400G

物理的なトランシーバーのポートはQSFP-DD800等の800Gを装備した製品が登場したが、800G ethernetは当初は使われず2x400Gとして使われるだろうとの説明があった。これは、LANE構成上QSFP56-DDでは実装出来ないためと思われる。QSFP112やSFP112対応の製品がまもなく登場するだろう。

OSFPの優位性

高速かつマルチレーン化が進むとQSFPのパッケージとの互換性を引きずったパッケージは無理がある。実際にQSFP-DD800どんどん長くなりかつ、大型のヒートシンクを備えるようになっている。それでも短距離の800Gであれば利用される見込み。

より余裕があるOSFPは16 laneにも対応したOSFP-XDによる1.6Tbps対応製品が登場している。200Gx16の3.2Tbpsまでは実装可能と見積もられている。

NVIDIA NVLink 4

NVIDIA DGX H100に採用されたNVLink4は50Gbaud PAM4 x 18。

NVIDIA ConnectX-7 : 400G対応NIC PCIe Gen5.0x16/x32

PCIe Gen5

32GT/s per lane : 半二重256Gbps相当つまり100Gbps/lane

Gen 6 64GT/s per lane : PAM4

CXL(Compute Express Link)

  • 外部メモリーを内部メモリーと同等のハンドリング
  • 疎結合のCPU間での共有が可能

液冷

スイッチファブリックの液冷もテーマになっているがまずはサーバー/GPUの液冷化。L2A(Liquid to Air)と呼ばれるラック内もしくは隣接するラックに冷却液を冷やすラジエーターを設置し、設置されるDC建物には冷却液の管理機構を要求しない構成が主流になりそう。

OCP SUMMIT archive

https://www.youtube.com/c/OpencomputeOrg/videos


コメント欄を読み込み中