400G NIC対応の光トランシーバー
2023年11月現在400G対応NICはNVIDIA(旧Mellanox)一社
- Broadcomは200Gはあるが400Gは無い
- P1200G 1 or P2200G 2 port 200G QSFP56
- Intelは100G
- E810 100G QSFP28
- Marvellも100Gまで
- FastLinQ 100G QSFP28
- AMD
- Napatech
NVIDIA ConnectX-7
| NVIDIA PN | module type | BUS |
|---|---|---|
| MCX75310AAC-NEAT | 1xOSFP-RHS(400GAUI-4 C2M) | PCIe 5.0x16 |
| MCX75310AAS-NEAT | 1xOSFP-RHS(400GAUI-4 C2M) | PCIe 5.0x16 |
| MCX715105AS-WEAT | 1xQSFP112 | PCIe 5.0x32 |
最も一般的なのはCrypto DisableのMCX75310AAS-NEATだと思われますが、使用できる光トランシーバーはヒートシンクなしのOSFP-RHSしかも、4laneしか接続しない400GAUI-4 C2M仕様です。
2023年11月現在ではOSFP-RHS対応のWST製品は400GAUI-8 C2M仕様の400G AOC WS-D404-AOCしかありませんので、200G_4X設定でしかも機能の半分を無駄にする構成しか適応できません。
同様に機能の半分が無駄になりますがQ1CY24に出荷予定のOSFP-RHS 2x400G DR4を利用できます。OSFP-RHS 2x400G FR4もQ2CY24を目標に準備を進めています。
OSFP-RHS 400G DR4 4 lane接続に機能を削った製品をラインナップするかは検討中です。
何故QSFP112を採用しなかったのかは謎です。
Firmware Release 28.34.1002以降であれば"400G_8X"つまり400GAUI-8 C2Mの設定が可能との情報がありますが未確認です。
NVIDIA BlueField-3
| module type | BUS | |
|---|---|---|
| B3140H/L | 1xQSFP112 | PCIe 5.0x16 |
| B3240 | 2xQSFP112 | PCIe 5.0x16 |
QSFP112パッケージの光トランシーバーは400G DR4/FR4をQ1CY24に出荷予定です。
| PN | module type | 参考価格 |
|---|---|---|
| WS-D404-AOC | OSFP-RHS 400G AOC | 377,000円 |
| WST-OR4-DR4-C | OSFP-RHS 400G DR4 | 検討中 |
| WST-OR8-1DR4-C | OSFP-RHS 1x400G DR4 | 検討中 |
| WST-OR8-2DR4-C | OSFP-RHS 2x400G DR4 | Q1CY24 |
| WST-OR8-2FR4-C | OSFP-RHS 2x400G FR4 | Q2CY24 |
| WST-QS112-DR4-C | QSFP112 400G DR4 | Q1CY24 |
| QSFP112 400G DR4 LPO | Q2CY24 | |
| WST-QS112-FR4-C | QSFP112 400G FR4 | Q1CY24 |
HOST Interface
| 400G OSFP | 400GAUI-8 C2M | 8x56Gbps |
| 400G QSFP-DD | 400GAUI-8 C2M | 8x56Gbps |
| 400G QSFP112 | 400GAUI-4 C2M | 4x112Gbps |
| 400G OSFP-RHS | 400GAUI-4 C2M | 4x112Gbps |
| 800G OSFP-RHS | 800GAUI-8 C2M | 8x112Gbps |
Infinibandとethrnetの違い
CMISにて設定された属性情報以外。光トランシーバーの仕様としては差は有りません。
PCIe帯域の概算
PCIe 5.0 x 16は128B/130B coding 32Gbps x 16 = 504Gbpsですので400G全二重には足りません。従って、x32接続が必要になり2 slot幅を占有する事になります。
NVIDIAでは Socket-Directの名称でx32を実現しています。