疎結合のクラスターコンピューティングのノード間の接続には様々な技術が使われています。古くはMyrinet、infiniband, omnipathです。これらのインターコネクトと呼ばれる技術はイーサネット及びTCP/IPの接続に比べて遅延の面で有利でありコストとの兼ね合いで選択されます。
使用されるコネクター及びケーブルはほぼethernetと共通です。同軸ケーブルを使用するDACも利用可能ですが、高密度の配線にはケーブルの太さが大きな障害になります。そのため、光ファイバーを使用するAOCが良く利用されています。
2010年東工大のTSUBAME2.0にはinfiniband QDRが使われています。
2017年８月に稼働開始した東工大のTSUBAME3.0にもomnipathが使われています。2160port。
|
100G ethernet |
infiniband EDR 4X |
omnipath | |
|---|---|---|---|
| latency | 10μs前後 | 1μs | 1μs以下 |
| bandwidth | 100Gbps | 104Gbps | 100Gbps |
| MPI rate | 150mmps | 160mmps | |
| DAC(copper) maxlen | 5m | 3m | |
| PCI bus | PCI | PCI | PCIe x 16 |
| interface | QSFP28 | QSFP28 | QSFP28 |
| standard | IEEE | IBTA | |
| main vendor | Mellanox | Intel |
各社のomnipath用AOC
| Intel | DELL | HPE | WaveSplitter | |
|---|---|---|---|---|
| 0.5m | $726 | |||
| 5m | 100FRRF0050 | |||
| 10m | $739 |
470-ABYK
(159,000円)
|
$ 1199.00
|
WST-QS28 -AOC C103
¥206,000
|
| 20m | 100FRRF0200 |
830025-B27
$ 1229.00
|
||
| 30m | 100FRRF0300 |
($ 1249.00)
|
||
| 50m | 100FRRF0500 $788 |
470-ABYX
(150,000円)
|
WST-QS28 -AOC C503
¥243,000
|
|
| 100m | $1392 |
470-ABYJ
(259,000円)
|
WST-QS28 -AOC CH03 |
iWARP
GAMMA/MPI
光ファイバーの伝搬速度
20cm/ns
2m/μs
コメント欄を読み込み中