疎結合のクラスターコンピューティングのノード間の接続には様々な技術が使われています。古くはMyrinet、infiniband, omnipathです。これらのインターコネクトと呼ばれる技術はイーサネット及びTCP/IPの接続に比べて遅延の面で有利でありコストとの兼ね合いで選択されます。

使用されるコネクター及びケーブルはほぼethernetと共通です。同軸ケーブルを使用するDACも利用可能ですが、高密度の配線にはケーブルの太さが大きな障害になります。そのため、光ファイバーを使用するAOCが良く利用されています。

2010年東工大のTSUBAME2.0にはinfiniband QDRが使われています。

2017年8月に稼働開始した東工大のTSUBAME3.0にもomnipathが使われています。2160port。

 

100G

ethernet

infiniband

EDR 4X

omnipath
latency 10μs前後 1μs 1μs以下
bandwidth 100Gbps 104Gbps 100Gbps
MPI rate   150mmps 160mmps
DAC(copper) maxlen   5m 3m
PCI bus PCI PCI PCIe x 16
interface QSFP28 QSFP28 QSFP28
standard IEEE IBTA  
main vendor   Mellanox Intel

 

各社のomnipath用AOC

  Intel DELL HPE WaveSplitter
0.5m $726      
5m 100FRRF0050      
10m $739
470-ABYK
(159,000円)
$ 1199.00
WST-QS28 -AOC C103 
¥206,000
20m 100FRRF0200  
830025-B27
 $ 1229.00
 
30m 100FRRF0300  
 ($ 1249.00)
 
50m 100FRRF0500 $788
470-ABYX
(150,000円)
 
WST-QS28 -AOC C503
 ¥243,000
100m $1392
470-ABYJ
(259,000円)
  WST-QS28 -AOC CH03

 

iWARP

GAMMA/MPI

光ファイバーの伝搬速度

20cm/ns

2m/μs


コメント欄を読み込み中