映像配信などを行うサーバーは25Gbpsで上流のスイッチと接続するのが主流です。40Gでの接続も考えられますがストレージのIOや処理能力とバランスを考えると25G x 2が適切でしょう。
一対一接続
SFP28トランシーバを介しての接続になります、UTP/STPは使用できません。
DAC(Direct Attach Cable)
ケーブルのコストが一番安いのがCOAXケーブル付きトランシーバーによる接続です。5mのものもありますが26AWGととても太いケーブルになり曲がりにくくコネクター部にも負担がかかるため使いにくいものです。2mですと30AWGなので許容できます。DACは最大で2mと考えた方が良いでしょう。
IEEE802.3by 25GBASE-CR
AOC(Active Optical Cable)
トランシーバーと光ファイバーが一体となったケーブルです。一般的に25G SR二個よりも安く配線も細い光ファイバーで済みます。しかし、後で登場するブレイクアウト接続などもあるためそれほど多くは使われません。
25G SR
一番”基本”ともいえる接続方法です。25GBASE SRのトランシーバーを対向で用意し、ペアのLCコネクターが両端に付いたMMFケーブルで接続します。10Gの接続でも見慣れた構成でパッチパネルを経由することもできます。但し、接続距離には注意が必要です。OM3もしくはOM4のケーブルしか基本的には使用できません。OM2は完全に廃棄することをお勧めします。OM3を使用した場合でも最大100mですので取り回しには注意が必要です
IEEE802.3by
25G LR
シングルモードファイバーを使用する接続です。マルチモードと異なり10Gの接続と距離制限がほぼ変わらないために高い自由度があります。そのぶんトランシーバーのコストは高くなります。ほとんど使われない構成でしょう。
IEEE802.3cc
ブレイクアウト接続
お勧めなのがブレイクアウトケーブルによる接続です。スイッチの処理能力が向上しているために1Uの平べったい筐体でも多数の接続ポートを持つことができるようになりました。しかし、物理的に前面パネルの面積は限られており25G対応のSFP28ポートを並べるのは48ポートがほぼ限界です。それに対し、32ポートのQSFP28ポートの機器にそれぞれのポートに対し四ポートづつ接続できるブレイクアウトケーブルを使用することによりより多くのサーバーを1Uの前面パネルを持つスイッチに接続できます。
上流のネットワーク機器との接続も100Gを何本束ねるか構成に自由度があります。
スイッチ側のポート単価も低減できます。AOCを使用すれば接続距離にも余裕がります。
注意する点は、ブレイクアウトケーブルは両端にトランシーバーモジュールが既に付いていますのでパッチパネルを経由させることができません。異なるラックにマウントされたスイッチに接続する場合にはラック間をまたぐ配線経路が必要になります。
PIGTAIL接続
スイッチからサーバーまでの接続距離が長い場合、もしくは接続する長さが不揃いな場合はピッグテイルと呼ばれる短いケーブルが付いた100G PSM4トランシーバーがお勧めです。これは100Gのトランシーバーに直接光ファイバーが接続され、ケーブルの先にはMPOコネクターが付いたものです。もちろん、普通のケーブルではなくMPOコネクタのPSM4トランシーバーでも同様の構成は可能ですがケーブル付のピッグテイルの方がコスト削減と故障個所の減少が期待できます。
通常は、MPOをラックにマウントされたパッチパネルに接続しパッチパネル経由でLCコネクターに分岐し25G LRトランシーバーに接続します。シングルモードなので接続距離に余裕がありますし、パッチパネル経由でケーブル長も自由自在です。
SR4/PSM4/PLR4分岐接続
基本的にはPIGTAILと同じです。パッチパネルを経由せずMPO-LC x 4のブレイクアウトファイバーを使う事もできます。
(WaveSplitterでラインナップしているPLR4は40Gのみです)
PCIバスとNIC
NICはPCIバスと介して通信を行いますので、PCIバスを何レーン使用するかによって使用できる帯域がきまります。40G x 2を生かすにはPCIe 3.0 x 16で接続する必要があります。また当然の事ながらサーバー上の処理能力を上回るインタフェースは意味がありません。
HDDでは単純な読み出し処理でも10Gbpsを出すことは困難です。SATAが6GbpsでDISK単独では7200rpmで255MB/sec程度。RAID構成にして2GB/sec出るかどうか。
しかしPCIバス接続のNVM3e SSDが使われるようになり、read 3Gbytes/sec 24Gbps程度のパフォーマンスを得ることができるようになりましたので。25G NICに移行が加速されています。40Gではまだ帯域を使いきれません。
PCI Express 3.0 8Gbps
lane構成 | バス帯域 | シリアル換算 | |
---|---|---|---|
25G x 2 | PCIe 3.0 x 8 | 8GBytes/s | 64Gbps |
40G x 2 | PCIe 3.0 x 16 | 16GBbyte/s | 128Gbps |
100G x 1 | PCIe 3.0 x 16 | 16GByte/s | 128Gbps |
ストレージのパフォーマンス
read実測値 | BUS理論値 | 実測値シリアル換算 | |
---|---|---|---|
SATA HDD | 100Mbyte/sec | 6Gbps | 800Mbps |
SATA SSD | 400Mbyte/sec | 6Gbps | 3.2Gbps |
NVMe SSD | 3Gbyte/sec | 4GB/sec | 24Gbps |
NVMe SSD RAID | 10Gbyte/sec | 16GB/sec | 80Gbps |
25G/40G-T(IEEE802.3bq)
25GをSTP(CAT8)で30m接続可能な25GBASE-TがIEEE802.3bqにて策定されています。その内容は、10G-Tの変調レートを2.5倍にしたものであり。10G-Tの段階で消費電力が問題になっている実装方法から何も工夫がありません。その結果、2018年4月現在ではCAT8ケーブルは販売されているものの対応するNICは販売されていません。
計算上は7nmプロセスのチップ必要と見積もられています。最新の10G-Tでは14nmプロセスのチップが使われている模様ですのであと二段階先の技術です。
Links
DELLEMC 25G server Forecast
https://blog.dellemc.com/en-us/the-time-is-now-for-moving-to-25gbe/
Crehan: Early 25GbE Adoption Faster than 10GbE
http://www.convergedigest.com/2017/05/crehan-early-25gbe-adoption-faster-than.html
Fiber Optical Networking:How Far Can 25G Ethernet Go?
http://www.fiber-optical-networking.com/how-far-can-25g-ethernet-go.html