映像配信などを行うサーバーは25Gbpsで上流のスイッチと接続するのが主流です。40Gでの接続も考えられますがストレージのIOや処理能力とバランスを考えると25G x 2が適切でしょう。

一対一接続

SFP28トランシーバを介しての接続になります、UTP/STPは使用できません。

DAC(Direct Attach Cable)

ケーブルのコストが一番安いのがCOAXケーブル付きトランシーバーによる接続です。5mのものもありますが26AWGととても太いケーブルになり曲がりにくくコネクター部にも負担がかかるため使いにくいものです。2mですと30AWGなので許容できます。DACは最大で2mと考えた方が良いでしょう。

IEEE802.3by 25GBASE-CR

AOC(Active Optical Cable)

トランシーバーと光ファイバーが一体となったケーブルです。一般的に25G SR二個よりも安く配線も細い光ファイバーで済みます。しかし、後で登場するブレイクアウト接続などもあるためそれほど多くは使われません。

25G SR

一番”基本”ともいえる接続方法です。25GBASE SRのトランシーバーを対向で用意し、ペアのLCコネクターが両端に付いたMMFケーブルで接続します。10Gの接続でも見慣れた構成でパッチパネルを経由することもできます。但し、接続距離には注意が必要です。OM3もしくはOM4のケーブルしか基本的には使用できません。OM2は完全に廃棄することをお勧めします。OM3を使用した場合でも最大100mですので取り回しには注意が必要です

IEEE802.3by

25G LR

シングルモードファイバーを使用する接続です。マルチモードと異なり10Gの接続と距離制限がほぼ変わらないために高い自由度があります。そのぶんトランシーバーのコストは高くなります。ほとんど使われない構成でしょう。

IEEE802.3cc

ブレイクアウト接続

お勧めなのがブレイクアウトケーブルによる接続です。スイッチの処理能力が向上しているために1Uの平べったい筐体でも多数の接続ポートを持つことができるようになりました。しかし、物理的に前面パネルの面積は限られており25G対応のSFP28ポートを並べるのは48ポートがほぼ限界です。それに対し、32ポートのQSFP28ポートの機器にそれぞれのポートに対し四ポートづつ接続できるブレイクアウトケーブルを使用することによりより多くのサーバーを１Ｕの前面パネルを持つスイッチに接続できます。

上流のネットワーク機器との接続も100Gを何本束ねるか構成に自由度があります。

スイッチ側のポート単価も低減できます。AOCを使用すれば接続距離にも余裕がります。

注意する点は、ブレイクアウトケーブルは両端にトランシーバーモジュールが既に付いていますのでパッチパネルを経由させることができません。異なるラックにマウントされたスイッチに接続する場合にはラック間をまたぐ配線経路が必要になります。

PIGTAIL接続

スイッチからサーバーまでの接続距離が長い場合、もしくは接続する長さが不揃いな場合はピッグテイルと呼ばれる短いケーブルが付いた100G PSM4トランシーバーがお勧めです。これは100Gのトランシーバーに直接光ファイバーが接続され、ケーブルの先にはMPOコネクターが付いたものです。もちろん、普通のケーブルではなくMPOコネクタのPSM4トランシーバーでも同様の構成は可能ですがケーブル付のピッグテイルの方がコスト削減と故障個所の減少が期待できます。

通常は、MPOをラックにマウントされたパッチパネルに接続しパッチパネル経由でLCコネクターに分岐し25G LRトランシーバーに接続します。シングルモードなので接続距離に余裕がありますし、パッチパネル経由でケーブル長も自由自在です。

SR4/PSM4/PLR4分岐接続

基本的にはPIGTAILと同じです。パッチパネルを経由せずMPO-LC x 4のブレイクアウトファイバーを使う事もできます。

(WaveSplitterでラインナップしているPLR4は40Gのみです)

PCIバスとNIC

NICはPCIバスと介して通信を行いますので、PCIバスを何レーン使用するかによって使用できる帯域がきまります。40G x 2を生かすにはPCIe 3.0 x 16で接続する必要があります。また当然の事ながらサーバー上の処理能力を上回るインタフェースは意味がありません。

HDDでは単純な読み出し処理でも10Gbpsを出すことは困難です。SATAが6GbpsでDISK単独では7200rpmで255MB/sec程度。RAID構成にして2GB/sec出るかどうか。

しかしPCIバス接続のNVM3e SSDが使われるようになり、read 3Gbytes/sec 24Gbps程度のパフォーマンスを得ることができるようになりましたので。25G NICに移行が加速されています。40Gではまだ帯域を使いきれません。

PCI Express 3.0 8Gbps 

	lane構成	バス帯域	シリアル換算
25G x 2	PCIe 3.0 x 8	8GBytes/s	64Gbps
40G x 2	PCIe 3.0 x 16	16GBbyte/s	128Gbps
100G x 1	PCIe 3.0 x 16	16GByte/s	128Gbps

ストレージのパフォーマンス

	read実測値	BUS理論値	実測値シリアル換算
SATA HDD	100Mbyte/sec	6Gbps	800Mbps
SATA SSD	400Mbyte/sec	6Gbps	3.2Gbps
NVMe SSD	3Gbyte/sec	4GB/sec	24Gbps
NVMe SSD RAID	10Gbyte/sec	16GB/sec	80Gbps

 

25G/40G-T(IEEE802.3bq)

25GをSTP(CAT8)で30m接続可能な25GBASE-TがIEEE802.3bqにて策定されています。その内容は、10G-Tの変調レートを2.5倍にしたものであり。10G-Tの段階で消費電力が問題になっている実装方法から何も工夫がありません。その結果、2018年4月現在ではCAT8ケーブルは販売されているものの対応するNICは販売されていません。

計算上は7nmプロセスのチップ必要と見積もられています。最新の10G-Tでは14nmプロセスのチップが使われている模様ですのであと二段階先の技術です。

Links

DELLEMC 25G server Forecast

https://blog.dellemc.com/en-us/the-time-is-now-for-moving-to-25gbe/

Crehan: Early 25GbE Adoption Faster than 10GbE

http://www.convergedigest.com/2017/05/crehan-early-25gbe-adoption-faster-than.html

Fiber Optical Networking:How Far Can 25G Ethernet Go?

http://www.fiber-optical-networking.com/how-far-can-25g-ethernet-go.html