映像配信などを行うサーバーは25Gbpsで上流のスイッチと接続するのが主流です。40Gでの接続も考えられますがストレージのIOや処理能力とバランスを考えると25G x 2が適切でしょう。

一対一接続

SFP28トランシーバを介しての接続になります、UTP/STPは使用できません。

 

DAC(Direct Attach Cable)

まず、二つの種類があることに注意です。IEEE 802.3byでは25GBASE-CR-Sと25GBASE-CRと表記され、SFF-8024にはCA-N/CA-S/CA-Lの三種類のタイプコードが定義されています。laneあたり25Gbpsの同じ伝送方式である100GBASE-CR4が基本的に一つであるのとは異なります。これは、ラック内のきわめて近距離の接続であれば遅延を嫌いまた消費電力の抑制を期待してFEC無しのオプションを用意しているからです。

DACの利点は何と言ってもコストです。しかし、伝送特性は不利で少しでも長くなると太いケーブルが必要になります。そのケーブルの太さがもたらすエアフローへの障害と機器のコネクタ部等へかかる負荷には注意が必要です。

多くの場合はケーブルの太さも許容できる30AWGのケーブルでFEC無しの25GBASE-CR-Sでの運用が可能で1.5m程度の接続にとどめるべきでしょう。

それ以上の長さになると、取り回しに苦労する太いケーブルにするかFECありでの運用になります。

IEEE802.3by	SFF-8024	spec	FEC type	30AWG	26AWG
25GBASE-CR-S	CA-N	12.98dB loss	no FEC	2.0m	3.0m
	CA-S	16.48dB loss	BASE-R FEC
25GBASE-CR	CA-L	22.48dBloss	RS FC	3.0m	5.0m

 

AOC(Active Optical Cable)

トランシーバーと光ファイバーが一体となったケーブルです。一般的に25G SR二個よりも安く配線も細い光ファイバーで済みます。しかし、ラックを跨ぐ場合は必ずパッチパネル経由での配線ルールである場合には使用でできません。AOCにも二つのタイプがあり、多くの場合はFEC無しの運用が可能です。(SFF-8024 type code 0x18)そのため、HPCなど遅延を嫌うサーバーの場合には近距離でも使われます。

25G SR

一番”基本”ともいえる接続方法です。25GBASE SRのトランシーバーを対向で用意し、ペアのLCコネクターが両端に付いたMMFケーブルで接続します。10Gの接続でも見慣れた構成でパッチパネルを経由することもできます。但し、接続距離には注意が必要です。OM3もしくはOM4のケーブルしか基本的には使用できません。OM2は完全に廃棄することをお勧めします。OM3を使用した場合でも最大100mですので取り回しには注意が必要です

25G LR

シングルモードファイバーを使用する接続です。マルチモードと異なり10Gの接続と距離制限がほぼ変わらないために高い自由度があります。そのぶんトランシーバーのコストは高くなります。ほとんど使われない構成でしょう。

IEEE	SFF-8024	FEC	max len
802.3 by 25GBASE-CR-S	CA-N(0x0d)	no FEC	3.0m(26AWG)
	CA-S(0x0c)	BASE-R
802.3 by 25GBASE-CR	CA-L(0x0b)	RS-FEC	5.0m(26AWG)
802.3 by 25G AOC	(0x18)	no FEC	30m(OM3)
802.3 by 25G AOC	(0x01)	RS-FEC	70M(OM3)
802.3 by 25GBASE-SR	(0x02)	RS-FEC	100m(OM4)
IEEE802.3cc 25GBASE-LR	(0x03)	RS-FEC	10km

 

ブレイクアウト接続

お勧めなのがブレイクアウトケーブルによる接続です。スイッチの処理能力が向上しているために1Uの平べったい筐体でも多数の接続ポートを持つことができるようになりました。しかし、物理的に前面パネルの面積は限られており25G対応のSFP28ポートを並べるのは48ポートがほぼ限界です。それに対し、32ポートのQSFP28ポートの機器にそれぞれのポートに対し四ポートづつ接続できるブレイクアウトケーブルを使用することによりより多くのサーバーを１Ｕの前面パネルを持つスイッチに接続できます。

上流のネットワーク機器との接続も100Gを何本束ねるか構成に自由度があります。

スイッチ側のポート単価も低減できます。AOCを使用すれば接続距離にも余裕がります。

注意する点は、ブレイクアウトケーブルは両端にトランシーバーモジュールが既に付いていますのでパッチパネルを経由させることができません。異なるラックにマウントされたスイッチに接続する場合にはラック間をまたぐ配線経路が必要になります。

PIGTAIL接続

スイッチからサーバーまでの接続距離が長い場合、もしくは接続する長さが不揃いな場合はピッグテイルと呼ばれる短いケーブルが付いた100G PSM4トランシーバーがお勧めです。これは100Gのトランシーバーに直接光ファイバーが接続され、ケーブルの先にはMPOコネクターが付いたものです。もちろん、普通のケーブルではなくMPOコネクタのPSM4トランシーバーでも同様の構成は可能ですがケーブル付のピッグテイルの方がコスト削減と故障個所の減少が期待できます。

通常は、MPOをラックにマウントされたパッチパネルに接続しパッチパネル経由でLCコネクターに分岐し25G LRトランシーバーに接続します。シングルモードなので接続距離に余裕がありますし、パッチパネル経由でケーブル長も自由自在です。

SR4/PSM4/PLR4分岐接続

基本的にはPIGTAILと同じです。パッチパネルを経由せずMPO-LC x 4のブレイクアウトファイバーを使う事もできます。

(WaveSplitterでラインナップしているPLR4は40Gのみです)

PCIバスとNIC

NICはPCIバスと介して通信を行いますので、PCIバスを何レーン使用するかによって使用できる帯域がきまります。40G x 2を生かすにはPCIe 3.0 x 16で接続する必要があります。また当然の事ながらサーバー上の処理能力を上回るインタフェースは意味がありません。

HDDでは単純な読み出し処理でも10Gbpsを出すことは困難です。SATAが6GbpsでDISK単独では7200rpmで255MB/sec程度。RAID構成にして2GB/sec出るかどうか。

しかしPCIバス接続のNVM3e SSDが使われるようになり、read 3Gbytes/sec 24Gbps程度のパフォーマンスを得ることができるようになりましたので。25G NICに移行が加速されています。40Gではまだ帯域を使いきれません。

PCI Express 3.0 8Gbps 

	lane構成	バス帯域	シリアル換算
25G x 2	PCIe 3.0 x 8	8GBytes/s	64Gbps
40G x 2	PCIe 3.0 x 16	16GBbyte/s	128Gbps
100G x 1	PCIe 3.0 x 16	16GByte/s	128Gbps

ストレージのパフォーマンス

	read実測値	BUS理論値	実測値シリアル換算
SATA HDD	100Mbyte/sec	6Gbps	800Mbps
SATA SSD	400Mbyte/sec	6Gbps	3.2Gbps
NVMe SSD	3Gbyte/sec	4GB/sec	24Gbps
NVMe SSD RAID	10Gbyte/sec	16GB/sec	80Gbps

 

25G/40G-T(IEEE802.3bq)

25GをSTP(CAT8)で30m接続可能な25GBASE-TがIEEE802.3bqにて策定されています。その内容は、10G-Tの変調レートを2.5倍にしたものであり。10G-Tの段階で消費電力が問題になっている実装方法から何も工夫がありません。その結果、2018年4月現在ではCAT8ケーブルは販売されているものの対応するNICは販売されていません。

計算上は7nmプロセスのチップ必要と見積もられています。最新の10G-Tでは14nmプロセスのチップが使われている模様ですのであと二段階先の技術です。

Links

DELLEMC 25G server Forecast

https://blog.dellemc.com/en-us/the-time-is-now-for-moving-to-25gbe/

Crehan: Early 25GbE Adoption Faster than 10GbE

http://www.convergedigest.com/2017/05/crehan-early-25gbe-adoption-faster-than.html

Fiber Optical Networking:How Far Can 25G Ethernet Go?

http://www.fiber-optical-networking.com/how-far-can-25g-ethernet-go.html