映像配信などを行うサーバーは25Gbpsで上流のスイッチと接続するのが主流です。40Gでの接続も考えられますがストレージのIOや処理能力とバランスを考えると25G x 2が適切でしょう。
一対一接続
SFP28トランシーバを介しての接続になります、UTP/STPは使用できません。
DAC(Direct Attach Cable)
まず、二つの種類があることに注意です。IEEE 802.3byでは25GBASE-CR-Sと25GBASE-CRと表記され、SFF-8024にはCA-N/CA-S/CA-Lの三種類のタイプコードが定義されています。laneあたり25Gbpsの同じ伝送方式である100GBASE-CR4が基本的に一つであるのとは異なります。これは、ラック内のきわめて近距離の接続であれば遅延を嫌いまた消費電力の抑制を期待してFEC無しのオプションを用意しているからです。
DACの利点は何と言ってもコストです。しかし、伝送特性は不利で少しでも長くなると太いケーブルが必要になります。そのケーブルの太さがもたらすエアフローへの障害と機器のコネクタ部等へかかる負荷には注意が必要です。
多くの場合はケーブルの太さも許容できる30AWGのケーブルでFEC無しの25GBASE-CR-Sでの運用が可能で1.5m程度の接続にとどめるべきでしょう。
それ以上の長さになると、取り回しに苦労する太いケーブルにするかFECありでの運用になります。
| IEEE802.3by | SFF-8024 | spec | FEC type | 30AWG | 26AWG |
|---|---|---|---|---|---|
| 25GBASE-CR-S | CA-N | 12.98dB loss | no FEC | 2.0m | 3.0m |
| CA-S | 16.48dB loss | BASE-R FEC | |||
| 25GBASE-CR | CA-L | 22.48dBloss | RS FC | 3.0m | 5.0m |
AOC(Active Optical Cable)
トランシーバーと光ファイバーが一体となったケーブルです。一般的に25G SR二個よりも安く配線も細い光ファイバーで済みます。しかし、ラックを跨ぐ場合は必ずパッチパネル経由での配線ルールである場合には使用でできません。AOCにも二つのタイプがあり、多くの場合はFEC無しの運用が可能です。(SFF-8024 type code 0x18)そのため、HPCなど遅延を嫌うサーバーの場合には近距離でも使われます。
25G SR
一番”基本”ともいえる接続方法です。25GBASE SRのトランシーバーを対向で用意し、ペアのLCコネクターが両端に付いたMMFケーブルで接続します。10Gの接続でも見慣れた構成でパッチパネルを経由することもできます。但し、接続距離には注意が必要です。OM3もしくはOM4のケーブルしか基本的には使用できません。OM2は完全に廃棄することをお勧めします。OM3を使用した場合でも最大100mですので取り回しには注意が必要です
25G LR
シングルモードファイバーを使用する接続です。マルチモードと異なり10Gの接続と距離制限がほぼ変わらないために高い自由度があります。そのぶんトランシーバーのコストは高くなります。ほとんど使われない構成でしょう。
| IEEE | SFF-8024 | FEC | max len |
|---|---|---|---|
| 802.3 by 25GBASE-CR-S | CA-N(0x0d) | no FEC | 3.0m(26AWG) |
| CA-S(0x0c) | BASE-R | ||
| 802.3 by 25GBASE-CR | CA-L(0x0b) | RS-FEC | 5.0m(26AWG) |
| 802.3 by 25G AOC | (0x18) | no FEC | 30m(OM3) |
| 802.3 by 25G AOC | (0x01) | RS-FEC | 70M(OM3) |
| 802.3 by 25GBASE-SR | (0x02) | RS-FEC | 100m(OM4) |
| IEEE802.3cc 25GBASE-LR | (0x03) | RS-FEC | 10km |
ブレイクアウト接続
お勧めなのがブレイクアウトケーブルによる接続です。スイッチの処理能力が向上しているために1Uの平べったい筐体でも多数の接続ポートを持つことができるようになりました。しかし、物理的に前面パネルの面積は限られており25G対応のSFP28ポートを並べるのは48ポートがほぼ限界です。それに対し、32ポートのQSFP28ポートの機器にそれぞれのポートに対し四ポートづつ接続できるブレイクアウトケーブルを使用することによりより多くのサーバーを１Ｕの前面パネルを持つスイッチに接続できます。
上流のネットワーク機器との接続も100Gを何本束ねるか構成に自由度があります。
スイッチ側のポート単価も低減できます。AOCを使用すれば接続距離にも余裕がります。
注意する点は、ブレイクアウトケーブルは両端にトランシーバーモジュールが既に付いていますのでパッチパネルを経由させることができません。異なるラックにマウントされたスイッチに接続する場合にはラック間をまたぐ配線経路が必要になります。
PIGTAIL接続
スイッチからサーバーまでの接続距離が長い場合、もしくは接続する長さが不揃いな場合はピッグテイルと呼ばれる短いケーブルが付いた100G PSM4トランシーバーがお勧めです。これは100Gのトランシーバーに直接光ファイバーが接続され、ケーブルの先にはMPOコネクターが付いたものです。もちろん、普通のケーブルではなくMPOコネクタのPSM4トランシーバーでも同様の構成は可能ですがケーブル付のピッグテイルの方がコスト削減と故障個所の減少が期待できます。
通常は、MPOをラックにマウントされたパッチパネルに接続しパッチパネル経由でLCコネクターに分岐し25G LRトランシーバーに接続します。シングルモードなので接続距離に余裕がありますし、パッチパネル経由でケーブル長も自由自在です。
SR4/PSM4/PLR4分岐接続
基本的にはPIGTAILと同じです。パッチパネルを経由せずMPO-LC x 4のブレイクアウトファイバーを使う事もできます。
(WaveSplitterでラインナップしているPLR4は40Gのみです)
PCIバスとNIC
NICはPCIバスと介して通信を行いますので、PCIバスを何レーン使用するかによって使用できる帯域がきまります。40G x 2を生かすにはPCIe 3.0 x 16で接続する必要があります。また当然の事ながらサーバー上の処理能力を上回るインタフェースは意味がありません。
HDDでは単純な読み出し処理でも10Gbpsを出すことは困難です。SATAが6GbpsでDISK単独では7200rpmで255MB/sec程度。RAID構成にして2GB/sec出るかどうか。
しかしPCIバス接続のNVM3e SSDが使われるようになり、read 3Gbytes/sec 24Gbps程度のパフォーマンスを得ることができるようになりましたので。25G NICに移行が加速されています。40Gではまだ帯域を使いきれません。
PCI Express 3.0 8Gbps
| lane構成 | バス帯域 | シリアル換算 | |
|---|---|---|---|
| 25G x 2 | PCIe 3.0 x 8 | 8GBytes/s | 64Gbps |
| 40G x 2 | PCIe 3.0 x 16 | 16GBbyte/s | 128Gbps |
| 100G x 1 | PCIe 3.0 x 16 | 16GByte/s | 128Gbps |
ストレージのパフォーマンス
| read実測値 | BUS理論値 | 実測値シリアル換算 | |
|---|---|---|---|
| SATA HDD | 100Mbyte/sec | 6Gbps | 800Mbps |
| SATA SSD | 400Mbyte/sec | 6Gbps | 3.2Gbps |
| NVMe SSD | 3Gbyte/sec | 4GB/sec | 24Gbps |
| NVMe SSD RAID | 10Gbyte/sec | 16GB/sec | 80Gbps |
25G/40G-T(IEEE802.3bq)
25GをSTP(CAT8)で30m接続可能な25GBASE-TがIEEE802.3bqにて策定されています。その内容は、10G-Tの変調レートを2.5倍にしたものであり。10G-Tの段階で消費電力が問題になっている実装方法から何も工夫がありません。その結果、2018年4月現在ではCAT8ケーブルは販売されているものの対応するNICは販売されていません。
計算上は7nmプロセスのチップ必要と見積もられています。最新の10G-Tでは14nmプロセスのチップが使われている模様ですのであと二段階先の技術です。
主要スイッチベンダー純正25G DAC/AOCの仕様調査
| type | cisco | juniper | mellanox | ARISTA |
|---|---|---|---|---|
| 0.5m DAC | NO FEC | |||
| 1.0 m DAC | NO FEC | NO FEC | NO FEC | |
| 1.5m DAC | NO FEC | NO FEC | ||
| 2.0 m DAC | NO FEC | NO FEC | NO FEC | |
| 2.5 m DAC | BASE-R | NO FEC/RS FEC | ||
| 3.0m DAC | BASE-R | NO FEC/RS FEC | NO FEC | |
| 4.0m DAC | RS-FEC | RS FEC | ||
| 5.0m DAC | RS-FEC | RS FEC | RS FEC | |
| 1.0m AOC | BASE-R | |||
| 2.0m AOC | BASE-R | |||
| 3.0m AOC | BASE-R | |||
| 4.0m AOC | BASE-R | |||
| 5.0m AOC | BASE-R | |||
| 7.0m AOC | BASE-R | |||
| 10.0m AOC | BASE-R |
Links
DELLEMC 25G server Forecast
https://blog.dellemc.com/en-us/the-time-is-now-for-moving-to-25gbe/
Crehan: Early 25GbE Adoption Faster than 10GbE
http://www.convergedigest.com/2017/05/crehan-early-25gbe-adoption-faster-than.html
Fiber Optical Networking:How Far Can 25G Ethernet Go?
http://www.fiber-optical-networking.com/how-far-can-25g-ethernet-go.html