400Gから4x100G breakout接続の障害事例

既存の100Gを中心とした機材と400G対応の機材を接続するときに必要になる400Gから4x100Gへのbreakout接続ですがいくつか注意点があります。

FAN OUTケーブル

物理的に一つのポートから４つに分岐するケーブルがまず必要になります。このケーブルは100Gから4x25Gへ分岐するものと基本的に同じです。名称については各ベンダーにより異なりブレイクアウトケーブルもしくはファンアウトケーブルと呼ばれています。

• 400G DR4からの４分岐：MPO-12 APC SMFから4xLC-DUP SMFへの分岐
• 400G SR4からの４分岐：MPO-12 APC MMFから4xLC-DUP MMFへの分岐、100G SR4用のMPO-12はUPC研磨なので厳密には流用不可。

ケーブルではなく、分岐カセットを使う方法もあります。

理論的には波長多重である400G FR4でも、波長スプリッタで分岐しCWDM波長対応の100G光トランシーバーがあれば分岐可能です。実際に運用する事はないでしょう。

QSFP28固有の問題

4x25Gの電気信号を受け取り100G per laneの光に変換するQSFP28の100G DR/FR1/LR1は単純な電気信号と光の変換機能ではありません。まず、25Gを束ねて100Gにする速度変換機能(GEARBOX)を備えています。そして、QSFP28対応機器では対応していないFEC方式 RS(544,514)もトランシーバー内部で処理します。

その為に、QSFP28機器側のFEC機能は無効にする必要があります。多くの機器はFECに関しては"auto"設定がありますが100G DR/FR1/LR1を刺した時にnone FECになる機器は2024年時点では稀でした。明示的にnone FECを設定する事を強く推奨します。

100G NIC接続の場合

スイッチ間の接続ではなく、100G側が何らかのアプライアンス機器やサーバーであることもあるでしょう。この時もQSFP28が2026年時点では一般的だと思います。

基本的な接続に必要な要素はスイッチ間と変わらないのですが、サーバー用のNICの場合はFECの設定がわかりにくい場合が多い様です。

Linux系のCLIであれば、

• mlxlinkで確認する：mlxlink --show_fec
• mlxlinkで設定する：mlxlink -fec 
• ethtoolで確認する：ethtool --show-fec
• ethtoolで設定する：ethtool --set-fec encoding off

SFP112の場合

2026年８月時点ではSFP112対応NICは市場に見かけませんが、QSFP28とは異なり何も変換機能を備えていませんのでシンプルに運用できるはずです。

実際の機器の設定例

• Mikrotik RouterOS(7.24.2) QSFP56-DD port
  • 設定項目は400Gの物理ポートに対し、8lane分あり、1,3,5,7の設定をautoを無効にし"100G baseSR2 LR2"にする。2,4,6,8はautoのまま。
  • FEC modeは"auto"で構わない。
• ​​​​​​QNAP　QSW-M7308E-4X(Pro 4.4.3)
  • ポート管理項目でFECを”無効”設定を行う。デフォルトの”自動ネゴシエーション”ではlinkが上がりません。
• Broadcom P14000 NIC
• Mellanox CX4/5/6
  • sudo ethtool --set-fec enp1s0np0 encoding off
  • sudo mlxlink -d /dev/mst/mt4115_pciconf0 -p 1 --fec nf --fec_speed 100g

100G NICのFECがoffにならない（追記中)

ethtoolでFECをOFFにしてshowでもoffを表示を確認しても実際にはFECにならない事例の報告を受けています。詳細は調査中。

sudo mlxlink -d /dec/mst/mt4115_pciconf0 -p 1 --fec nf --fec_speed 100G

Erros
------
Seding PPLM(Configuring port FEC)raised the following exception:
NF FEC is not supported in 100g speed, valid FEC configuration are[AU(Auto-FEC)/RS(RS-FEC (
528,514))]

"FEC Capability Info"の項目に、FEC Cpability 100GbE:0x4 (RS-FEC(528,514))しかない。他の速度には"No-FEC"がある。

NICの供給電力制限

CX4等の旧型の100G NICはQSFP28への供給電力に制限(3.5W)があり、消費電力が大きい100G DR(4.0W)は"Power budget exceeded."スタータスになり正常に動作しません。この状態はmlxlinkコマンド、もしくはLEDのオレンジ長期周期点滅で確認できます。

NIC FEC autoの挙動

CX4のFEC auto設定の挙動をQNAP対向で試験を行うと、QNAP側もauto(自動ネゴシエーション)設定にしないとlinkが上がりません。autoであるならば対向が固定設定であっても追従すると解釈するのは誤りの様です。

Mikrotik(CRS804)対向では、CX4側がautoの時にCRS側がautoではlink upしません、cl91(RS-FEC)に設定すればlink upします。

FEC autoの運用は推奨しません。