40G/100Gのお話、一部25G

速度が違う

QSFP28(100G)にQSFP+(40G)のトランシーバーを刺した時に、機器側が正しく40Gと認識していない場合。

EdgeOS

interface ethernet xx
   no nego
   speed 40g

SFP+(10G)にSFP(1G)を刺した場合

NX-OS

Cumulus

$ net add interface swp1 link speed 10000
$ net add interface swp1 link autoneg off

ARISTA/EOS

speed forced 100gfull

FECが違う

100G LR4はFEC無しが標準、SR4/CWDM4は有りが標準。トランシーバーのタイプによってモードを切り替える実装が多いが4WDMなど新しい仕様の場合該当するテーブルが無く正しく設定されない場合がある。

Device 1 (Admin State)
Device 2 (Admin State)
Link State
FEC AUTO
FEC OFF
Down
FEC AUTO
FEC AUTO
UP
FEC OFF
FEC OFF
UP
FEC cl91
FEC AUTO
UP
FEC cl91
FEC cl91
UP
FEC cl91
FEC OFF
Down

EdgeOS

no negotiation
fec rs
no fec

NX-OS

interface xx
fec {auto | cl91 | off}

junos

fec {fec91 | none}

Cumulus

$ net add interface swp1 link fec {rs | off}
  • The QLogic 100G NICs default to Auto-Neg with FEC mode determined by Auto Negotiation.
  • The QLogic 100G NIC, in Forced 100G mode, the RS-FEC is not enabled unless specifically done in UEFI HII (on the new NIC FW) or via QeDiag.
  • TomaHawk Internal QSFP28 PHY logic supports RS-FEC only on quad lane 100G but not on single lane 25G or dual lane 50G.

フロー制御

IEEE802.3x。基本disable。1000BASEの名残。

PFC(Priority flow control)

IEEE 802.1bb。基本auto、linkのup/fownに関係なし

インターフェス構成が違う

QSFP+/QSFP28は4本の独立したインターフェースとみなす「ブレイクアウト」構成ができます。通常の4 laneで一つとみなす設定と対向で合っていなければなりません。

EdgsOS

hardware profile portmode ethernet 1/1 4x10g

Cumulus

cumulus@switch:~$ net add interface swp3 breakout 4x
cumulus@switch:~$ net add interface swp3s0-3 link speed 25000
cumulus@switch:~$ net pending
cumulus@switch:~$ net commit

障害対処手順例

  1. ブレイクアウト構成を確認する
  2. 速度認識を確認する
  3. FECの設定を確認する
  4. 光の受信レベルを確認する

AOS/EdgeOS

show hardware profile portmode
AS7712-A#sh int status ether 1/2
Information of Eth 1/2
 Basic Information:
  Port Type                   : 100GBASEQSFP
  MAC Address                 : A8-2B-B5-37-E4-FA
 Configuration:
  Port Admin                  : Up
  Speed-duplex                : Auto
  Capabilities                : 40Gfull, 100Gfull
  FEC Mode                    : RS-FEC

Cisco/NX-OS

switch# show interface Ethernet1/2
(cut)
admin fec state is auto, oper fec state is off

Juniter/Junos

show interfaces diagnostics optics

ARISTA/EOS

show transceiver hardware
show phy detail

Forward Error Correction None
Forward Error Correction Reed-Solomon

Cumulus

cumulus@switch:~$ net show interface swp1
cumulus@switch:~# sudo ethtool -m 
  NOS CLI

受信光レベルの

確認

EdgeOS show interface transceiver ethernet
IOS show nterfaces transceiver
IOS-XR show controllers TenGigE 
NX-OS  
Junos show interface diagnotics optics
EOS  
Cumulus ethtool -m

FECの

確認

EdgeOS show interface status ethernet
NX-OS show interface ethernet
Junos  
EOS show phy detail
Cumulus ethtool --show-fec swp1
     

 

fec clause 74(base-r)と91(rs)

Clause 74 BASE-R FEC、Fire-Code FEC(FC-FEC)、エラー訂正はRS-FECより弱いですが、遅延はRS-FECより低くなります。

Clause 74 BER 10E-12 to 10E-19

• Summarizing, total FEC latency constraints can be

– 40 GE: 6144*4 bit times = 596ns

– 100 GE: (6144 + 2112)* 10 bit times = 801ns

Clause 91

BER 10E-5 

cisco Lane serector

ブレイクアウトした場合に、LEDがどのインターフェースのステータスを示しているのかわからなくなるために。cisco Nexusにはレーンセレクタスイッチがある。「LS」とラベルされておりこれを押すと4レーンのそれぞれのステータスがLEDに反映される。

Links

https://cumulusnetworks.com/blog/100g-25g-plugfests-learned/


コメント欄を読み込み中