2025-01-22 SONiC まとめ

Dell Enterprise 版 SONiC について色々調べたのでまとめました。

所感

メリット

• sonic-cli で Cisco ライクな CLI が使える

デメリット

• 設定方法が複数あってわかりにくい
  • /etc/sonic/config_db.json を編集して、sudo config reload -y -f でコンフィグ リロード
  • vtysh で変更
  • sonic-cli で変更

TIPS

CLI モードの変更

sonic-cli で Cisco ライク CLI に変更可能。

Community 版と Enterprise 版で充実度合いが全く異なっており、Community 版はほぼ使い物にならない印象。

Enterprise 版は Cisco 屋なら色々設定できるレベルで、ある程度コマンドが揃ってきている。

ただし各社で結構コマンドの実装が異なるらしい。

ZTP 無効化

configure terminal
no ztp enable
end

インターフェースの名前ルールを変更可能

デフォルトはネイティブモードで動作しているが、スタンダードモードに変更が可能

インターフェース ネーミング

変更コマンド	インターフェース表記
interface-naming native	Ethernet 0
interface-naming standard	Ethernet 1/1

参考 URL

Dell Networking Sシリーズ：基本のインターフェイス設定 – SONIC 4.0

対応するインターフェースでブレークアウト可能

インターフェース ブレークアウト

40G -> 4x10G 変更コマンド例	インターフェース表記
設定なし	Ethernet 0 1-3 は使用不可
interface breakout port 1/1 mode 4x10G	Ethernet 0 Ethernet 1 Ethernet 2 Ethernet 3

ブレークアウトしない場合、Ethernet 0 , Ethernet 4 のように 4 つ飛ばしで設定することになる。

• 個人的にはわかりにくいため、interface-naming standard で Eth1/1/1 のように枝番が追加される方が好み

400G ポートに QSFP28 トランシーバを挿して 100G で使いたいときは、1x100G モードに変更が必要な場合がある。

• auto-breakout 未設定時

FEC

デフォルトで無効化されている (機種により異なるかも) 。有効化された機器と接続した場合、リンクアップしない。

RoCEv2 (RDMA over Converged Ethernet version 2)

RoCEv1 では InifiniBand を L2 フレームに載せたフォーマットであったため、イーサネットでは同一 L3 セグメント内でのみ動作したが、RoCEv2 で IP/UDP で動作するよう改善された。

QoS のように優先制御する仕組みが複数存在し、組み合わせて使用する。

• RDMA : Remote Direct Memory Access

ECN (Explicit Congestion Notification)

輻輳検知した時、最初に動作する。

• バッファ閾値を超えた場合、パケットの ECN ビットをマーキングして、受信側に通知
  • 経路途中のスイッチがマーキングする

• 受信側が CNP (Congestion Notification Packets) で送信側に通知
  • ここは絶対優先キューに入るようにして、パケットドロップされないようにする機器が多いらしい

• 送信側が送信レートの調整を行う

PFC (Priority Flow Control)

輻輳を検知し、ECN でも対応できない場合、その次に動作する。

• 輻輳が発生したトラフィッククラスのキューから Pause フレームを隣接ノードに送信

• Pause フレームを受信したノードは対応するトラフィッククラスのキューからフレーム送信を一時停止する

ETS (Enhanced Transmission Selection)

最近は使われなくなってきている模様。

DCBX (Data Center Bridging Exchange) Protocol

こちらも同様に使われなくなってきているらしい。

UDP ポート番号

宛先 1021 or 4791 番を使用する。今は 4791 番のみと思われる。

400G 世代のスイッチ

400G 世代のスイッチは 1G でリンクアップしないのが一般的なため、要注意。(コスト的にやらないと思われるが・・・)

リファレンス

OSSで実現するデータセンターネットワーク

• EVE-NG で MS の SONiC を使う方法について記載あり
• 2025/01 現在は、この手順のみでは動作しない

Dell Networking Sシリーズ：基本のインターフェイス設定 – SONIC 4.0

SONiC Wiki

RDMA over Converged Ethernet (RoCE)

AI 基盤に適したネットワークづくりとは？ ～RoCEv2をサポートするロスレスイーサネット検証～

データセンターネットワークでの 輻輳対策どうしてる？

Dell Enterprise SONiC Distribution Compatibility Matrix Release 4.1.0

更新履歴

2025/01/22 : 初版作成