2025-07-30-08-01 JANOG56 参加レポート
キーワードをこのレポートにメモったので、今後見直して反芻していきたい。
Day1
不参加。
Day2
AI/ML基盤における800GbEスイッチ導入とその挑戦
既存が 400G スイッチで、800G スイッチを追加導入
400G で増設 or 800G 導入
- 800G で決定
- 400G が余るのは避けたいため、有効活用したい
- 混在構成で行けないか ?
400G / 800G 混在の課題
OS / ASIC が別
負荷分散のメソッドをどうするか
- ADaptive Routing / Dynamic Load Balancing
なるべく Spine を通したくない
- NCCL_CROSS_NIC = 0 で NIC を使用すると同じ Ring で同じ NIC ポートを使用
性能劣化発生 !
Spine - Leaf に想定よりも多くのトラフィックが
- NVIDIA DGX H100 と Dell XE9680 と 2 種類の GPU サーバを採用
NIC の見え方 (例:enp64s0) がサーバの種類で異なる
物理系の話
800G 64 ポートスイッチを 400G 128 ポートスイッチとして使用
MPO ケーブルとトランシーバのプルタブが干渉、MPO 抜栓時にトランシーバも抜けてしまった
ポート番号が分かりづらい
- 上段は若番が左側に、下段は若番が右側に
1U MPO-12 32 ポートは高密度すぎる
- SN-MT コネクタで小型化
- ポート密度が 4 倍に
- ラック間ケーブル本数を半分に
- クリーナが別なのがつらみ
マルチベンダー Lossless
Dell SN4700 と Juniper QFX5240 を使用
- QFX5240 の Broadcom ASIC では Adaptive Routing (AR) 使用不可、Dynamic Load Balacing (DLB) を使用する
DLB の inactiveity-interval
長すぎる場合は負荷分散が弱く、短すぎると Reorder で順番が入れ替わってしまう
- 常に最良の結果を出せる値は存在しない
- 自動化される機能があれば採用したい
筆者注 : この機能は Juniper
監視基盤
QFX5420 / Junos : gNMIc でテレメトリーデータを取得 @ 2 秒間隔
SN4700 / Cumulus Linux : OpenTelemetry で取得 @ 2 秒間隔
- gNMIc は 15 秒間隔で採用できなかった