2022-09-30 Edge Router-X を VyOS ベアメタルにリプレース

西日本と東日本のインターネット用ルータ兼、VPN ルータの Edge Router-X を VyOS にリプレースしました。

Edge Router-X リプレースの背景

ハードウェア

• 新品が適価で手に入らないため、壊れたら保守できない (=高価ならしたくない)
• getic (旧 euro dk) で 1 年以上 Out of Stock (在庫なし)
  • 半導体不足の影響だとしても、長期すぎる
• 2022/09 現在、Amazon.co.jp で \17,000 , Amazon.com で $110 程度
  • 2019/07 に euro dk で買ったときは、3 台買って 1 台辺り $58
  • 円高の影響も大きくなっている
• メモリ・ストレージが小さい

ソフトウェア

PPPoE Client の動作が不安定

• 1 ヶ月に 1 回ほどアクセスできなくなってしまう
• せめて crash して自動復旧してほしい
• メモリ容量が足りなくて、プロセスが OOM Killer されてる ?

OSPF の動作が不安定

• ルーティングテーブルに載った宛先に、転送してくれない場合がある
• 再起動で復旧するため、コンフィグのミスではなさそう
• 時間経過で発生するため、トリガがわからない

L3VPN / L2VPN が遅い

• L3VPN は最大で -30Mbps 程度
• ipsec offload すると不安定なのでしたくない

ファームウェアのリリース タイミングがおかしい

• 開発体制が疑問 以前開発者がやめて長期間新 Ver がリリースされないことがあった
• 以前 v2.1 で NetFlow を正式に実装というアナウンスが出ていたが、全くリリースされない
• 1 年に 1 回 Hotfix は出ているが・・・
  • もう少し頻繁に更新したい

Edge Router-X の良かった点

• コンパクトで 1U に 2 台を無理なく置ける
• OSPF / BGP はまずまず動く
• CLI が Juniper + Cisco ライクで使いやすい
• IPsec VPN が固定グローバル IP <-> NAT された固定グローバルで組める
• 軽量・コンパクトで OSPF / BGP がまずまず動くので、今後は検証環境を組むときに使い勝手が良さそう

ハードウェアの選定

ハードウェアは以下の基準で選定し、シンクライアント用 PC の Fujitsu Futro S920 / S900 にしました。

• 適価であること
  • 2 拠点で合計 4 台導入するため、1 台 1 万円程度が望ましい
  • 1 台 2 万以上かかるなら、中古のメーカー製が視野に入ってしまう
• 電源を off / on しても問題ないこと
  • ルータがハングアップしたとき、遠距離の家族でも復旧できるのが重要
  • 他の VM が稼働中のハイパーバイザを、電源 off / on するのは避けたい
  • 申し訳ないが HDD 搭載は NG
• メーカー製ルータに近い接続が行えること
  • シリアルコンソールで管理したり、多ポートで冗長性が確保できる
  • KVM だとコストが高いので・・・
• Tailscale がインストールできること
  • IPsec VPN では全く歯が立たない利便性とパフォーマンス
  • メーカー製ルータだとインストールする or 代替機能がなく、難しい

S920 の特徴は以下でした。

• ルータとしてはなかなか良スペック
  • CPU が AMD 4 コア
  • 4GB メモリ
  • SSD が小容量とはいえ付属してきた
• PCIe 4x があり、NIC を増設できる
• RS-232C シリアルポートが 2 つついており、VyOS の起動ログを確認できる
• スペックが良い感じに低いので、ハイパーバイザを入れる気にならない
• Opensense FW で先駆者がいた

国内では手に入らなかったため、eBay でドイツから入手したのは送料の面で残念でした。

他に上げた候補は、以下があります。

Fujitsu Futro S900

1 台買ってみましたが、PCIe 特殊配線 + PCI で、PCIe はライザーカードが手に入りませんでした。

PCI の 2x1G NIC を積んで妥協してます。PCI の NIC は古すぎて入手性がかなり悪いです。

Lenovo ThinkCentre Tiny

適価で手に入れば別のエントリでも書いた通り、こちらのほうが良いでしょう。

ただ 1 万円を下回る金額では PC として使い物にならない = 中古市場にも

ほぼ出回らないため、入手が難しいと思います。

こちらを買うならリソースがもったいないため、ハイパーバイザ上の VM で良い気がします。

単ポートのシンクライアント端末

Wyse とか安く出回っているので、NIC の冗長性を捨てれば良いかも。

VyOS ベアメタルのハードウェア構成

Fujitsu Futro S920 シンクライアント

種類	詳細
シャーシ	シンクライアント Mini-ITX
CPU	AMD G-Series GX-415GA (1.50 GHz, Quad Core, 2 MB)
メモリ	DDR3 4GB
ストレージ	mSATA 4GB
シリアルポート	RS-232C 9pin x2
オンボード NIC	RTL8168g/8111g 1000 Base-T
PCIe 3.0 4x LP	Intel PT Quad Port NIC 82571EB/82571GB
OS	VyOS 1.4-rolling-202203110317

VyOS ベアメタル 2 台分の費用

BOM

	購入先	価格	個数	合計
Fujitsu Futro S920	eBay	10,969	2	21,939
PCIe ライザーカード SinLoon PCIE 8X Riser Card	Amazon.co.jp	1,299	2	2,598
Intel PT Quad Port NIC	秋葉原処分場	1,000	2	2,000
合計				26,537

IPv4 で 80 Mbps の VPN が組めるので、価格性能比はまずまずかなと思います。

NTT NGN で網内折り返しの IPv6 VPN が組める環境なら、そちらのほうが速いでしょう。

VyOS ベアメタルの写真

S920 前面

S920 背面 10G NIC 搭載

S920 内部 10G NIC 搭載

S920 用 10G NIC と PCIe ライザー

S920 背面 4x1G NIC 搭載

比較表

新旧比較表

	ハードウェア			ソフトウェア
	コンパクト	拡張性	速度	安定性	開発体制	拡張性
Edge Router-X	○	✕	△	△	✕	△
VyOS VM	○	○	◎	○	○	○
VyOS ベアメタル	△	○	◎			○

リプレース後のメリット

ハードウェア

• シリアル コンソール接続が可能になる
• NIC 変更でパフォーマンスアップ可能
  • i350-T4 で XDP 有効化
    • まだ Experimental で安定性はなさそう
  • 10G NIC で NTT フレッツ光クロスに対応
• Mini PCIe 無線 LAN / WWAN カードで AP / LTE 追加可能
  • 手持ちの LTE カードは動かなかった
• ストレージ容量を増加可能

ソフトウェア

• VyOS の Version 変更が可能になる
• ストレージ容量を気にせず Tailscale を追加可能
• 仮想版の VyOS とコンフィグ互換性が高いため、遠隔地のハードウェアが壊れても仮想版で仮復旧できる
  • スタンバイ機は仮想版でも良い気がします
• 最近シリアルコンソール サーバ機能が VyOS に実装されたため、多ポート USB シリアル変換器があると活用できる

リプレース後のデメリット

ハードウェア

• 高さがぎりぎり 1U で収まらない

ソフトウェア

• VyOS 1.4 2022/12 のイメージだと、BGP のコンフィグが再起動で消失してしまう
  • どうも行数が多いと Python でコケてしまう模様
  • 2022/03 のイメージでは発生しなかった