ネットワーク機器の予備機についてのまとめ。
予備機、予備部材はマスト
長年インフラを管理する業務についていると、通信障害の大多数はハードウェア故障が大半だと気づきます。つまり「交換部材があればよい」「交換して復旧」が多いということです。障害個所の特定とかも必要なのですが、ここでは割愛します。
次に諸々のことを書いてきます。
予備部材をどこに配置するか
予備部材をどこに置くか。故障すると障害につながる機器のそばに配置します。ラック内に設置できるなら、稼働機器があるラックと同じにする。これだと「運ぶ時間」が節約できます。もちろん取り外す時間はかかりますが。
倉庫ではだめなのか
同じフロアの倉庫、部材置き場もいいでしょう。その場合、きちんと整理して(テプラを貼る)すぐに判別できるようにしましょう。特に自分以外の人が対応する場合はこのような気遣いが障害時間の短縮につながります。
部材は一か所にまとめる
これは私がやりがちなのですが、部材Aはラック内、部材Bは倉庫とすると記憶力に頼ることになるのでお薦めしません。一か所にまとめてあると人にも頼みやすいです。
予備部材のアクセス方法は？
シリアルコンソール・ssh or telnetでログイン出来るようにしておくと便利です。ヘルスチェックもできますし。DNS/Hostsも準備できれば、他の人もアクセスしやすくでよいです。
忘れがちで面倒な管理リストはちゃんと更新しよう
予備部材の棚卸をして必ずファイルにまとめておきましょう。そして他メンバーに共有、ファイルの更新も絶対にしましょう。忘れがちなのですが、やっておかないと棚卸を再度やる羽目になるか、部材捜索が始まります。
予備部材準備の流れ
これから予備部材の準備をする場合は以下の順番で実施するといいかと思います。
- 予備部材の棚卸。これは人海戦術が必要なので、応援を頼みましょう。
- 部材のリスト化。複数のデータセンターがある場合はシート分けまたはフィルタでソートできるとよいです。Excelでなくてもよい。
- 重要度をざっくりでよいのでつける。ネットワークの中枢を担う機器は重要度高＝手厚くする。重要度が低い機器は予備部材少な目、ほかの機器から持ってくる等でまかなうとか。
2,３で予備が少ないと感じたら、購入を検討します。しかし予算の都合もあるので部内で調整が必要でしょう。予備部材の兼用、この場合はこれで対応など、部内で障害発生時の対応を協議しておくことが肝要です。この部材がないと復旧できない、長時間サービス断が発生するなどが判明したら、強く上層部に訴えましょう。結局看過しているとお客さんに迷惑が掛かり、その後始末に多大な労力を費やすことになります。障害報告書の提出、損害賠償などですね。 - 棚卸をしたら、リストを共有します。これがマスターファイルになるので、変更があったら都度更新します。
- 予備部材をホットスペア(電源投入してログイン可能)にする。重要度が高い機器の予備はホットスペアにします。無理な場合はやらなくてもよい。
- 倉庫に配置する場合はテプラを貼る、整理する。後回しでもいいんですが、整理は必ずしておきましょう。コールドスペア(電源OFF状態で保持)は探すのに時間がかかる場合が多いので、ひと工夫で対応がスムーズになります。
まとめ
テプラを貼るなどの一工夫、整理整頓が重要ですね。また障害発生時の対応方法も協議、共有をしておくと属人化せず、なおかつ関係各位の納得感も得られるのでやっておいて損はないです。
