中規模ネットワークの構築 - 物理設計

40,50人〜数千人が利用する中規模ネットワークを構築する時の物理設計について説明します。

トポロジーの検討

 敷地に本館、A棟、B棟等があり、40,50人から数千人が利用するネットワークを設計する場合、本館にコアスイッチを設置し、各棟にエッジスイッチを設置するスター型が一般的です。

中規模ネットワークの構築 - 物理設計1

 コアスイッチはルーターの機能を兼ねるL3スイッチを使います。エッジスイッチは要件によりL2の機能を持ったスイッチを用いるのかL3スイッチを用いるのか検討が必要です。

 エッジスイッチでルーティングしない方法を集中ルーティング型、ルーティングする方法を分散ルーティング型と分けて説明します。

 尚、ファイアウォールを2台にして冗長化する、コアスイッチは1台、複数台等バリエーションは様々ですが、中規模ネットワークの構築では上記を例に説明します。

集中ルーティング型

 集中ルーティング型ではエッジスイッチがL2スイッチで済むため、分散ルーティング型と比較して安価に構築出来ます。又、コアスイッチのみでルーティングを行うため構築が比較的楽に済み、VLAN間通信のフィルタリングもコアスイッチで集中して行うため、運用も楽になります。

 但し、コアスイッチとエッジスイッチ間の接続はループになるためスパニングツリーの適用を検討する必要があり、場合によっては障害時の切り替えが遅くなります。

中規模ネットワークの構築 - 物理設計2

 又、全てのブロードキャストがコアスイッチまで流れるため、通信量が多い場合はコアスイッチに負荷がかかったり、コアスイッチ〜エッジスイッチ間の帯域を太くする必要があります。

中規模ネットワークの構築 - 物理設計3

分散ルーティング型

 分散ルーティング型ではエッジスイッチをL3スイッチにする必要があり、集中ルーティング型と比較して高価になります。又、全てのエッジスイッチでルーティングを行うためL3について知識が必要で、VLAN間通信のフィルタリングもそれぞれのエッジスイッチで行うため、場合によっては運用が煩雑になります。

 但し、コアスイッチとエッジスイッチ間の接続はスパニングツリーが不要で障害時の切り替えが速くなります。

中規模ネットワークの構築 - 物理設計4

 又、全てのブロードキャストがコアスイッチまで流れないため、通信量が多い場合は集中ルーティング型に比べて優位です。

中規模ネットワークの構築 - 物理設計5

設置場所の検討

 コアスイッチは一般的にサーバー等が置かれるサーバールーム、マシンルーム、計算機室と言った呼ばれ方をする部屋に設置されます。建屋間は屋外でもノイズや雷の影響を受けない光ケーブルで接続するため、エッジスイッチは光ケーブルを敷設する先に設置します。既に敷設されている場合は、その先に設置するようにします。

 エッジスイッチとパソコン、サーバー等を接続する部分は安価なツイストペアケーブルで接続するため、接続距離が100m以内に制限されます。

 建物が大きいと100mで届かない場合があります。この場合は、中継用のスイッチを設置して各階にエッジスイッチを設置します。

中規模ネットワークの構築 - 物理設計6

 エッジスイッチを各階に配置する事で各階100m以内のパソコンに接続が出来るようになります。又、各階に設置しても100mで届かない場合は、設置場所を変えて2台スイッチを各階に設置する等してネットワークを使う全ての機器が100m以内になるようにスイッチを設置します。

 このように中継スイッチを設置した場合、分散ルーティング型では中継スイッチがルーティングを行い、エッジスイッチはL2スイッチにする事が一般的です。

 又、本館と建物の間にケーブルの余裕がある場合は以下のように接続する事もあります。

中規模ネットワークの構築 - 物理設計7

 このように接続すると中継スイッチの障害で建屋全てが通信出来なくなるといった状況を防げます。

UPS

 UPSは無停電電源装置と言って、停電時にバッテリーから電源を供給する装置です。数万円から数十万円のものはバッテリーも数分から数十分と長くは持たないため、瞬断対策が主な目的になります。又、落雷があった場合は電源を伝わって最悪機器が壊れてしまいますが、UPSでは落雷対策があるためスイッチが壊れるのを防ぐ事が出来ます。

 UPSはスイッチの電源ケーブルをUPSに接続し、UPSの電源ケーブルは電源コンセントに接続して利用します。

中規模ネットワークの構築 - 物理設計8

 UPSには常時商用給電方式と常時インバータ給電方式があります。

 常時商用給電方式は主として家庭向けで比較的安く購入出来ますが、商用電源をそのまま出力するため、電圧低下があった場合にネットワーク機器がダウンしてしまう可能性があります。又、停電発生時に一瞬ですがバッテリーへの切り替えのため出力が途切れます。

 常時インバータ給電方式は商用電源をそのままではなく電圧を整えて出力するため、電圧低下があった場合でも安定したネットワーク機器の動作が可能です。又、停電発生時も出力が途切れる事がありませんが、比較的高価になります。

 常時商用給電であってもラインインタラクティブ方式と言って、多少の電圧低下であれば変圧器で電圧を変えて出力し、大きな電圧低下を検知するとバッテリーからの出力に自動的に切り替わるものがあります。切り替え時間は数msで、この程度の出力断であれば通常のネットワーク機器はダウンしません。企業向けのUPSであればこのような電圧変動を一定内に抑える機能を持っている場合が多く、ネットワーク機器用のUPSは比較的安価なUPSでも充分と思われます。

 UPSはネットワーク機器の消費電力を賄える定格容量が必要です。例えば400Wの消費電力を持つ機器であれば500Wの定格容量を持つUPSを選択する等余裕を持った機種を選択します。複数のネットワーク機器を1台のUPSに接続する場合は、消費電力を合計した値を賄える必要があります。電源コンセントの数が足りているか、電源コンセントの形状が一致しているかの確認も必要です。

 電源コンセントはAC100Vであれば日本の場合、家庭のコンセントで見られる平行2ピン、若しくは平行2ピンにアースプラグが付いたNEMA5-15が殆どです。このため、UPSの出力でNEMA5-15R(受け側)をサポートしていれば平行2ピンの機器も接続出来るため、殆どのネットワーク機器は接続出来ます。

中規模ネットワークの構築 - 物理設計9
中規模ネットワークの構築 - 物理設計a

 UPS側で平行2ピンの出力をサポートしている場合でNEMA5-15P(差込側)の機器を接続する場合は変換コネクタが必要です。

 AC200Vの場合は複数のコネクタを見ます。又、UPS側で出力が端子盤になっているものもあります。コネクタが一致しない場合や端子盤の場合は工事によってコネクタの作成やケーブルの癒着が必要になります。

 瞬断や電圧低下の時にスイッチがダウンする事が許容出来る場合、UPSは不要です。又、重要な施設では建物自体にCVCFという大きな無停電電源装置が備わっている事があるため、その場合も不要です。

 パッチパネルとはケーブルを集約してパッチケーブルによりスイッチ等と接続するためのパネルです。ケーブルはツイストペアケーブルを接続するタイプと光ケーブルを接続するタイプ両方あります。

中規模ネットワークの構築 - 物理設計b

 パッチケーブルという名前で呼ばれていますが特殊なケーブルではなく、ツイストペアケーブルであったり、普通のマルチモードファイバ、シングルモードファイバだったりします。パッチパネルと機器の間を繋ぐ短いケーブルを特にパッチケーブルと呼んでいます。

 パッチパネルのメリットは、事前に複数のケーブルを敷設してパッチパネルで集約しておき、接続が必要な機器が出来た場合はパッチケーブルですぐに接続出来る点です。接続が必要になる度に工事すると面倒ですし、費用もかかりますが、パッチパネルを設置して一度に工事しておくと将来の増強にすぐに対応可能で、その都度工事するよりコストメリットがあります。

 又、光ケーブルの場合、SC、LC、その他のコネクタがありますが、スイッチが変更になってコネクタが変わった場合はパッチケーブルだけ交換すればコネクタを変える事が出来ます。

 尚、光ケーブルのコネクタの変換は、ジョイントアダプタというものでも可能です。例えばSCコネクタの光ケーブルが敷設されていて、SC-SCのジョイントアダプタで延長するとSC-LCのパッチケーブルによりLCコネクタのスイッチと接続出来るようになります。

中規模ネットワークの構築 - 物理設計c

 これは既に敷設してある光ケーブルのコネクタを変えたい場合に便利です。

 このため、光ケーブルのコネクタを変換する事自体はパッチパネルがないと不可能という訳ではありませんが、多数のケーブルがある場合はパッチパネルがあった方が楽ですし、配線もすっきりしてコストメリットもあります。

設置方法の検討

 コアスイッチは床の上等に設置しても大丈夫ですが、サーバールームや計算機室では沢山のサーバーが置かれる為、設置スペースに限りがあります。

 ラックを設置するとラック内に複数のサーバーやスイッチを積み重ねて設置出来るため、設置スペースを節約出来ます。

中規模ネットワークの構築 - 物理設計d

 企業向けのラックとして代表的なものは19インチラックです。機器を収容してネジ留めしますが、その幅が19インチのためこう呼ばれています。

 機器を何台収容出来るかはU数によります。例えば42Uのものであれば1Uの高さがあるエッジスイッチを42台収容出来ます。1Uは44.45mmです。U数が多くなる程19インチラックの高さは高くなります。UPSやコアスイッチ等は3U、4U等複数占有するものもあります。安定性のためUPS等重い装置を下にし、軽い装置を上に配置するようにします。

 又、エッジスイッチについても床置きすると邪魔になったり埃等で故障の原因になり易いため、小さなラックやスイッチを収納するだけのスペースがあるボックス等で収容する事も検討します。

エッジスイッチから先の接続検討

 エッジスイッチから先の接続例として以下の3通りがあります。1つ目はパソコンと直接接続する方法です。

中規模ネットワークの構築 - 物理設計e

 利用者が少ない場合の接続方法です。

 次は居室用スイッチを設置する方法です。

中規模ネットワークの構築 - 物理設計f

 居室用スイッチの先に自由にパソコンやプリンター等を接続可能です。

 次は情報コンセントを設置する方法です。

中規模ネットワークの構築 - 物理設計g

 情報コンセントとは電話を繋ぐ時のコンセントのようなもので、その先に居室用スイッチを接続したり、パソコンを接続する等、更に自由な接続が可能な形態となります。

 電話線はコネクタがRJ11ですが、情報コンセントはツイストペアケーブルを接続するためコネクタがRJ45となり、一回り大きなものになります。

 情報コンセントを設置するのはそれなりの費用がかかり、居室用スイッチを設置するとスイッチの費用がかかります。このため、利用する人数と利用形態に合わせて選択します。

インターフェース規格の検討

 エッジスイッチと居室間はツイストペアケーブルで接続するため、必要な速度に応じて100Base-TXか1000Base-T等を選択します。

 建屋間のケーブルは光ケーブルで接続するため、距離により1000Base-SX、1000Base-LX、通信量が多い場合は10GBase-LR等を選択します。

 コアスイッチとサーバーファーム用のスイッチは同じ計算機室に設置される事も多く、その場合はTwinaxというケーブルで接続出来る場合があります。Twinaxは両端にSPF+が付いている形態をしており、ケーブル長は5m等非常に短距離ですが、同一ラック内や隣接したラック間の機器を接続する上では充分な距離です。又、10Gの速度をサポートしており、光ケーブルとSFP+を購入するより遥かに安く済みます。このため、隣接したスイッチ間やスイッチとサーバーを接続する時で通信量が多い場合はTwinaxの検討もします。

スイッチ機種の検討

 スイッチの機種を決めるに当たって以下のような点を検討します。

・性能
 スイッチは基本的にノンブロッキングのものを選択しますが、例えば24個のインターフェースを持つスイッチでも10個しか使わないのであれば10個のインターフェースを同時利用した時にノンブロッキングであれば問題ありません。
 コアスイッチでは規模が大きくなると数百のインターフェースが必要な場合があります。インターフェース数が多くてノンブロッキングが難しい場合は通信量を賄えるスイッチを選択します。
・インターフェース
 必要なインターフェース規格をサポートし、必要なインターフェース数を賄えるスイッチにする必要があります。
・スタック
 エッジスイッチに多数の機器が接続される予定で1台のスイッチでインターフェースが足りない場合、本館と各建屋間にケーブルが複数敷設されていればスイッチを複数台接続出来ますが、敷設されていないと建屋を跨って新規に光ケーブルを敷設する必要があり、かなり費用がかかります。この場合はスタック可能なスイッチを購入する事も検討します。
 又、スタックすると複数のスイッチを1台として管理出来るため、運用が楽になります。エッジスイッチが大量になる場合はスタックが選択肢の1つになります。
・機能
 スパニングツリー、OSPF等、利用する機能をサポートしている必要があります。
・電源の冗長化
 スイッチの電源は冗長化が可能な機種もあります。電源は壊れやすい部品の1つのため、コアスイッチ、及び重要なエッジスイッチは冗長化も選択肢の1つです。

命名規約

 スイッチやファイアウォールの命名規約を決めます。コアスイッチ1をCore-1、コアスイッチ2をCore-2、A棟エッジスイッチをA-edge等、設置場所や機能がイメージ出来る分かり易い名前がお奨めです。

 中規模ネットワーク以上ではどのインターフェースに何が接続されるか設計しておかないとミスが多くなります。又、運用を開始した後も設定変更やトラブル対応時に困ります。このため、接続表を作成します。

 接続表ではどの規格で接続するか、ネゴシエーションはどうするか等も記載します。

【コアスイッチ1接続表(例)】
I/F 規格 ネゴ コネクタ 接続先 I/F コネクタ
1-1 1000Base-T 1000M RJ45 ファイアウォール 1 RJ45
1-2 1000Base-T AUTO RJ45 コアスイッチ2 1-2 RJ45
2-1 1000Base-SX AUTO LC サーバーファームスイッチ 23 LC
2-2 1000Base-LX AUTO LC A棟エッジスイッチ 23 LC
2-3 1000Base-LX AUTO LC B棟エッジスイッチ 23 LC
2-4 1000Base-LX AUTO LC C棟エッジスイッチ 23 LC
2-5 1000Base-LX AUTO LC D棟エッジスイッチ 23 LC

【A棟エッジスイッチ接続表(例)】
I/F 規格 ネゴ コネクタ 接続先 I/F コネクタ
1 1000Base-T AUTO RJ45 A居室 - RJ45
2 1000Base-T AUTO RJ45 B居室 - RJ45
3 1000Base-T AUTO RJ45 C居室 - RJ45
23 1000Base-LX AUTO LC コアスイッチ1 2-2 LC
24 1000Base-LX AUTO LC コアスイッチ2 2-2 LC

 ケーブルをパッチパネル経由で接続する場合はパッチパネルのコネクタ番号も含めて記載すると後々確認がし易くなります。

ラベリング

 ケーブルを接続する際、スイッチのどのインターフェースに接続するためのケーブルであるかラベルが貼ってあると便利です。又、運用開始後も接続先がどこになるかラベルを見て判断出来ると便利です。

 このため、ラベリングの記載について決めます。

 接続元の装置名、インターフェース番号、接続先の装置名、インターフェース番号といった記載がお奨めです。

中規模ネットワークの構築 - 物理設計h

 ラベルは可能であればどこで見ても分かるようにコアスイッチ、エッジスイッチ、及びパッチパネルに接続する部分全てに貼ると確認がし易くなります。

  • このエントリーをはてなブックマークに追加