mini-ITXでWindows Server 2008 R2 HPCクラスタ構成に挑戦

　今回は10枚ものmini-ITXボードを評価する機会を与えて下さりありがとうございました。クラスタ構成を構築するにあたり、数回に分けて報告します。（とりあえずお供え）

D525MW 10枚

☆D525MW mini-ITXマザーボードについて
・Atom D525搭載、ファンレス、メモリ最大4GB、SATA×2、PCI×1、Gbitイーサ、レガシーポート
・BIOSで[NumLock Off]、[AHCI mode]、[VRAM 128MB]を設定。日付を確認。
・初期設定の時間が一時間ずれている。
・今回はBIOSアップデートをしない。
・10枚も作業するならIntelのツールを使うといいかも。BIOS起動ロゴまで変えられるらしい。
・電源はATX24ピン＋ATX12V4ピンだが、ATX20ピン＋ATX12V4ピンへの供給でOK。低消費電力だがATX12V4ピンへ電源供給しないと起動しなかった。
・低消費電力なのでATX12V4ピンを省略してほしかった。(電源ケーブルが増えるので)
・USBの供給可能電力が弱い。USB接続のDVDドライブがシークしないことがあった。DVDドライブに対しACアダプタを接続して回避。

☆D525MW×10枚構成のコスト

　共通部材：約20,000円
　　ラック(絶縁) 4,000円
　　GbitHUB 11,000円
　　電源タップ 2,000円
　　整流板、プラリング等 1,000円

　個別部材(×10）
　　D525MW mini-iTXボード
　　Gbitイーサケーブル(カテゴリ6) 150円
　　DDR3メモリ 2GB 1,500円
　　HDD (手持ち)
　　電源 (手持ち)
　今回購入したもの：約30,000円

　トータル：約50,000円(M/B、HDD、電源除く)

　すべて自前で構築したとしても十万円台に収まるでしょう。

mini-ITX

このようにスチールラックから8枚のボードを吊り下げます。ラックは絶縁してあるもの、吊り下げには文房具コーナーで買った太めのプラリングを使ってます。

mini-ITX

各ボード間にはスチロール板の薄いものを置いてショートしないようにしています。スチロール板もメガネクリップで挟んで吊り下げ。これは横から風を流した時の整流板の役割もあります。

D525MW×10

　スチールラックの最上段に8枚のD525MW(2GBメモリ)、中段にはATX電源、16ポートGbitHUB、HDD、下段にはmini-ITX用ケースに入ったD525MWマシンが2台(これらだけ4GBメモリ搭載)
　HDDは3.5inch 2TBから2.5inch 60GBまで。とにかく起動できればいい。Windows HPC Server 2008 R2は60GB HDDでもインストール要件を満たしている。
　ATX電源は他のパソコンから抜いたりジャンク品を買ってきたりしてとりあえず数を揃えた。CPUに電源供給するATX12V4ピン変換ケーブルを用意している。家庭ではちゃんとしたアースが取れないので漏電しまくってます。mini-ITXボードの金属部分に触れるとしびれます。
　この中で重要なのがネットワーク。ギガビットの性能を発揮させるために新品の1mカテゴリ6ケーブルを用意し、不安定な要素をあらかじめ排除しておきます。

D525MW CLUSTER

　左下にあるのはDell Latitude D630(Core2Duo T9300 2.5GHz/4GB)で、クラスタのヘッドノードおよびActiveDirectoryサービスの役目を割り当てています。D525MW 10枚はすべて計算ノードです。右側のLCDはD525MW個別にOSをインストールするための作業用。インストールが済んだらすべてヘッドノードよりリモートデスクトップ等で操作するので不要です。

☆Windows HPC Server 2008 R2について
　すでにLinux系を使ったクラスタは発表されているので、急遽Windows Server系に挑戦。評価版を使用した。情報は以下から。これらによると、Windows7の計算ノードへの組み込み、Excel 2011の分散処理が可能らしい。(別ライセンス)

Deploy, Build, Manage Windows HPC Solutions | Service Oriented Architecture (SOA)

Windows HPC Server 2008 評価版ソフトウェア

Microsoft HPC Server 2008 R2 のダウンロード

ここからHPC Pack 2008 R2 Expressを選択すると、ダウンロードマネージャ経由でSRVHPC_JA.isoとHPCEval.isoがダウンロードされるので、DVD-Rに焼く。
SRVHPC_JA.isoはWindows HPC Server 2008 R2(日本語版)のインストールイメージ。
HPCEval.isoはクラスタ構成時に必要なソフトウェア。

□ネットワークの構成の検討
・HPCクラスタは、１つのヘッドノードと複数の計算ノードで構成される。
・すべてのノードはActive Directoryに参加していなければならない。
・ヘッドノードでDirectory Serviceを実行してもよい。
・ネットワークトポロジの構成は、エンタープライズネットワークとプライベートネットワークを分ける構成にしてもよいが、その場合はヘッドノードにLANポートが２つ必要。

　以上からセキュリティには目をつぶってWindowsUpdateなどが簡単にできる、エンタープライズネットワークに直接ぶら下げるトポロジ５を選択した。また、ヘッドノードはDirectory Serviceを行い、計算ノードに対するDNSサーバの役割も与える。それぞれのノードに対して静的なIPアドレスを割り振る。

192.168.0.* エンタープライズネットワーク(家庭内のプライベートアドレス)
192.168.0.1　ゲートウェイ
192.168.0.1　DNSサーバ(全体向け)

192.168.0.199　　ヘッドノードのIPアドレス　マシン名：HPCSERVER
192.168.0.151〜　計算ノードのIPアドレス　マシン名：NODE151,NODE152,…

□Windows HPC Server 2008 R2のインストール(共通)
　D525MWはWindows HPC Server 2008 R2の動作を保証していないが、Windows7 64bit用のドライバをインストールすることでネットワークに繋げるようになる。
以下よりチップセットドライバとLANドライバをダウンロードする。
インテル：ダウンロード・センター

　これらのドライバは、USBメモリにコピーしておく。また、HPCEval.isoの中身もコピーしておくとよい。SRVHPC_JA.isoはDVD-Rに焼いてDVDドライブに入れておく。

作業用USBハブ

　このように4ポートのUSBハブにDVDドライブ、USBメモリ、キーボード、マウスをつないでおくと作業がやりやすい。(USBハブごしでもDVDドライブからブートできました)

　DVDドライブからブートしてWindows HPC Server 2008 R2のインストール作業を開始する。ほとんどWindows7と変わらない。
　インストールが終わるといったん再起動し、初期パスワードを聞いてくる。セキュリティ強化のためパスワードの制限が厳し目で、英大文字小文字＋数字の組み合わせになる。
　このままではLANにつながらないので、USBメモリに入れてあるLANドライバをインストールする。再起動は必要ない。IPv4の項目で、以下のように設定する。

ヘッドノード：DNS プライマリ：127.0.0.1　セカンダリ：192.168.0.1
　　　　　　　ゲートウェイ：192.168.0.1　自IP：192.168.0.199

計算ノード：　DNS プライマリ：192.168.0.199　セカンダリ：192.168.0.1
　　　　　　　ゲートウェイ：192.168.0.1　自IP：192.168.0.151〜

これでネットワークに接続可能になった。計算ノードはここでコンピュータ名をNODE151の様につけて、ドメインに参加させる。ドメインはヘッドノードで設定した名前である。参加するユーザ名はAdministratorでよい。
再起動を要求されるが、無視してUSBメモリからチップセットドライバを導入。その後再起動する。そしてWindowsUpdateを適用する。

ヘッドノードはActiveDirectoryの設定を行い、以降計算ノードを追加する必要があるので立ち上げっぱなしにしておく。今回、ヘッドノードはktakesita.comというドメイン名、コンピュータ名はHPCSERVER、HPCクラスタ運用のためのユーザをHPCUSERという名前で登録した。
　ActiveDirectoryの設定については以下を参考にした。
Active Directoryのインストール @IT

□ActiveDirectoryへのユーザ追加
　HPCクラスタのアカウントとして、Administratorとは別にHPCUSERというUser名を追加する。ちょっとわかりにくかったので説明。
　ヘッドノードにて、HPCEval.isoの中身をコピーしたUSBメモリからSetupを実行し、HPCクラスタマネージャをインストールする。終わったらそのままHPCUSERの追加を行う。