完成間近での公開の方針を変更して作業経過を公開します。
■方針
なるべく少ないパーツで実現してみたいと思います。
そのために、1台はUSBフラッシュメモリ起動、4台はディスクレスでネットワークブートを目指します。
パーツ的には、皆さんをがっかりさせてしまうかもしれませんがお許し下さい。
■動作確認(1日目)
何はともあれ少ないパーツで動くことを確認します。
なぜ少ないパーツでかと言いますと故障箇所を切り分けやすいからです。
・起動&メモリ認識
RAMを取り付け電源に繋いで起動と認識の確認を行います。
起動だけするかなとRAM無しでもやってみましたが起動しませんね。
起動には、D945GSEJTと同様にFrontPanelの6pinと8pinのショートが必要です。
1.電源SWを入れる
2.ボードのLEDが点灯する
3.6pinと8pinをクリップでショートする
4.電源ファンが回る
5.6pinと8pinの接続を切る
でBIOS画面が出ます。
電源やフロントパネルがない段階では5枚やるのは大変でした。
・USBからの起動
上記「起動&メモリ認識」作業の最後のボードを使って、USB接続のCD/DVD ドライブとUSBフラッシュメモリからの起動確認のためUbuntu 10.04 LTS日本語版をインストールしてみます。
FOXCONN R10-D2で経験していたので確認程度だったのですが、嵌りました。
CD/DVD ドライブが起動しません。
BIOSの起動ディスク選択メニューでは認識しているようですが、実際にはBoot Diskなしのエラーが出ます。
と言うことで、IOデータ機器のDVR-iUN16W では起動しないことがわかりました。
このままでは、OS起動が遠くなります。さてどうしたものか、
そもそもUSBメモリから起動ができるのかを確認します。
・BUFFALO RUF2-PS16G-BK
他のUbuntuマシンでCD-ROMイメージを書いてみた →NG
他のWindows7マシンでServer版CD-ROMイメージを書いてみた →NG
・SONY ポケットビット ミニ 2GB USM2GH
ChromiumOS入りで起動 →OK
他のWindows7マシンでDesktop版CD-ROMイメージを書いてみた →OK
ポケットビットをインストールCD代わりに使ってRUF2-PS16G-BK にインストールすることができました。
RUF2-PS16G-BKからもUbuntu10.10デスクトップが起動することが確認できました。
WindowsでISOイメージをUSBメモリに書き込み方法は、Ubuntsu Downloadページで教えてくれるツールを使いました。汎用なようで、Ubuntsuのリストはでますが、その他を選ぶとリストにないものも書き込めます。
次はServer版の起動ですね。
■電源ケーブル加工(2~4日目)
5枚の基板に電源を供給しなければなりませんが、電源を5つ買う余裕が金銭的に、スペース的に、コンセントの数が不足しています。
そこで、1つの電源を5つに分けます。
15cmの延長ケーブルに30cm延長ケーブルを5つ半田付けします。
これが意外に手間です。熱収縮チューブをまず通して、ケーブルを剥いて、細いワイヤで仮留めしてから半田付けします。
今日はやっと4セット着けました。先は長いですね。
コテの容量不足か半田の浸透具合が悪いです。
瞬発力のある半田鏝を入手してサクサク加工が進みます。
しかし、熱量に手が耐えられませんでした。11本処理したところでギブアップです。
のこり8本です。
残った8本を接続したあとは通電チェックです。
1本ずつ基板1枚分はチェックしました。接続ミスは無いようですので、基板に挿して確認します。
5本ともOSが起動してちゃんと給電できているようです。
確認が済んだところで収縮チューブにドライヤーを当てて仕上げをします。
左が収縮前、右が収縮後です。
■ケース製作(5日目)
mini-IT基板の幅170mmに隙間をあけて熱が上に逃げやすいようにしてみました。
さらに基板は熱が後ろに流れるように前側を低くして傾斜して取り付けられるようにしてみました。
幅以外は切り売りの板の大きさそのままです。
四隅に梁を渡して外形を保持します。
基板を支持するために前側にも5本、後ろに片梁を10本出します。
(片梁はもう少し長く出した方が良かったです。)
電源の位置が安定するように、L字型の部材を使ってはめ込めるようにしました。
少し隙間をあけて吸気を確保しましたが足りるかな?
最終的に外寸、幅200mm、高さ450mm、奥行き300mmになりました。
このケースは単品で登録しました。
■ケースに組み込み(5日目)
4mmの木ねじで基板を留めていきます。
下孔の位置が雑だったせいで片梁が割れてしまいました。
電源ケーブルを付け忘れて、やり直しも1回ありました。
組み上がった姿はこんな感じです。
内法を180mmにしたおかげで、ハブがピッタリ収まりました。
ハブはケース完成後に開封したので偶然でした。
■フロントパネル製作(6~7日目)
5セットのパワースイッチ、リセットスイッチ、パワーLED、アクセスランプを1枚のユニバーサル基板に半田付けしました。
タクトスイッチは、杉板の厚み9mmを考えて10mmのものを購入しました。
配線はまだです。
少し間が空いてしまいましたが、配線しました。
パワースイッチとリセットスイッチの配線を間違えました。上の写真は逆になっています。
起動テストで気がついて急遽入れ替えました。
■フロントパネル取り付け(7日目)
フロントパネルをケースに取り付けました。
タクトスイッチとLEDを出す孔の位置決めに失敗してしまいました。orz
天板と後ろの梁を追加しました。
青と赤の高輝度LEDを使ってみたのですが、眩しすぎますね。
しかもドリルサイズより大きくて取り付けるのに手間取りました。
LEDは小さいに越したことはないですね。
各ボードに順繰り液晶とキーボードを繋いで起動確認しました。
パワースイッチ、リセットスイッチとパワーLEDはちゃんと配線できているようです。
アクセスランプは配線はしましたけどディスクレスなので確認できてません。
■ハブ接続(8日目)
ちょっと間が空いてしまいましたので、少し作業をしました。
30cmのLANケーブルは短くて下2枚しかとどきませんでした。
3mので代用しました。
50cmくらいが適当ですね。
■OSインストール(9~13日目)
・Ubuntu 10.10
Ubuntuのデスクトップ版は、動作確認のときに作ったので、
ここに、クラスタノードのネットワークブートのイメージを置こうと考えました。
DHCPやTFTPも入れないといけないようですが、まず、起動イメージ作りです。
Ubuntu Enterprise Cloud(UEC)が使いたいクラスタノードのOSになります。
Ubuntuのダウンロードサイトに行って10.10 64bitサーバ版をダウンロードしてきました。
SONY ポケットビット ミニ 2GB USM2GHにデスクトップ版と同じ手法でISOイメージを書き込みます。
ポケットビット ミニから起動するのですが、インストーラーがUSBメモリをCD-ROMとして認識してくれません。本日届いたSONY ポケットビット16GB USM16GM Gを使っても同様の結果でした。
OSのバージョンも10.4にしてみたり、32bit版にしてみたりしましたが同様です。
どうやら、サーバ版のインストーラーはデスクトップ版とは作りが違うようですね。
私の弱った頭で考えた解決方法は、
・起動可能なCD-ROMドライブを入手する
・クラスタノードはUSBから起動する必要がないので、OSイメージだけを取り出してデスクトップ版OSのフォルダにコピーする
・CD-ROMを認識するマザーボードでUSBメモリにインストールする
が考えられます。
とりあえずSATAのDVDドライブは発注しておきました。
・clusterKnoppix 3.6
ネットワークブートはちょっと置いておいておいて、
1CDで即クラスターが作れるというclusterKnoppixを使ってみました。
検索で見つかったページを見てみると2004年あたりにブームがあったようです。(知りませんでした。)
これもCDのisoイメージをUSBメモリに書き込んで起動ディスク代わりにします。
しかし、ここでもはまりました。
USBメモリからclusterLinuxは5号機だけが成功して、1~4号機が失敗します。
ハブを介するとすべて起動させることができました。
Ubuntuはハブなしで起動するので不思議です。
USB機器チェックの部分で失敗しているので、応答待ち時間とかあるのでしょうか。
USBメモリを4個は発注済みなんですが、ハブは頼んでません。
サーバでMosixというソフトを使ってノードをモニタできるらしいのですが、まだ表示さえ出ない状況です。
どうやらネットにつながってもいないみたいです。
・巫女 GNYO/Linux 4.2
仮想マシン管理ツール virt-manager をパッケージしたubuntu 10.4です。
LiveCDのイメージがありましたので試してみました。
仮想マシンで clusterKnoppix 3.6 のISOイメージを起動してみました。
clusterKnoppixを2つ起動すると不安定になりましたが、clusterになることがわかりました。
openMosix viwerで他の仮想マシンのclusterKnoppixを認識していることがわかります。
なんとか単体で起動できないものでしょうか。このままではハイパフォーマンスとは言えません。
ちょっと改善しました。
3本の3mのLANケーブルを0.5mに変更しました。
巫女 GNYO/Linux 4.2を5枚で起動して、それぞれ1ずつQUEMで clusterKnoppix 3.6を起動しました。
CPUの割り当てが可能だったようで、4つを指定しました。
ペンギンが4羽になっていますね。
起動に時間がかかるので、1つ間に合わず再起動したので死んでいるのがあります。
再起動したので5つ起動しています。
しかし、非常に遅いのでHPCにはなりません。
仮想マシンでクラスタ用OSを起動すると高可用性は上がりますが、D510MOでは性能が出ないと言うことがわかりました。
仮想化せずにクラスタにしなければなりませんね。
・SCore7/CentOS5.5(13日目)
LiveCDでないのでISOイメージをUSBに書き込んでも、どこかに(もちろんUSBへ)インストールする必要があります。
が、インストールでCDドライブがナイトのメッセージが出てしまいます。
それならとDVDにISOイメージを焼いたつもりでしたがうまく焼けませんでした。2枚も無駄にしました。
e9160jpがいつの間にかCD/DVDが焼けなくなってます。orz
(つづく)
■参考
・Ubuntu Japanese Team
・Ubuntuで始めるクラウドコンピューティング
・Ubuntu 10.04 による ディスクレスクラスタ構築 †
・clusterKNOPPIX
・巫女 GNYO/Linux
■謝辞
このたびレビューのチャンスをいただきましたzigsowさんIntelさんありがとうございます。