PM/Infiniband for TopSpin HCAについて

PM/Infiniband TSは、TopSpinのドライバー(TopSpin OS)上に実装されています。 現在、PM/InfiniBand TSのユーザライブラリのみが公開されています。 このため、PM/InfiniBand TSを使用するためには、別途、TopSpin OS 2.0.0 build 436、 および、PM/InfiniBand TSのドライバーモジュールを入手する必要があります。

サーバ及び計算ホストへのSCoreのインストール

最初に、EITないしは手動でイーサネットを使用したSCoreをインストールしてください。

計算ホストの PM/SCI のインストール

1. TopSpin OSのインストール
   以下のコマンドを実行し、TopSpin OSのRPMパッケージをインストールして下さい。

           # rpm -i topspin-ib-rh80-2.0.0-436.i686.rpm
           # rpm -i topspin-ib-mod-rhXX-2.4.XX-2.0.0-436.i686.rpm
   

   パッケージ(topspin-ib-mod-XXXX-YYYY-2.0.0-436.i686.rpm)のXXX,YYYY部分は、計算ホストで使用しているカーネルのリビジョン、および、ディストリビューションに依存しています。
   
   
2. PM/InfiniBand TSドライバーのインストール
   以下のコマンドを実行し、PM/InfiniBand TSのドライバーをコピーしてください。

           # cp pm_ibats.o /lib/modules/`uname -r`/ib/pm_ibats.o
   

3. IPoIBの設定
   以下の例に示すように、/etc/sysconfig/network-scripts/ifcfg-ib0を作成し、IPoIBを設定してください。

           DEVICE=ib0
   	ONBOOT=yes
           BOOTPROTO=static
   	IPADDR=192.168.0.1
   	NETMASK=255.255.255.0
   	BROADCAST=192.168.0.255
   	NETWORK=192.168.0.0
   

   IPADDR,NETMASK,BROADCAST,NETWORKの各パラメータへは、計算ホストに割り当てられた値を設定します
   
   
4. 計算ホストをリブートしてください。

サーバホストの設定

1. PM/InfiniBand TSの設定
   以下のコマンドを実行し、PM/InfiniBand TSの設定ファイルを作成してください。

   	# ( count=0; for hosts in `scorehosts -g pcc`; do \
   	      echo -n "$count	$hosts	"; \
   	      rsh $hosts /sbin/ifconfig ib0 | grep inet | sed 's/.*inet addr:\([0-9.]*\).*/\1/' ; \
   	      count=`expr $count + 1`; \
   	    done \
             ) > /opt/score/etc/pm-infiniband.conf
   

2. scoreboardの設定
   以下に示す様に/opt/score/etc/scoreboard.dbを作成して下さい。 以下の例は、サーバホストにserver.pccluster.orgを使用し、計算ホストにcomp0.pccluster.orgからcomp3.pccluster.orgの4台を使用した場合の設定例です。

   	/* PM/InfiniBand TS */
   	infiniband	type=ib-ts -config:file=/opt/score/etc/pm-infiniband.conf
   
   	/* PM/Shmem */		
   	shmem0		type=shmem -node=0
   	shmem1		type=shmem -node=1
   
   	#define PCC     MSGBSERV(server.pccluster.org:8766) \
   	                cpugen=pentium-4 speed=3000 smp=2 \
   	                network=infiniband,shmem0,shmem1 group=pcc
   
   	comp0.pccluster.org	PCC
   	comp1.pccluster.org	PCC
   	comp2.pccluster.org	PCC
   	comp3.pccluster.org	PCC
   

3. サーバホストをリブートしてください。

PC Cluster Consotium