[SCore-users-jp] ネットワークトランキング(PM/Ethernet) の設定
金城 尚志
e973220 ＠ eve.u-ryukyu.ac.jp
2002年 11月 13日 (水) 21:07:42 JST
琉球大の金城です。
亀山さん、ありがとうございます。
ご指摘の通りに、
if (!defined($group) && $#ARGV < -1) {
に変更することによって、うまく
# mkpmethernetconf -unit 0 test_kinjo > newfile
を成功することができました。
その後、先のメールと
「Network Trunking機構のシステム管理ガイド」を
参考にし設定をさせてもらいました。
そして、MPIのプログラミングを実行させたところ、
エラーメッセージが発生しました。
~~~~~~~~~~~~~~~~~
■■■■■■■■■■■■■■■■
SCore5.0.1のCD-ROMの中に
入っている、MPIのHELLOプログラミングを
コンパイルし、実行させてみたところ、
エラーメッセージが発生
■■■■■■■■■■■■■■■■
$ scrun ./hello
<0> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<0> SCore-D:ERROR No PM device opened.
<2> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<2> SCore-D:ERROR No PM device opened.
<1> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<1> SCore-D:ERROR No PM device opened.
<3> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<3> SCore-D:ERROR No PM device opened.
ホストコンピュータから、
msgb -group almond もできました。
scout -g almond でロックもできました。
なので、ホストサーバ−計算ホスト間の
通信は確立しているようです。。
また、当方の環境と問題を改めて報告させてもらいます。
■ ホストサーバ(scib134.sci.u-ryukyu.ac.jp )：１台
■ 計算ホスト(comp0, comp1, comp2, comp3) ：４台
■ 計算ホストの一台(comp0)はオンボードNICを搭載
■ comp0 では eth[1-3]を使用（eth0を無視）
■ comp[1-3]では、eth[0-2]を使用
■ NIC三枚でのネットワークトランキングを実現したい
■ SCore5.2.0
どうかアドバイスを頂けないでしょうか、
よろしく御願いします。
以下に、非常に長い文章ですが、
当方の（設定の作業の）状況の説明を記述しておきます。
━━━━━━━━状況━━━━━━━━
■■■■■■■■■■■■■■■■
pm-ethernet-0.conf
pm-ethernet-1.conf
pm-ethernet-2.conf
を作成しました。
pm-ethernet-2.confがきれいに作られているかを
確認してみたところ、Macアドレスが適合しているので
OKでした。
他のpm-ethernet-1.conf , pm-ethernet-0.confも同様に
OKでした。
■■■■■■■■■■■■■■■■
# cat pm-ethernet-2.conf
unit 2
# maxnsend 0 - 32
maxnsend 16
# backoff 1000 - 20000 (usec)
backoff 4800
# checksum (0 if off, 1 is on)
checksum 0
# PE MAC address base hostname # comment
0 02:00:08:E3:4C:9B comp0 # on eth3
1 02:00:08:E3:6D:8B comp1 # on eth2
2 02:00:08:E3:57:9B comp2 # on eth2
3 02:00:08:E3:58:9B comp3 # on eth2
■■■■■■■■■■■■■■■■
次に、
/opt/score5.2.0/etc/scorehosts.dbを
Network Trunking機構(PM/Ethernet)のシステム管理者ガイド
http://www.pccluster.org/score/dist/score/html/ja/reference/pm/ether-trunkin
g.html
を参考に編集しました。
■■■■■■■■■■■■■■■■
$ cat scorehosts.db
/*
* SCore 5.0 scorehosts.db
* generated by PCCC EIT 5.2
*/
/* PM/Myrinet */
myrinet type=myrinet \
-firmware:file=/opt/score/share/lanai/lanai.mcp \
-config:file=/opt/score/etc/pm-myrinet.conf
/* PM/Myrinet */
myrinet2k type=myrinet2k \
-firmware:file=/opt/score/share/lanai/lanaiM2k.mcp \
-config:file=/opt/score/etc/pm-myrinet.conf
/* PM/Ethernet */
ethernet type=ethernet \
-config:file=/opt/score/etc/pm-ethernet.conf
ethernet-0 type=ethernet \
-config:file=/opt/score/etc/pm-ethernet-0.conf
ethernet-1 type=ethernet \
-config:file=/opt/score/etc/pm-ethernet-1.conf
ethernet-2 type=ethernet \
-config:file=/opt/score/etc/pm-ethernet-2.conf
ethernet-x2 type=ethernet \
-config:file=/opt/score/etc/pm-ethernet-1.conf \
-trunk0:file=/opt/score/etc/pm-ethernet-2.conf
ethernet-x3 type=ethernet \
-config:file=/opt/score/etc/pm-ethernet-2.conf
-trunk0:file=/opt/score/etc/pm-ethernet-1.conf
-trunk1:file=/opt/score/etc/pm-ethernet-0.conf
gigaethernet type=ethernet \
-config:file=/opt/score/etc/pm-ethernet.conf
/* PM/Agent */
udp type=agent -agent=pmaudp \
-config:file=/opt/score/etc/pm-udp.conf
/* RHiNET */
rhinet type=rhinet \
-firmware:file=/opt/score/share/rhinet/phu_top_0207a.hex \
-config:file=/opt/score/etc/pm-rhinet.conf
##
##
#include "/opt/score//etc/ndconf/0"
#include "/opt/score//etc/ndconf/1"
#include "/opt/score//etc/ndconf/2"
#include "/opt/score//etc/ndconf/3"
##
#define MSGBSERV msgbserv=(scib134.sci.u-ryukyu.ac.jp:8764)
comp0.sci.u-ryukyu.ac.jp NODE_0 \
network=ethernet,ethernet-0,ethernet-1,ethernet-2,ethernet-x2,ethernet-x3,
group=_scoreall_,almond smp=1 MSGBSERV
comp1.sci.u-ryukyu.ac.jp NODE_1 \
network=ethernet,ethernet-0,ethernet-1,ethernet-2,ethernet-x2,ethernet-x3,gr
oup=_scoreall_,almond smp=1 MSGBSERV
comp2.sci.u-ryukyu.ac.jp NODE_2 \
network=ethernet,ethernet-0,ethernet-1,ethernet-2,ethernet-x2,ethernet-x3,gr
oup=_scoreall_,almond smp=1 MSGBSERV
comp3.sci.u-ryukyu.ac.jp NODE_3 \
network=ethernet,ethernet-0,ethernet-1,ethernet-2,ethernet-x2,ethernet-x3,
group=_scoreall_,almond smp=1 MSGBSERV
■■■■■■■■■■■■■■■■
次にcompute hostの、
/etc/rc.d/init.d/pm_ethernetを編集します。
comp0において
■■■■■■■■■■■■■■■■
[root ＠ comp0 init.d]# cat pm_ethernet
#!/bin/sh
#
# pm_ethernet: Starts the PM Ethernet driver
#
# Version: @(#) /etc/rc.d/init.d/pm_ethernet 1.00
#
# Author: Shinji Sumimoto (Real World Computing Partnership)
# chkconfig: 345 90 18
# description: PM Ethernet driver
# probe: true
IF=eth0
UNIT=0
INTERRUPT_REAPING=on
# Source function library.
. /etc/rc.d/init.d/functions
# check module
module=`modprobe -l pm_ethernet_dev.o | grep -v Note:`
# See how we were called.
case "$1" in
start)
echo n "Starting PM/Ethernet: "
if [ x$module != x ]; then
modprobe pm_ethernet_dev
fi
# /sbin/etherpmctl $IF -pm on -ir $INTERRUPT_REAPING -unit $UNIT
/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0
/sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 1
/sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 2
touch /var/lock/subsys/pm_ethernet
;;
stop)
echo -n "Stopping PM/Ethernet: "
# /sbin/etherpmctl $IF -pm off
/sbin/etherpmctl eth1 -pm off
/sbin/etherpmctl eth2 -pm off
/sbin/etherpmctl eth3 -pm off
if [ x$module != x ]; then
rmmod pm_ethernet_dev
fi
echo
rm -f /var/lock/subsys/pm_ethernet
;;
status)
if [ x$module != x ]; then
/sbin/lsmod
fi
;;
restart)
$0 stop
$0 start
;;
*)
echo "Usage: $0 {start|stop|status|restart}"
exit 1
esac
exit 0
■■■■■■■■■■■■■■■■
comp[1-3]においての
/etc/rc.d/init.d/pm_ethernet
■■■■■■■■■■■■■■■■
[root ＠ comp1 init.d]# cat pm_ethernet
#!/bin/sh
#
# pm_ethernet: Starts the PM Ethernet driver
#
# Version: @(#) /etc/rc.d/init.d/pm_ethernet 1.00
#
# Author: Shinji Sumimoto (Real World Computing Partnership)
# chkconfig: 345 90 18
# description: PM Ethernet driver
# probe: true
IF=eth0
UNIT=0
INTERRUPT_REAPING=on
# Source function library.
. /etc/rc.d/init.d/functions
# check module
module=`modprobe -l pm_ethernet_dev.o | grep -v Note:`
# See how we were called.
case "$1" in
start)
echo n "Starting PM/Ethernet: "
if [ x$module != x ]; then
modprobe pm_ethernet_dev
fi
/sbin/etherpmctl $IF -pm on -ir $INTERRUPT_REAPING -unit $UNIT
/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1
/sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2
# /sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3
touch /var/lock/subsys/pm_ethernet
;;
stop)
echo -n "Stopping PM/Ethernet: "
/sbin/etherpmctl $IF -pm off
/sbin/etherpmctl eth1 -pm off
/sbin/etherpmctl eth2 -pm off
# /sbin/etherpmctl eth3 -pm off
if [ x$module != x ]; then
rmmod pm_ethernet_dev
fi
echo
rm -f /var/lock/subsys/pm_ethernet
;;
status)
if [ x$module != x ]; then
/sbin/lsmod
fi
;;
restart)
$0 stop
$0 start
;;
*)
echo "Usage: $0 {start|stop|status|restart}"
exit 1
esac
exit 0
■■■■■■■■■■■■■■■■
comp0において、手動で
ifconfig eth[1-3] up
comp[1-3]において 手動で
ifconfig eth[0-2] up
■■■■■■■■■■■■■■■■
■■■■■■■■■■■■■■■■
comp[0-4]において
# /etc/rc.d/init.d/pm_ethernet restartを実行。
すべてにおいてエラーメッセージなし。
■■■■■■■■■■■■■■■■
■■■■■■■■■■■■■■■■
/opt/score5.2.0//etc/scorehosts.dbを
亀山さんの先のメールのような記述を
してみました。
■■■■■■■■■■■■■■■■
[root ＠ scib134 etc]# cat scorehosts.db
/*
* SCore 5.0 scorehosts.db
* generated by PCCC EIT 5.2
*/
/* PM/Myrinet */
myrinet type=myrinet \
-firmware:file=/opt/score/share/lanai/lanai.mcp \
-config:file=/opt/score/etc/pm-myrinet.conf
/* PM/Myrinet */
myrinet2k type=myrinet2k \
-firmware:file=/opt/score/share/lanai/lanaiM2k.mcp \
-config:file=/opt/score/etc/pm-myrinet.conf
/* PM/Ethernet */
ethernet-x3 type=ethernet \
-config:file=/opt/score/etc/pm-ethernet-2.conf \
-trunk0:file=/opt/score/etc/pm-ethenret-1.conf \
-trunk1:file=/opt/score/etc/pm-ethernet-0.conf
gigaethernet type=ethernet \
-config:file=/opt/score/etc/pm-ethernet.conf
/* PM/Agent */
udp type=agent -agent=pmaudp \
-config:file=/opt/score/etc/pm-udp.conf
/* RHiNET */
rhinet type=rhinet \
-firmware:file=/opt/score/share/rhinet/phu_top_0207a.hex \
-config:file=/opt/score/etc/pm-rhinet.conf
##
##
#include "/opt/score//etc/ndconf/0"
#include "/opt/score//etc/ndconf/1"
#include "/opt/score//etc/ndconf/2"
#include "/opt/score//etc/ndconf/3"
##
#define MSGBSERV msgbserv=(scib134.sci.u-ryukyu.ac.jp:8764)
comp0.sci.u-ryukyu.ac.jp cpugen=i686 speed=500 \
network=ethernet-x3 group=_scoreall_,almond smp=1 MSGBSERV
comp1.sci.u-ryukyu.ac.jp cpugen=i686 speed=500 \
network=ethernet-x3 group=_scoreall_,almond smp=1 MSGBSERV
comp2.sci.u-ryukyu.ac.jp cpugen=i686 speed=500 \
network=ethernet-x3 group=_scoreall_,almond smp=1 MSGBSERV
comp3.sci.u-ryukyu.ac.jp cpugen=i686 speed=500 \
network=ethernet-x3 group=_scoreall_,almond smp=1 MSGBSERV
■■■■■■■■■■■■■■■■
# /etc/rc.d/init.d/scoreboard stop
# /etc/rc.d/init.d/scoreboard start
を実行。成功。
■■■■■■■■■■■■■■■■
[root ＠ scib134 etc]# /etc/rc.d/init.d/scoreboard start
Starting scoreboard services: [ OK ]
■■■■■■■■■■■■■■■■
SCore5.0.1のCD-ROMの中に
入っている、MPIのHELLOプログラミングを
コンパイルし、実行させてみたところ、
エラーメッセージが発生
■■■■■■■■■■■■■■■■
<0> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<0> SCore-D:ERROR No PM device opened.
<2> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<2> SCore-D:ERROR No PM device opened.
<1> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<1> SCore-D:ERROR No PM device opened.
<3> SCore-D:WARNING Unable to open a network configuration file (5):
network='ethernet-x3', attribute='-trunk0:file'
<3> SCore-D:ERROR No PM device opened.
━┛━┛━┛━┛━┛━┛━┛━┛━┛
琉球大学理学部 物質地球科学科
金城 尚志 （キンジョウヒサシ）
━┛━┛━┛━┛━┛━┛━┛━┛━┛
SCore-users-jp メーリングリストの案内