[SCore-users-jp] pm/ethernet error ( SCore 5.8.3 )
hata kei
kei_hata ＠ hotmail.com
2005年 12月 20日 (火) 18:05:24 JST
住元様
畑田です。
サーバホストの/opt/score/etc/pm-ethernet.confに"intreap 0"を加えて、念のため
全てのマシンを再起動しました。
すると
[root ＠ teoworld ~]# cat /proc/pm/ethernet/0/info
PM Ethernet 0330
Version : "$Id: pm_ethernet_dev.c,v 1.14 2005/10/10 04:49:13
s-sumi Exp $"
Device : eth0
Irq : 0
MTU : 1468 Bytes
Maxnodes : 512
MaxContext : 16
Intreap : off
Checksum : off
Dev error : 0
Header err : 0
Header cksum err: 0
Data cksum err : 0
Underrun err : 0
となりIntreapがoffになりました。Dev errorは0になったのですが、その一時間後に
１になりまた0に戻ったりしています。
rpmtestは以前おかしいようで、
[root ＠ teoworld ~]# rpmtest teofarm1 ethernet -reply
[root ＠ teoworld ~]# time rpmtest teofarm2 ethernet -dest 1 -ping
8 0.00015283
real 0m15.631s
user 0m0.002s
sys 0m0.005s
[root ＠ teoworld ~]# time rpmtest teofarm4 ethernet -dest 1 -ping
8 0.000124942
real 0m12.850s
user 0m0.003s
sys 0m0.004s
となり時間がかかってしまいます。また、
[root ＠ teoworld ~]# rpmtest teofarm2 ethernet -reply
[root ＠ teoworld ~]# time rpmtest teofarm1 ethernet -dest 1 -ping
pmGetSendBuffer: Invalid argument(22)
real 0m0.368s
user 0m0.001s
sys 0m0.006s
[root ＠ teoworld ~]# time rpmtest teofarm4 ethernet -dest 1 -ping
pmReceive: Connection timed out(110)
real 0m21.463s
user 0m0.003s
sys 0m0.004s
となりエラーがでます。 われわれのclusterの構成は
teoworld:サーバー兼計算ホスト
teofarm1:計算ホスト
teofarm2:計算ホスト
teofarm4:計算ホスト
で、それぞれ2 x xeon2.8GHzです。
一方総合テストでは少し状況が変わり、依然前のメールで報告したエラーがでるので
すが、何回もやっているとたまに
[root ＠ teoworld ~]# scstest -network ethernet
-config:file=/opt/score5.8.3/etc/pm-ethernet.conf
type=ethernet
SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
50 K packets. (1.153e+02 kpps)
100 K packets. (1.076e+02 kpps)
150 K packets. (1.164e+02 kpps)
200 K packets. (1.366e+01 kpps)
250 K packets. (8.304e+01 kpps)
300 K packets. (6.819e+01 kpps)
というように通信が行なわれたりもします。
scrunのhello.ccのテストは依然は何故か-nodes=4以上使うと計算が止まってしまっ
ていたのが、"intreap 0"加えたあとは我々の全cpu数8まで使っても問題が発生しな
くなりました。
よろしくお願い致します。
>From: Shinji Sumimoto <s-sumi ＠ flab.fujitsu.co.jp>
>To: kei_hata ＠ hotmail.com
>CC: score-users-jp ＠ pccluster.org, s-sumi ＠ flab.fujitsu.co.jp
>Subject: Re: [SCore-users-jp] pm/ethernet error ( SCore 5.8.3 )
>Date: Tue, 20 Dec 2005 10:47:54 +0900 (JST)
>
>畑田様
>
>住元です。
>
>/opt/score/etc/pm-ethernet.confに以下のパラメータを設定して
>試してもらえますでしょうか？
>
>intreap 0
>
>From: "hata kei" <kei_hata ＠ hotmail.com>
>Subject: Re: [SCore-users-jp] pm/ethernet error ( SCore 5.8.3 )
>Date: Mon, 19 Dec 2005 20:37:31 +0900
>Message-ID: <BAY7-F980EEB3FB393805DA5F95EB3F0 ＠ phx.gbl>
>
>kei_hata> 住元樣
>kei_hata>
>kei_hata> 畑田です。
>kei_hata>
>kei_hata> 使用しているネットワークインターフェイスは1000MBで、スイッチは
NETGEARの16
>kei_hata> ポートのgigabitスイッチです。SCore5.8.0がインストールされたマシン
がそのうち7
>kei_hata> つのポートを使って稼働中です。今回SCore5.8.3をインストールしたマ
シンがそのう
>kei_hata> ち４つのポートを使用しています。
>kei_hata>
>kei_hata> サーバホストにおけるコマンドの実行結果は、
>kei_hata>
>kei_hata> [root ＠ teoworld ~]# cat /proc/pm/ethernet/0/info
>kei_hata> PM Ethernet 0330
>kei_hata> Version : "$Id: pm_ethernet_dev.c,v 1.14
2005/10/10 04:49:13
>kei_hata> s-sumi Exp $"
>kei_hata> Device : eth0
>kei_hata> Irq : 0
>kei_hata> MTU : 1468 Bytes
>kei_hata> Maxnodes : 512
>kei_hata> MaxContext : 16
>kei_hata> Intreap : on
>kei_hata> Checksum : off
>kei_hata> Dev error : 1
>kei_hata> Header err : 0
>kei_hata> Header cksum err: 0
>kei_hata> Data cksum err : 0
>kei_hata> Underrun err : 0
>kei_hata>
>kei_hata> Point-to-Point テスト (メッセージ) に対応したpingの結果は以下の様
です。
>kei_hata> [root ＠ teofarm1 ~]# ping teofarm2
>kei_hata> PING teofarm2.lnf.infn.it (192.168.180.18) 56(84) bytes of data.
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=0
ttl=64
>kei_hata> time=0.540 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=1
ttl=64
>kei_hata> time=0.083 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=2
ttl=64
>kei_hata> time=0.062 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=3
ttl=64
>kei_hata> time=0.162 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=4
ttl=64
>kei_hata> time=0.139 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=5
ttl=64
>kei_hata> time=0.122 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=6
ttl=64
>kei_hata> time=0.216 ms
>kei_hata> 64 bytes from teofarm2.lnf.infn.it (192.168.180.18): icmp_seq=7
ttl=64
>kei_hata> time=0.191 ms
>kei_hata>
>kei_hata> --- teofarm2.lnf.infn.it ping statistics ---
>kei_hata> 8 packets transmitted, 8 received, 0% packet loss, time 7001ms
>kei_hata> rtt min/avg/max/mdev = 0.062/0.189/0.540/0.141 ms, pipe 2
>kei_hata>
>kei_hata>
>kei_hata> よろしくお願い致します
>kei_hata>
>kei_hata>
_________________________________________________________________
>kei_hata> 迷惑メールやウイルスへの対策も万全「MSN Hotmail」
>kei_hata> http://promotion.msn.co.jp/hotmail/
>kei_hata>
>------
>Shinji Sumimoto, Fujitsu Labs
_________________________________________________________________
MSNショッピングでXbox360を早速チェック！
http://shopping.msn.co.jp/softcontent/softcontent.aspx?scmId=593
SCore-users-jp メーリングリストの案内