[SCore-users-jp] システムテストPM/Ethernet における躓き
Shinji Sumimoto
s-sumi ＠ flab.fujitsu.co.jp
2002年 8月 31日 (土) 23:39:27 JST
富士通研の住元です。
From: ジースポート 黒田 <kuroda ＠ gsport.co.jp>
Subject: Re: [SCore-users-jp] システムテストPM/Ethernet における躓き
Date: Sat, 31 Aug 2002 23:21:51 +0900
Message-ID: <20020831231317.8AE5.KURODA ＠ gsport.co.jp>
kuroda> 富士通研 住元様、
kuroda>
kuroda> 丁寧なご回答を有難うございます。
kuroda> 頂きましたご質問にお答え致します。
kuroda>
kuroda> １．NISを使って名前解決をしております。
kuroda>
kuroda> ２．ypcat hostsの結果は、以下の通りです。（IPがだぶっているのが気になり
kuroda> ます。）
kuroda>
kuroda> 192.168.0.101 pcc1.gsport.co.jp pcc1
kuroda> 192.168.0.104 pcc4.gsport.co.jp pcc4
kuroda> 192.168.0.108 pcc8.gsport.co.jp pcc8
kuroda> 192.168.0.1 redhat.gsport.co.jp redhat
kuroda> 192.168.0.101 pcc1.gsport.co.jp pcc1
kuroda> 192.168.0.102 pcc2.gsport.co.jp pcc2
kuroda> 192.168.0.105 pcc5.gsport.co.jp pcc5
kuroda> 192.168.0.108 pcc8.gsport.co.jp pcc8
kuroda> 192.168.0.1 redhat.gsport.co.jp redhat
kuroda> 192.168.0.102 pcc2.gsport.co.jp pcc2
kuroda> 192.168.0.105 pcc5.gsport.co.jp pcc5
kuroda> 127.0.0.1 redhat.gsport.co.jp redhat localhost.localdomain localhost
kuroda> 192.168.0.106 pcc6.gsport.co.jp pcc6
kuroda> 127.0.0.1 redhat.gsport.co.jp redhat localhost.localdomain localhost
kuroda> 192.168.0.103 pcc3.gsport.co.jp pcc3
kuroda> 192.168.0.106 pcc6.gsport.co.jp pcc6
kuroda> 192.168.0.100 pcc0 pcc0.gsport.co.jp
kuroda> 192.168.0.103 pcc3.gsport.co.jp pcc3
kuroda> 192.168.0.100 pcc0 pcc0.gsport.co.jp
kuroda> 192.168.0.107 pcc7.gsport.co.jp pcc7
kuroda> 192.168.0.104 pcc4.gsport.co.jp pcc4
kuroda> 192.168.0.107 pcc7.gsport.co.jp pcc7
この、NIS設定の
192.168.0.100 pcc0 pcc0.gsport.co.jp
を
192.168.0.100 pcc0.gsport.co.jp pcc0
に変更すれば直ると思います。
serverの /etc/hosts では、
192.168.0.100 pcc0.gsport.co.jp pcc0
となっていたのですが、NIS上は
192.168.0.100 pcc0 pcc0.gsport.co.jp
と見えていたのが問題と思います。
ちなみに
% scout hostname
の結果は
pcc0.gsport.co.jp
pcc1.gsport.co.jp
ですよね?
kuroda> ３．PM_DEBUG=8による結果は、以下の通りです。
kuroda>
kuroda> %./scstest -network ethernet
kuroda> ethernet_open_device(): -config /var/scored/scoreboard/redhat.0000B3006J0j
kuroda> pmEthernetOpenDevice: Library version
kuroda> $Id: pm_ethernet.c,v 1.64 2002/03/04 09:44:42 s-sumi Exp $
kuroda> pmEthernetReadConfig(0x83dbd40, unit, 0): set unit number "0" (MAX: 4).
kuroda> pmEthernetReadConfig(0x83dbd40, maxnsend, 8): set maxnsend "8".
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 0, 0xbffff158): not found
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 0, 0xbffff154): not found
kuroda> store host 00:E0:4C:82:64:4E: dev{0] mac 0x000000e04c82644e
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 1, 0xbffff158): not found
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 1, 0xbffff154): not found
kuroda> ethernet_open_device(): -config /var/scored/scoreboard/redhat.0000B3006J0j
kuroda> pmEthernetOpenDevice: Library version
kuroda> $Id: pm_ethernet.c,v 1.64 2002/03/04 09:44:42 s-sumi Exp $
kuroda> pmEthernetReadConfig(0x83dbd40, unit, 0): set unit number "0" (MAX: 4).
kuroda> pmEthernetReadConfig(0x83dbd40, maxnsend, 8): set maxnsend "8".
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 0, 0xbffff158): not found
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 0, 0xbffff154): not found
kuroda> store host 00:E0:4C:82:3D:FC: dev{0] mac 0x000000e04c823dfc
kuroda> pmEthernetOpenDevice("/var/scored/scoreboard/redhat.0000B3006J0j", 0xbffff614): pmEthernetMapEthernet(0, 0xbffff358): 0
kuroda> Ethernet(0): fd=512
kuroda> self pcc0.gsport.co.jp n 0 of 2 nodes
kuroda> store host 00:E0:4C:82:64:4E: dev{0] mac 0x000000e04c82644e
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 1, 0xbffff158): not found
kuroda> pmEthernetGetNodeByNumber(0x83dbd40, 1, 0xbffff154): not found
kuroda> store host 00:E0:4C:82:3D:FC: dev{0] mac 0x000000e04c823dfc
kuroda> pmEthernetOpenDevice("/var/scored/scoreboard/redhat.0000B3006J0j", 0xbffff614): pmEthernetMapEthernet(0, 0xbffff358): 0
kuroda> Ethernet(0): fd=512
kuroda> self pcc1.gsport.co.jp n 1 of 2 nodes
kuroda> pm_ethernetCalibrateTimer(): loop t:1.695993e+07, vt: 1.307700e-02
kuroda> pm_ethernetCalibrateTimer(): loop t:1.742144e+07, vt: 1.343300e-02
kuroda> pm_ethernetCalibrateTimer(): loop t:2.586252e+07, vt: 1.994000e-02
kuroda> pm_ethernetCalibrateTimer(): end loop t:2.586252e+07, vt: 1.994000e-02
kuroda> pm_ethernetCalibrateTimer(): d0:1.296929e+09, d1:1.297017e+09
kuroda> pm_ethernetCalibrateTimer(): clk:1296, clock 1.296973e+03
kuroda> pmEthernetOpenDevice: Driver version
kuroda> $Id: pm_ethernet_dev.c,v 1.1.2.1 2002/03/28 03:05:14 kameyama Exp $
kuroda> ethernet_open_device(): success
kuroda> [0](0) PM/Ethernet CTX map Ctx(0x83dc008): send=0x4018f000, recv=0x401af000, shared=0x40017000 success
kuroda> [0](0)pmEthernetRegisterProc(): proc 1091(1091), tid 1091
kuroda> [0](0) pmEthernetAssociateNodes(0x83dc008, 0x809ea00, 2):ndev=1
kuroda> [0](0) pmEthernetBindChannel(0x83dc008, 0, 0): called
kuroda> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
kuroda> pm_ethernetCalibrateTimer(): loop t:2.586532e+07, vt: 1.994200e-02
kuroda> pm_ethernetCalibrateTimer(): end loop t:2.586532e+07, vt: 1.994200e-02
kuroda> pm_ethernetCalibrateTimer(): d0:1.296913e+09, d1:1.297027e+09
kuroda> pm_ethernetCalibrateTimer(): clk:1296, clock 1.296970e+03
kuroda> pmEthernetOpenDevice: Driver version
kuroda> $Id: pm_ethernet_dev.c,v 1.1.2.1 2002/03/28 03:05:14 kameyama Exp $
kuroda> ethernet_open_device(): success
kuroda> Host (pcc0.gsport.co.jp) unreachable.
kuroda>
kuroda> 何か解決策がありましたら、宜しく御願い致します。
kuroda>
kuroda>
kuroda> > 富士通研の住元です。
kuroda> >
kuroda> > どうも、設定ファイルを読み込む所で、ホスト名と設定ファイルの内容に違い
kuroda> > が出ているようです。各ノードでのホスト名の参照はどうしてますでしょうか？
kuroda> >
kuroda> > NISでしょうか？
kuroda> >
kuroda> > ノードpcc1.gsport.co.jpでのpcc0.gsport.co.jpの名前がうまく引けていない
kuroda> > のかもしれません。
kuroda> >
kuroda> > $ export PM_DEBUG=8
kuroda> >
kuroda> > での結果と pcc1 での ypcat hosts(NISの場合)の出力を教えてもらえないで
kuroda> > しょうか？
kuroda> >
kuroda> > From: "Okamoto Masafumi" <okamoto ＠ gsport.co.jp>
kuroda> > Subject: Re: [SCore-users-jp] システムテストPM/Ethernet における躓き
kuroda> > Date: Sat, 31 Aug 2002 18:52:03 +0900
kuroda> > Message-ID: <005301c250d4$0f28b4d0$6b0010ac ＠ tommy>
kuroda> >
kuroda> > okamoto> ジースポートの岡本と申します、すばやいご返答ありがとうございます。
kuroda> > okamoto> 黒田に代わってアドバイスを受けたいと思っております。
kuroda> > okamoto>
kuroda> > okamoto> > kuroda> 利用OS RedHat 7.2 English version
kuroda> > okamoto> > kuroda> CPU Celeron 1.3GHz
kuroda> > okamoto> > kuroda> NIC Realtek RTL 8139
kuroda> > okamoto> > kuroda> Memory 1GB
kuroda> > okamoto> > kuroda> Mother BIOSTAR M6VLQ
kuroda> > okamoto> > kuroda> 台数 ３台（サーバ１台、計算ノード２台）
kuroda> > okamoto>
kuroda> > okamoto> > EITでインストールした場合、上記のコマンドは既にカーネル起動時に実行さ
kuroda> > okamoto> > れていますので、通常は実行する必要はありません。
kuroda> > okamoto> > また、EITでインストールした場合は、デバイスドライバは組み込んであります。
kuroda> > okamoto> > % ls /proc/pm/
kuroda> > okamoto> > として
kuroda> > okamoto> > ethernet
kuroda> > okamoto> > が見えればデバイスドライバはインストールされています。
kuroda> > okamoto> ありがとうございます、確認できました。
kuroda> > okamoto>
kuroda> > okamoto>
kuroda> > okamoto> > kuroda> [症状]
kuroda> > okamoto> > kuroda> サーバにおいて、
kuroda> > okamoto> > kuroda> $ cd /opt/score/deploy
kuroda> > okamoto> > kuroda> $ scout -g pcc
kuroda> > okamoto> > kuroda> SCOUT: Spawn done.
kuroda> > okamoto> > kuroda> SCOUT: session started
kuroda> > okamoto> > kuroda> $ ./scstest -network ethernet
kuroda> > okamoto> > kuroda> CSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
kuroda> > okamoto> > kuroda> Host(pcc0.gsport.co.jp) unreachable
kuroda> > okamoto> > kuroda>
kuroda> > okamoto> > kuroda> となっております。
kuroda> > okamoto> > kuroda> ちなみに、通常のネットワークコマンドでは、サーバより計算ノードへの
kuroda> > okamoto> 通信が
kuroda> > okamoto> > kuroda> 可能な状態です。
kuroda> > okamoto> > kuroda> 例）
kuroda> > okamoto> > kuroda> ping pcc0.gsport.co.jp
kuroda> > okamoto> > kuroda> などが可能（サーバ redhat.gsport.co.jp, 192.168.0.1,
kuroda> > okamoto> > kuroda> 計算ノード１ pcc0.gsport.co.jp, 192.168.0.100
kuroda> > okamoto> > kuroda> 計算ノード１ pcc0.gsport.co.jp, 192.168.0.100
kuroda> > okamoto> > kuroda> NIS domain gsport.co.jpとして、設定しております。）
kuroda> > okamoto> >
kuroda> > okamoto> >
kuroda> > okamoto> > $ export PM_DEBUG=4
kuroda> > okamoto> >
kuroda> > okamoto> > として同じプログラムを実行した結果はいかがでしょうか?
kuroda> > okamoto> > 詳細なエラーが出ていると思います。
kuroda> > okamoto> 以下のようなメッセージがでましたが勉強不足のため、
kuroda> > okamoto> どこに問題があるのかが分かりませんでした。
kuroda> > okamoto> ご指摘いただければ幸いです。
kuroda> > okamoto>
kuroda> > okamoto> [root ＠ redhat deploy]# ./scstest -network ethernet
kuroda> > okamoto> ethernet_open_device(): -config /var/scored/scoreboard/redhat.0000B3006J0j
kuroda> > okamoto> pmEthernetOpenDevice: Library version
kuroda> > okamoto> $Id: pm_ethernet.c,v 1.64 2002/03/04 09:44:42 s-sumi Exp $
kuroda> > okamoto> pmEthernetReadConfig(0x83dbd40, unit, 0): set unit number "0" (MAX: 4).
kuroda> > okamoto> pmEthernetReadConfig(0x83dbd40, maxnsend, 8): set maxnsend "8".
kuroda> > okamoto> pmEthernetOpenDevice("/var/scored/scoreboard/redhat.0000B3006J0j",
kuroda> > okamoto> 0xbffff7e4): pmEthernetMapEthernet(0, 0xbffff528): 0
kuroda> > okamoto> Ethernet(0): fd=512
kuroda> > okamoto> self pcc0.gsport.co.jp n 0 of 2 nodes
kuroda> > okamoto> pm_ethernetCalibrateTimer(): loop t:1.963413e+07, vt: 1.513900e-02
kuroda> > okamoto> ethernet_open_device(): -config /var/scored/scoreboard/redhat.0000B3006J0j
kuroda> > okamoto> pmEthernetOpenDevice: Library version
kuroda> > okamoto> $Id: pm_ethernet.c,v 1.64 2002/03/04 09:44:42 s-sumi Exp $
kuroda> > okamoto> pmEthernetReadConfig(0x83dbd40, unit, 0): set unit number "0" (MAX: 4).
kuroda> > okamoto> pmEthernetReadConfig(0x83dbd40, maxnsend, 8): set maxnsend "8".
kuroda> > okamoto> pmEthernetOpenDevice("/var/scored/scoreboard/redhat.0000B3006J0j",
kuroda> > okamoto> 0xbffff7e4): pmEthernetMapEthernet(0, 0xbffff528): 0
kuroda> > okamoto> Ethernet(0): fd=512
kuroda> > okamoto> self pcc1.gsport.co.jp n 1 of 2 nodes
kuroda> > okamoto> pm_ethernetCalibrateTimer(): loop t:1.607267e+07, vt: 1.239300e-02
kuroda> > okamoto> pm_ethernetCalibrateTimer(): loop t:2.585651e+07, vt: 1.993300e-02
kuroda> > okamoto> pm_ethernetCalibrateTimer(): end loop t:2.585651e+07, vt: 1.993300e-02
kuroda> > okamoto> pm_ethernetCalibrateTimer(): d0:1.296924e+09, d1:1.297171e+09
kuroda> > okamoto> pm_ethernetCalibrateTimer(): clk:1297, clock 1.297047e+03
kuroda> > okamoto> pmEthernetOpenDevice: Driver version
kuroda> > okamoto> $Id: pm_ethernet_dev.c,v 1.1.2.1 2002/03/28 03:05:14 kameyama Exp $
kuroda> > okamoto> ethernet_open_device(): success
kuroda> > okamoto> [0](0) PM/Ethernet CTX map Ctx(0x83dc008): send=0x4018f000, recv=0x401af000,
kuroda> > okamoto> shared=0x40017000 success
kuroda> > okamoto> [0](0)pmEthernetRegisterProc(): proc 1338(1338), tid 1338
kuroda> > okamoto> [0](0) pmEthernetAssociateNodes(0x83dc008, 0x809ea00, 2):ndev=1
kuroda> > okamoto> [0](0) pmEthernetBindChannel(0x83dc008, 0, 0): called
kuroda> > okamoto> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
kuroda> > okamoto> pm_ethernetCalibrateTimer(): loop t:2.585964e+07, vt: 1.993600e-02
kuroda> > okamoto> pm_ethernetCalibrateTimer(): end loop t:2.585964e+07, vt: 1.993600e-02
kuroda> > okamoto> pm_ethernetCalibrateTimer(): d0:1.296915e+09, d1:1.297133e+09
kuroda> > okamoto> pm_ethernetCalibrateTimer(): clk:1297, clock 1.297024e+03
kuroda> > okamoto> pmEthernetOpenDevice: Driver version
kuroda> > okamoto> $Id: pm_ethernet_dev.c,v 1.1.2.1 2002/03/28 03:05:14 kameyama Exp $
kuroda> > okamoto> ethernet_open_device(): success
kuroda> > okamoto> Host (pcc0.gsport.co.jp) unreachable.
kuroda> > okamoto>
kuroda> > okamoto>
kuroda> > okamoto> > redhat.gsport.co.jp
kuroda> > okamoto> > の /etc/hosts /opt/score/etc/pm-ethernet.conf
kuroda> > okamoto> > の内容はどうなっていますでしょうか?
kuroda> > okamoto>
kuroda> > okamoto> それぞれ次のようになっております。
kuroda> > okamoto> （今後9台の計算ホストからなるクラスターを考えておりますので
kuroda> > okamoto> /etc/hosts の中にはその分のマシンを記述しております。）
kuroda> > okamoto>
kuroda> > okamoto> [root ＠ redhat okamoto]# less /etc/hosts
kuroda> > okamoto> # Do not remove the following line, or various programs
kuroda> > okamoto> # that require network functionality will fail.
kuroda> > okamoto> 127.0.0.1 redhat.gsport.co.jp redhat localhost.localdomain
kuroda> > okamoto> localhost
kuroda> > okamoto> 192.168.0.1 redhat.gsport.co.jp redhat
kuroda> > okamoto> 192.168.0.100 pcc0.gsport.co.jp pcc0
kuroda> > okamoto> 192.168.0.101 pcc1.gsport.co.jp pcc1
kuroda> > okamoto> 192.168.0.102 pcc2.gsport.co.jp pcc2
kuroda> > okamoto> 192.168.0.103 pcc3.gsport.co.jp pcc3
kuroda> > okamoto> 192.168.0.104 pcc4.gsport.co.jp pcc4
kuroda> > okamoto> 192.168.0.105 pcc5.gsport.co.jp pcc5
kuroda> > okamoto> 192.168.0.106 pcc6.gsport.co.jp pcc6
kuroda> > okamoto> 192.168.0.107 pcc7.gsport.co.jp pcc7
kuroda> > okamoto> 192.168.0.108 pcc8.gsport.co.jp pcc8
kuroda> > okamoto>
kuroda> > okamoto> [root ＠ redhat okamoto]# less /opt/score/etc/pm-ethernet.conf
kuroda> > okamoto> unit 0
kuroda> > okamoto> maxnsend 8
kuroda> > okamoto> 0 00:E0:4C:82:64:4E pcc0.gsport.co.jp
kuroda> > okamoto> 1 00:E0:4C:82:3D:FC pcc1.gsport.co.jp
kuroda> > okamoto>
kuroda> > okamoto> --------------------------------
kuroda> > okamoto> 岡本 真史 okamoto ＠ gsport.co.jp
kuroda> > okamoto> OKAMOTO Masafumi gsport inc
kuroda> > okamoto>
kuroda> > okamoto> _______________________________________________
kuroda> > okamoto> SCore-users-jp mailing list
kuroda> > okamoto> SCore-users-jp ＠ pccluster.org
kuroda> > okamoto> http://www.pccluster.org/mailman/listinfo/score-users-jp
kuroda> > okamoto>
kuroda> > -----
kuroda> > 住元 真司 E-Mail: s-sumi ＠ bd6.so-net.ne.jp
kuroda> > _______________________________________________
kuroda> > SCore-users-jp mailing list
kuroda> > SCore-users-jp ＠ pccluster.org
kuroda> > http://www.pccluster.org/mailman/listinfo/score-users-jp
kuroda>
kuroda> --------------------------------------------------------------------------
kuroda> Atsushi Kuroda kuroda ＠ gsport.co.jp
kuroda> gsport inc.
kuroda> --------------------------------------------------------------------------
kuroda>
kuroda>
------
Shinji Sumimoto, Fujitsu Labs
SCore-users-jp メーリングリストの案内