From ri007073 ＠ ed.ritsumei.ac.jp  Wed Sep 14 20:11:15 2011
From: ri007073 ＠ ed.ritsumei.ac.jp (NISHIKAWA RIYO)
Date: Wed, 14 Sep 2011 20:11:15 +0900 (JST)
Subject: [SCore-users-jp] =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
	=?iso-2022-jp?b?GyRCPVIbKEI=?=
Message-ID: <1315998675.24937.ri007073@ed.ritsumei.ac.jp>

立命館大学の西川と申します。
お世話になります。

現在既存のPCクラスタを破棄し、
CentOS5.5、SCORE7.0.1を使用して
新しくPCクラスタを構成しております。

お聞きしたい点はscorehosts.dbのnode記述のしかたです。
SCORE7になり、記述法が変わったので
既存のものが流用できなくなりました。
SCORE6.0.2にて使用していたscorehosts.dbを
添付させていただくので、ご教授ください。
具体的にはPM/SHMEMの記述法と
define部でnode記述を行うのかがわかりません。

scorer scorehosts.dbを実行し、sampleも参考にしましたが
わかりませんでした。
よろしくお願いいたします。

西川　諒
立命館大学　高性能計算研究室
ri007073 ＠ ed.ritsumei.ac.jp
-------------- next part --------------
文字コード指定の無い添付文書を保管しました...
名前: scorehosts.db
URL:  <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20110914/f24cff3d/attachment.ksh>

From kameyama ＠ riken.jp  Thu Sep 15 10:47:50 2011
From: kameyama ＠ riken.jp (Kameyama Toyohisa)
Date: Thu, 15 Sep 2011 10:47:50 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1315998675.24937.ri007073@ed.ritsumei.ac.jp>
References: <1315998675.24937.ri007073@ed.ritsumei.ac.jp>
Message-ID: <4E715946.8060003@riken.jp>

亀山です.

(2011年09月14日 20:11), NISHIKAWA RIYO wrote:
> お聞きしたい点はscorehosts.dbのnode記述のしかたです。
> SCORE7になり、記述法が変わったので
> 既存のものが流用できなくなりました。
> SCORE6.0.2にて使用していたscorehosts.dbを
> 添付させていただくので、ご教授ください。
> 具体的にはPM/SHMEMの記述法と
> define部でnode記述を行うのかがわかりません。

shmem に関しては記述が不要になりました.
ethernet の config file も不要です.
ethernet も単純に eth0 を普通に使用する場合は network の指定も不要です.
smp に関しては socket 数と core 数を書くようになりました.
# group を使用しないで, eth0 のみ使用する場合は scorehosts.db
# 自体が不要という話も...

添付ファイルの例では以下になると思います.
(CPU は quad core Xeon 2 socket と仮定しました.

#define PCCethernet cpugen=xeonquad2 socks=2 cores=8 speed=3000 \
    msgbserv=bront2.hpc.se.ritsumei.ac.jp:8764 group=pcc network=ethernet
nycto00.hpc.cs.ritsumei.ac.jp   PCCethernet
nycto01.hpc.cs.ritsumei.ac.jp	PCCethernet

Kameyama Toyohisa


From kameyama ＠ riken.jp  Thu Sep 15 18:21:59 2011
From: kameyama ＠ riken.jp (Kameyama Toyohisa)
Date: Thu, 15 Sep 2011 18:21:59 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316076969.9977.ri007073@ed.ritsumei.ac.jp>
References: <1315998675.24937.ri007073@ed.ritsumei.ac.jp>
	<4E715946.8060003@riken.jp>
	<1316076969.9977.ri007073@ed.ritsumei.ac.jp>
Message-ID: <4E71C3B7.7080107@riken.jp>

亀山です.

(2011年09月15日 17:56), NISHIKAWA RIYO wrote:
> 迅速なお返事誠に感謝いたします。
> お返事に記述してあった通り、scorehost.dbを
> 記述し、SCOUTテストを行ったのですが、
> 以下のようなエラーが出ました。
> どのような原因が考えられるでしょうか？
> 
> [root ＠ bront2 ~]# scout -g pcc
> root ＠ nycto00.hpc.cs.ritsumei.ac.jp's password:
> WINDUP.EXE ＠ nycto00#5747:WARNING: connect_host() at windup.c:217: bront2.hpc.se.ritsumei.ac.jp:54533: Operation not permitted

nycto00 から bront2 へ 54533 の port で connect(2) しようとして
権限が無くて拒否されているようですね.
selinux を有効にしていませんでしょうか?
(firewall の設定をしている場合は違ったメッセージになりますし...)

> ちなみに記述が不要になったethernet の config fileには
> eth2の使用を記述していました。
> そちらとは関係あるでしょうか？

こっちは scout が動いた後の問題です.
多分
    ethernet netdev=eth2
を scorehosts.db に追加すれば良いと思いますが...

Kameyama Toyohisa


From kameyama ＠ pccluster.org  Thu Sep 15 20:40:42 2011
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Thu, 15 Sep 2011 20:40:42 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316083509.20690.ri007073@ed.ritsumei.ac.jp>
References: <1315998675.24937.ri007073@ed.ritsumei.ac.jp>
	<4E715946.8060003@riken.jp>
	<1316076969.9977.ri007073@ed.ritsumei.ac.jp>
	<4E71C3B7.7080107@riken.jp>
	<1316083509.20690.ri007073@ed.ritsumei.ac.jp>
Message-ID: <1316086842338222.kameyama@pccluster.org>

亀山です.

On Thu, 15 Sep 2011 19:45:09 +0900 (JST)
NISHIKAWA RIYO <ri007073 ＠ ed.ritsumei.ac.jp> wrote:
> selinuxはserverでは動いていませんでしたが、
> hostのほうで動いていました。
> 早速selinuxをdisableにし、
> 再起動したのですが
> 相変わらずエラーが出ます。
> 他に考えられることはあるでしょうか？
> 以下エラー内容です。
> 
> [root ＠ bront2 ~]# scout -g pcc
> root ＠ nycto00.hpc.cs.ritsumei.ac.jp's password: 
> WINDUP.EXE ＠ nycto00#4627:WARNING: connect_host() at windup.c:217: bront2.hpc.se.ritsumei.ac.jp:48317: Operation not permitted
> 〜〜略〜〜
> WINDUP.EXE ＠ nycto00#4627:ERROR: main() at windup.c:711: bront2.hpc.se.ritsumei.ac.jp:48317: Operation not permitted
> WINDUP.EXE ＠ bront2#3649:ERROR: windup_accept() at windup.c:241: Waiting response from nycto00.hpc.cs.ritsumei.ac.jp timed out.

ちょっと思いつきません.

私なら windup の起動を strace 経由にしてどの system call で
エラー (EPERM) が出ているかを確認して kernel を眺めるところですが...

> 実行するたびにポート番号が変わるのですが
> そちらにも原因がありますでしょうか？

こちらは仕様です.

Kameyama Toyohisa


From kameyama ＠ pccluster.org  Fri Sep 16 14:44:15 2011
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Fri, 16 Sep 2011 14:44:15 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316147204.31055.ri007073@ed.ritsumei.ac.jp>
References: <1315998675.24937.ri007073@ed.ritsumei.ac.jp>
	<4E715946.8060003@riken.jp>
	<1316076969.9977.ri007073@ed.ritsumei.ac.jp>
	<4E71C3B7.7080107@riken.jp>
	<1316083509.20690.ri007073@ed.ritsumei.ac.jp>
	<1316086842338222.kameyama@pccluster.org>
	<1316147204.31055.ri007073@ed.ritsumei.ac.jp>
Message-ID: <4E72E22F.90306@pccluster.org>

亀山です.

(2011年09月16日 13:26), NISHIKAWA RIYO wrote:
>> 私なら windup の起動を strace 経由にしてどの system call で
>> エラー (EPERM) が出ているかを確認して kernel を眺めるところですが...
> アドバイスの通り、早速straceでシステムコールを確認しようと思い
> strace -f -o ./strace.log windup -rsh pcc
> を実行したのですが、No Groupと表示されました。
> また# strace -p pidも試みましたが、
> pidを調べることができませんでした。
> 
> windup の起動を strace 経由にするにはどのように
> したらよろしいでしょうか？

一番簡単なのは,
    $(INSTALL_ROOT)/bin/obj.*/windup.exe
別の名前に変更して, starce を呼ぶ script に書き換えてしまうことですが...
script は
    $(INSTALL_ROOT)/bin/windup
が上記コマンドを呼んでいるので, 参考になると思います.

Kameyama Toyohisa


From kameyama ＠ pccluster.org  Sun Sep 18 06:27:38 2011
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Sun, 18 Sep 2011 06:27:38 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316259871.10302.ri007073@ed.ritsumei.ac.jp>
References: <1316250894.19072.ri007073@ed.ritsumei.ac.jp>
	<1316255581698831.kameyama@pccluster.org>
	<1316259871.10302.ri007073@ed.ritsumei.ac.jp>
Message-ID: <1316294858285812.kameyama@pccluster.org>

亀山です.

On Sat, 17 Sep 2011 20:44:31 +0900 (JST)
NISHIKAWA RIYO <ri007073 ＠ ed.ritsumei.ac.jp> wrote:
> 西川です。
> 丁寧なアドバイスありがとうございました。
> おかげさまでwindupをstraceする事ができました。
> 以下がstarceの出力です。
> 
> execve("/opt/score/7.0.1/bin/obj.x86_64-rhel5-linux2_6/scorehosts.exe", ["/opt/score/7.0.1/bin/obj.x86_64-", "-r", "-q", "-g", "pcc"], [/* 46 vars */]) = 0
> brk(0)                                  = 0x14d31000
> mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2ab34f2bf000
> uname({sys="Linux", node="bront2.hpc.se.ritsumei.ac.jp", ...}) = 0

残念ながらこれは bront2 で実行した
    scorehosts -f -q ^g pcc
の strace 結果ですね...
結果は

> write(1, "nycto01.hpc.cs.ritsumei.ac.jp\n", 30) = 30
> exit_group(0)                           = ?

nycto0 のみになっていますが, 意図どおりでしょうか?

すみません.
scout の最初の mail の
> root ＠ nycto00.hpc.cs.ritsumei.ac.jp's password:
を見落としていました.

scout を使用するには, scout を実行するホストと計算ホスト
(scout -g pcc で pcc に含まれるすべてのホスト) 相互間で
password なしで ssh もしくは rsh できる必要があります.
どうもそのような環境になっていないようで,
nycto00 のパスワードを聞いています.
(あれ, 上の結果は nycto01 のみ, なんで nycto01 のパスワードを
聞いているのでしょうか?)
ssh/rsh の環境を調べてみてください.

Kameyama Toyohisa



From kameyama ＠ riken.jp  Wed Sep 21 01:03:32 2011
From: kameyama ＠ riken.jp (Toyohisa Kameyama)
Date: Wed, 21 Sep 2011 01:03:32 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316526569.27206.ri007073@ed.ritsumei.ac.jp>
References: <1316526569.27206.ri007073@ed.ritsumei.ac.jp>
Message-ID: <1316534612590525.kameyama@riken.jp>

亀山です.

On Tue, 20 Sep 2011 22:49:29 +0900 (JST)
NISHIKAWA RIYO <ri007073 ＠ ed.ritsumei.ac.jp> wrote:

> 亀山さまの丁寧なご指導により
> Score7.0.1でのクラスタ構成する事ができました。
> 亀山様のご指摘通り、SSHとRSHsの設定に
> 問題がありました。
> どうもありがとうございます。
> 
> しかしここにきてSore7.0.1では
> omniOpenMPが使えないと知り、CentOS4.4と
> Score6.0.2.1でクラスタを組んでいます。
> 現在rpmtestにをおこなっているのですが
> 
> pmEthernetOpenDevice("/var/score/scoreboard/bronto.Eo0:GB3Z", 0xbffff1b8): pmEthernetConfigure("/var/score/scoreboard/bronto.Eo0:GB3Z", 0xbffff1b4): 2
> pmOpenDevice: No such file or directory(2)
> 
> というエラーがでて、進めずにいます。
> 対処方をご教授願えたらと思います。

設定ファイルが読めない可能性が高そうです.
PM/Ethernet の config file があるかどうか,
rpmtest を行うホストの　/var/score/scoreboard/bronto.Eo0:GB3Z
があるかどうか確認してください.

Kameyama Toyohisa



From kameyama ＠ pccluster.org  Sun Sep 25 18:57:29 2011
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Sun, 25 Sep 2011 18:57:29 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316937537.11537.ri007073@ed.ritsumei.ac.jp>
References: <1316526569.27206.ri007073@ed.ritsumei.ac.jp>
	<1316534612590525.kameyama@riken.jp>
	<1316937537.11537.ri007073@ed.ritsumei.ac.jp>
Message-ID: <1316944649729629.kameyama@pccluster.org>

亀山です.

On Sun, 25 Sep 2011 16:58:57 +0900 (JST)
NISHIKAWA RIYO <ri007073 ＠ ed.ritsumei.ac.jp> wrote:
> PM/Ethernet の config file
> rpmtest を行うホストの
> /var/score/scoreboard/bronto.Eo0:GB3Z
> ともにありました。
> 自分なりにいろいろ調べ、これで間違いないと
> 考えるのですが。。。
> ファイルを添附させていただきます。

PM/Ethernet を使用する場合は, etherpmctl
    http://www.pccluster.org/score_doc/score-6.0.2/html/ja/man/man8/etherpmctl.html
で unit 番号と network device を結びつける必要があります.
default は unit 0 と eth0 を結びつけているので, それ以外を使用したい場合は
/etc/pm_ethernet.conf
    http://www.pccluster.org/score_doc/score-6.0.2/html/ja/man/man5/pm_ethernet.conf.html
を編集してください.
現在の値は
   /proc/pm/ethernet/0/info
をみてください.

Kameyama Toyohisa


From kameyama ＠ pccluster.org  Mon Sep 26 16:36:24 2011
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Mon, 26 Sep 2011 16:36:24 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?c2NvcmVob3N0cy5kYhskQiRONS0bKEI=?=
 =?iso-2022-jp?b?GyRCPVIbKEI=?=
In-Reply-To: <1316949212.2855.ri007073@ed.ritsumei.ac.jp>
References: <1316526569.27206.ri007073@ed.ritsumei.ac.jp>
	<1316534612590525.kameyama@riken.jp>
	<1316937537.11537.ri007073@ed.ritsumei.ac.jp>
	<1316944649729629.kameyama@pccluster.org>
	<1316949212.2855.ri007073@ed.ritsumei.ac.jp>
Message-ID: <4E802B78.8000608@pccluster.org>

亀山です.

(2011年09月25日 20:13), NISHIKAWA RIYO wrote:
> 御返事まことににありがとうございます
> # etherpmctl eth2 -pm on -unit 0 を実行したところ
> epmctl IOCTL failed(16)
> Trying old style....device: eth2
> etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!!
> というエラーがでました。
> そこでpm_ethernetのデバイスが組みこまれてないのではと思いnetdevと% dmesg | grep pmをためしました。
> 
> # /opt/score/install/linux2.6/netdev -a　の結果は、
> eth0 bnx2
> eth1 bnx2
> eth2 e1000_scorepm1
> となりました。

現象としては

http://www.pccluster.org/pipermail/score-users-jp/2007-December/003356.html
に似ているような...

http://www.pccluster.org/pipermail/score-users-jp/2007-December/003358.html
をチェックしてみてください.

Kameyama Toyohisa


