From tachi ＠ mickey.ai.kyutech.ac.jp  Sun Dec  1 15:21:49 2002
From: tachi ＠ mickey.ai.kyutech.ac.jp (立川 純)
Date: Sun, 1 Dec 2002 15:21:49 +0900
Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー
Message-ID: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp>

九州工業大学 立川と申します．
よろしくお願いいたします．

SCore5.2.0に含まれるOmni/SCASHをインストールし，laplace.ompサンプルを
コンパイルした段階で以下のようなライブラリ関連のエラーがでました．

[root ＠ ohnishi laplace.omp]# cd /opt/score/example/scash/laplace.omp/
[root ＠ ohnishi laplace.omp]# ls
Makefile  laplace.h  laplace_omp.c  laplace_omp.o  second.c  second.o
[root ＠ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm
Compiling 'laplace_omp.c'...
Compiling 'second.c'...
/opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_in':
ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc'
/opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_out':
ompsm_scash.o(.text+0x1188): undefined reference to `atomic_dec'
ompsm_scash.o(.text+0x11cc): undefined reference to `atomic_inc'
collect2: ld returned 1 exit status
Error 1

同じ環境で，/opt/score/example/scash/laplace.c/ 以下の SCASHサンプルは
コンパイル，実行共にできております．

どなたか，考えられる問題点やその解決策または，コメント等いただけると幸いです．


-- 
_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/
_/ 立川 純                                         /_/
_/ 九州工業大学大学院情報工学研究科 佐藤研究室所属 /_/
_/ tachi ＠ mickey.ai.kyutech.ac.jp                   /_/  
_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/



From msato ＠ is.tsukuba.ac.jp  Mon Dec  2 01:32:03 2002
From: msato ＠ is.tsukuba.ac.jp (Mitsuhisa Sato)
Date: Mon, 02 Dec 2002 01:32:03 +0900
Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー
In-Reply-To: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp>
References: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp>
Message-ID: <20021202013203Z.msato@is.tsukuba.ac.jp>

立川 様、

pgi用の関数が呼ばれているようです。少し、しらべてみますので、お待ちく
ださい。

さとう。

From: 立川 純 <tachi ＠ mickey.ai.kyutech.ac.jp>
Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー
Date: Sun, 1 Dec 2002 15:21:49 +0900

> 
> 九州工業大学 立川と申します．
> よろしくお願いいたします．
> 
> SCore5.2.0に含まれるOmni/SCASHをインストールし，laplace.ompサンプルを
> コンパイルした段階で以下のようなライブラリ関連のエラーがでました．
> 
> [root ＠ ohnishi laplace.omp]# cd /opt/score/example/scash/laplace.omp/
> [root ＠ ohnishi laplace.omp]# ls
> Makefile  laplace.h  laplace_omp.c  laplace_omp.o  second.c  second.o
> [root ＠ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm
> Compiling 'laplace_omp.c'...
> Compiling 'second.c'...
> /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_in':
> ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc'
> /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_out':
> ompsm_scash.o(.text+0x1188): undefined reference to `atomic_dec'
> ompsm_scash.o(.text+0x11cc): undefined reference to `atomic_inc'
> collect2: ld returned 1 exit status
> Error 1
> 
> 同じ環境で，/opt/score/example/scash/laplace.c/ 以下の SCASHサンプルは
> コンパイル，実行共にできております．
> 
> どなたか，考えられる問題点やその解決策または，コメント等いただけると幸いです．
> 
> 
> -- 
> _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/
> _/ 立川 純                                         /_/
> _/ 九州工業大学大学院情報工学研究科 佐藤研究室所属 /_/
> _/ tachi ＠ mickey.ai.kyutech.ac.jp                   /_/  
> _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/
> 
> _______________________________________________
> SCore-users-jp mailing list
> SCore-users-jp ＠ pccluster.org
> http://www.pccluster.org/mailman/listinfo/score-users-jp


From kameyama ＠ pccluster.org  Mon Dec  2 09:45:53 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 02 Dec 2002 09:45:53 +0900
Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー
In-Reply-To: Your message of "Sun, 01 Dec 2002 15:21:49 JST."
             <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp>
Message-ID: <20021202004553.682EB20024@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <20021201152149.5598cbe6.tachi ＠ mickey.ai.kyutech.ac.jp> 立川 純 <tachi ＠ mickey.ai.kyutech.ac.jp> wrotes:
> コンパイルした段階で以下のようなライブラリ関連のエラーがでました．
> 
> [root ＠ ohnishi laplace.omp]# cd /opt/score/example/scash/laplace.omp/
> [root ＠ ohnishi laplace.omp]# ls
> Makefile  laplace.h  laplace_omp.c  laplace_omp.o  second.c  second.o
> [root ＠ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm
> Compiling 'laplace_omp.c'...
> Compiling 'second.c'...
> /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In
>  function `_ompsm_scash_lib_in':
> ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc'
(中略)
> どなたか，考えられる問題点やその解決策または，コメント等いただけると幸いです．

atomic_inc()/atomic_dec() は kernel の header で inline 定義されている関数です.
redhat 7.2 では
    /usr/include/asm/atomic.h
で見えていたのですが, redhat 7.3 以降は user 関数は kernel header を
使うべきでないと考えたようで, ここに install しなくなりました.
kernnel-source を入れれば
    /usr/src/linux-2.4/include/asm/atomic.h
では見えますので, SCore の compile driver でば redhat 7.3 であれば
こちらを見るようにしています.

ということで, その host で上記ファイルがあるかどうか確認して, 無ければ
    kernel-source
パッケージを install してください.
    

                       from Kameyama Toyohisa


From hori ＠ swimmy-soft.com  Mon Dec  2 10:28:10 2002
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Mon, 2 Dec 2002 10:28:10 +0900
Subject: [SCore-users-jp] Re: [SCore-users] Best way to increase the stacksize limit on MPI jobs?
In-Reply-To: <200211280650.gAS6ohL13248@zeralda.streamline.com>
References: <200211280650.gAS6ohL13248@zeralda.streamline.com>
Message-ID: <3121669690.hori0002@swimmy-soft.com>

hi, all,

>Does anyone know if it is possible for an mpi processes to increase 
>the stack 
>size limits ? 
>
>
>I had this query from one of our users:
>
>
>>It appears that one of our users is having problems with stacksize 
>>limits in his SCore MPI program (VASP).  
>>
>>The command 
>>ulimit -s unlimited
>>works in a shell on the server, including within the shell script 
>>submitted to qsub. What is the best way to have this command executed on 
>>the relevant compute nodes (or somehow increase the stacksize to a 
>>larger value like 256 MB if unlimited is not possible)?
>
>ulimit sets the stack size for a shell, so is not probably not what is
>wanted. Probably this is a general programming problem not related to
>Score mpi.

Add "ulimit" in the file /etc/rc.d/init.d/scoutd to increase the 
stack limit.

----
Atsushi HORI
SCore Developer
Swimmy Software, Inc.

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kouchi ＠ fasol.fujitsu.com  Mon Dec  2 10:31:39 2002
From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI)
Date: Mon, 02 Dec 2002 10:31:39 +0900
Subject: [SCore-users-jp] monitorオプションについて
In-Reply-To: <20021129090909.604E220024@neal.il.is.s.u-tokyo.ac.jp>
References: <20021129090909.604E220024@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <200212020131.AA00103@kouchi01.fasol.fujitsu.com>

亀山様

ご回答いただきありがとうございました。幸地です。
結果を報告させていただきます。
宜しくお願い致します。

>結局, 以下の方法しか無いような気がします.
>1. /usr/lib/libGL.so* を redhat 7.2 のものに置き換えてしまう.
>2. Mesa library を install して loadmonitor3d を作成し直す.

上記の番号で"1"を実行し、monitorオプションを追加してscrunを実行
しました。
SCore-5.0.0の時と同様のGUIが表示されました。
強制的にインストールしたパッケージは、以下の通りです。

Mesa-3.4.2-7.i386.rpm        
Mesa-demos-3.4.2-7.i386.rpm  
Mesa-devel-3.4.2-7.i386.rpm

以上です。


--------------------------------------------------
Hiroyuki KOUCHI

Systems Engnieering Dept. II
Solutions Systems Business Div.	

FUJITSU ADVANCED SOLUTIONS LIMITED

1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama,
TEL:+81 45-438-2105	FAX:+81 45-438-2318
URL http://www.fasol.fujitsu.com	

E-mail: kouchi ＠ fasol.fujitsu.com
--------------------------------------------------       





From msato ＠ is.tsukuba.ac.jp  Mon Dec  2 13:53:03 2002
From: msato ＠ is.tsukuba.ac.jp (Mitsuhisa Sato)
Date: Mon, 02 Dec 2002 13:53:03 +0900
Subject: [SCore-users-jp] is there free() func for ompsm_galloc()?
In-Reply-To: <ucuvg2h8135.wl@chicken.hpc.cs.ritsumei.ac.jp>
References: <ucuvg2h8135.wl@chicken.hpc.cs.ritsumei.ac.jp>
Message-ID: <20021202135303J.msato@is.tsukuba.ac.jp>

宮城様、

現在、ありません。というのは、gallocの方は、特定のマッピングをいれて
allocationするのですが、これをfreeしても、あとで変更するのが、現在の実
装ではむずかしいのでということで、freeはつくっておりません。

必要ならば、個別にご相談ということで。

さとう。

From: Masato Miyagi <miyagi ＠ hpc.cs.ritsumei.ac.jp>
Subject: [SCore-users-jp] is there free() func for ompsm_galloc()?
Date: Fri, 29 Nov 2002 13:13:50 +0900

> はじめまして、立命館大学の宮城と申します。
> 
> 現在、既存の逐次プログラムを SCoreのOpenMP環境へ移植する
> ということをしています。
> 
> 分散共有メモリを動的に確保するのに、ompsm_galloc()
> という関数をmalloc()の代わりに使用するということですが、
> このompsm_galloc()で確保したメモリをfree()する関数は
> 用意されていますでしょうか？
> 
> 一通り調べてみても分からなかったのでお尋ねします。
> よろしくお願いします。
> 
> --
> 宮城雅人 <miyagi ＠ hpc.cs.ritsumei.ac.jp>
> 立命館大学理工学部情報学科 高性能計算研究室
> _______________________________________________
> SCore-users-jp mailing list
> SCore-users-jp ＠ pccluster.org
> http://www.pccluster.org/mailman/listinfo/score-users-jp


From fujiwara ＠ abmail.elec.ryukoku.ac.jp  Tue Dec  3 19:15:33 2002
From: fujiwara ＠ abmail.elec.ryukoku.ac.jp (Fujiwara Shinji)
Date: Tue, 03 Dec 2002 19:15:33 +0900
Subject: [SCore-users-jp] SCoreのインストールトラブルに関して
Message-ID: <3DEC8445.1040100@abmail.elec.ryukoku.ac.jp>

龍谷大学の藤原と申します。初心者ですのでよろしくお教え下さい。
システム構成は２台のIntel PCを1000baseTでネットワークを組んで
います。OSはRedHat7.3をインストールしています。SCore5.2.0を
RPMでインストールを始めたところ、以下のようなエラーメッセージ：

# /etc/rc.d/init.d/pm_ethernet start
modprobe: Can't open dependencies file
/lib/modules/2.4.18-3smp/modules.dep (No
such file or directory)
n Starting PM/Ethernet:
device: eth0
etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!!

を出力したので残りのインストールが不可能となりました。
原因と対処方法をお教え下さい。



From kameyama ＠ pccluster.org  Tue Dec  3 19:23:35 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Tue, 03 Dec 2002 19:23:35 +0900
Subject: [SCore-users-jp] SCoreのインストールトラブルに関して
In-Reply-To: Your message of "Tue, 03 Dec 2002 19:15:33 JST."
             <3DEC8445.1040100@abmail.elec.ryukoku.ac.jp>
Message-ID: <20021203102335.1579420024@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <3DEC8445.1040100 ＠ abmail.elec.ryukoku.ac.jp> Fujiwara Shinji <fujiwara ＠ abmail.elec.ryukoku.ac.jp> wrotes:
> 龍谷大学の藤原と申します。初心者ですのでよろしくお教え下さい。
> システム構成は２台のIntel PCを1000baseTでネットワークを組んで
> います。OSはRedHat7.3をインストールしています。SCore5.2.0を
> RPMでインストールを始めたところ、以下のようなエラーメッセージ：
> 
> # /etc/rc.d/init.d/pm_ethernet start
> modprobe: Can't open dependencies file
> /lib/modules/2.4.18-3smp/modules.dep (No
> such file or directory)
> n Starting PM/Ethernet:
> device: eth0
> etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!!

SCore を動かすためには compute host の kernel を変更する必要があります.
    /opt/score/doc/html/ja/installation/kernel-binary.html
に書かれている kernel の install を行ってください.
なお, kernel-headers および kernel-source rpm はありませんので.
kernel-doc と kernel, kernel-smp のみを入れ換えてください.

                       from Kameyama Toyohisa


From rguenth ＠ tat.physik.uni-tuebingen.de  Tue Dec  3 20:23:18 2002
From: rguenth ＠ tat.physik.uni-tuebingen.de (Richard Guenther)
Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET)
Subject: [SCore-users-jp] [SCore-users] Races inside SCore(?)
Message-ID: <Pine.LNX.4.33.0212031214090.19216-100000@bellatrix.tat.physik.uni-tuebingen.de>

Hi!

I experience problems using SCore (version 4.2.1 with 100MBit
and 3.3.1 with Myrinet) in
conjunction with the cheetah (v1.1.4) library used by POOMA.
The problem appears if I use a nx2 processor setup and does
not appear in nx1 mode. The problem is all processes spinning
in kernel space (>90% system time) and no progress achieved
anymore. Does this sound familiar to anyone?

Now to elaborate some more. Cheetah presents sort of one-sided
communication interface to the user and at certain points polls
for messages with a construct like (very simplified)

 do {
    MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status);
 } while (!flag);

now, if I insert a sched_yield() or a usleep(100) after the
MPI_Iprobe(), the problem goes away (well, not completely, but
it is a lot harder to reproduce). SCore usually does not
detect any sort of deadlock, but ocasionally it does.

Now the question, may this be a race condition somewhere in the
SCore code that handles multiple processors on one node? Where
should I start to look at to fix the problem?

Thanks for any hints,
   Richard.

PS: please CC me, I'm not on the list.

--
Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From emile.carcamo ＠ nec.fr  Wed Dec  4 19:54:28 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Wed, 04 Dec 2002 11:54:28 +0100
Subject: [SCore-users-jp] [SCore-users] troubles with gm-1.6.3 port on SCore 5.2.0
Message-ID: <200212041054.gB4AsSM05460@emilepc.ess.nec.fr>

Dear List Members,

	Now that my topology problem with Myrinet-2k has been solved ...
	I'd like to give a try to gm-1.6.3 port on a SCore 5.2.0 cluster.

	On one node, I installed what's required for gcc/make etc... and
	the kernel-source-score-2.4.18-3SCORE as well. I did not forget
	the "kernel-source-score.efi" patch provided by Kameyama-San.

	I'm a little puzzled about how to proceed for the next step : re-
	compile a 2.4.18-3SCORE kernel WITHOUT PM at all, boot on that one
	and start porting gm-1.6.3. Right ??

	If I try "./configure && make" directly without building any kernel
	here are the errors I got :

<node01.ess.nec.fr>[gm-1.6.3_Linux]<317>pwd
/work/ecarcamo/gm-1.6.3_Linux
<node01.ess.nec.fr>[gm-1.6.3_Linux]<318>uname -a
Linux node01.ess.nec.fr 2.4.18-3SCOREsmp #1 SMP Fri Oct 11 12:23:22 JST 2002 
i686 unknown
<node01.ess.nec.fr>[gm-1.6.3_Linux]<319>make 
gcc -c -Idrivers/linux/gm -Iinclude -I./include -DGM_BUILDING_GM=1 
-Decarcamo=1 -DGM_DEBUG=0 -DGM_BUILDING_INTERNALS=1 -DGM_SIZEOF_UP_T=4 
-DGM_KERNEL=1 -DGM_BUILDING_INTERNALS=1 -Idrivers -I./drivers -Izlib -I./zlib 
-Idrivers/linux -I./drivers/linux -Idrivers/linux/gm -I./drivers/linux/gm 
-DMODULE -D__KERNEL__ -I\/usr/src/linux-2.4.18score/include -D__SMP__ 
-DMODVERSIONS -include /usr/src/linux-2.4.18score/include/linux/modversions.h 
-DGM_DEBUG_SETJMP=0 -O2 drivers/linux/gm/gm_arch_fork.c.c -o 
drivers/linux/gm/gm_arch_fork_k.o
drivers/linux/gm/gm_arch_fork.c:102:42: macro "copy_user_page" requires 4 
arguments, but only 3 given
make: *** [drivers/linux/gm/gm_arch_fork_k.o] Error 1
<node01.ess.nec.fr>[gm-1.6.3_Linux]<320>

	This macro from "highmem.h" is totally different if you examine /usr/
	include/linux (RedHat origin) or /usr/src/linux/include/linux (2.4.18-3
	SCore kernel origin). Who should I believe ?? Has anyone already worked
	on that Myrinet2K-GM issue ?? Thanks for your inputs, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /



_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Wed Dec  4 20:24:48 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 04 Dec 2002 20:24:48 +0900
Subject: [SCore-users-jp] [SCore-users] troubles with gm-1.6.3 port on SCore 5.2.0
In-Reply-To: Your message of "Wed, 04 Dec 2002 11:54:28 JST."
             <200212041054.gB4AsSM05460@emilepc.ess.nec.fr>
Message-ID: <20021204112448.88F5120042@neal.il.is.s.u-tokyo.ac.jp>

In article <200212041054.gB4AsSM05460 ＠ emilepc.ess.nec.fr> Emile CARCAMO <emile.carcamo ＠ nec.fr> wrotes:
> <node01.ess.nec.fr>[gm-1.6.3_Linux]<317>pwd
> /work/ecarcamo/gm-1.6.3_Linux
> <node01.ess.nec.fr>[gm-1.6.3_Linux]<318>uname -a
> Linux node01.ess.nec.fr 2.4.18-3SCOREsmp #1 SMP Fri Oct 11 12:23:22 JST 2002 
> i686 unknown
> <node01.ess.nec.fr>[gm-1.6.3_Linux]<319>make 
> gcc -c -Idrivers/linux/gm -Iinclude -I./include -DGM_BUILDING_GM=1 
> -Decarcamo=1 -DGM_DEBUG=0 -DGM_BUILDING_INTERNALS=1 -DGM_SIZEOF_UP_T=4 
> -DGM_KERNEL=1 -DGM_BUILDING_INTERNALS=1 -Idrivers -I./drivers -Izlib -I./zlib
>  
> -Idrivers/linux -I./drivers/linux -Idrivers/linux/gm -I./drivers/linux/gm 
> -DMODULE -D__KERNEL__ -I\/usr/src/linux-2.4.18score/include -D__SMP__ 
> -DMODVERSIONS -include /usr/src/linux-2.4.18score/include/linux/modversions.h
>  
> -DGM_DEBUG_SETJMP=0 -O2 drivers/linux/gm/gm_arch_fork.c.c -o 
> drivers/linux/gm/gm_arch_fork_k.o
> drivers/linux/gm/gm_arch_fork.c:102:42: macro "copy_user_page" requires 4 
> arguments, but only 3 given
> make: *** [drivers/linux/gm/gm_arch_fork_k.o] Error 1

There is the probrem for IA64 patch.

Please move following line to out of #endif:
    #define copy_user_page(new,old,addr) copy_page(new,old)

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ bd6.so-net.ne.jp  Thu Dec  5 00:03:25 2002
From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto)
Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <Pine.LNX.4.33.0212031214090.19216-100000@bellatrix.tat.physik.uni-tuebingen.de>
References: <Pine.LNX.4.33.0212031214090.19216-100000@bellatrix.tat.physik.uni-tuebingen.de>
Message-ID: <20021205.000325.74756171.s-sumi@bd6.so-net.ne.jp>

Hi.

From: Richard Guenther <rguenth ＠ tat.physik.uni-tuebingen.de>
Subject: [SCore-users] Races inside SCore(?)
Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET)
Message-ID: <Pine.LNX.4.33.0212031214090.19216-100000 ＠ bellatrix.tat.physik.uni-tuebingen.de>

rguenth> I experience problems using SCore (version 4.2.1 with 100MBit
rguenth> and 3.3.1 with Myrinet) in
rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA.
rguenth> The problem appears if I use a nx2 processor setup and does
rguenth> not appear in nx1 mode. The problem is all processes spinning
rguenth> in kernel space (>90% system time) and no progress achieved
rguenth> anymore. Does this sound familiar to anyone?

rguenth> Now to elaborate some more. Cheetah presents sort of one-sided
rguenth> communication interface to the user and at certain points polls
rguenth> for messages with a construct like (very simplified)
rguenth> 
rguenth>  do {
rguenth>     MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status);
rguenth>  } while (!flag);
rguenth> 
rguenth> now, if I insert a sched_yield() or a usleep(100) after the
rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but
rguenth> it is a lot harder to reproduce). SCore usually does not
rguenth> detect any sort of deadlock, but ocasionally it does.
rguenth> 
rguenth> Now the question, may this be a race condition somewhere in the
rguenth> SCore code that handles multiple processors on one node? Where
rguenth> should I start to look at to fix the problem?

We have not been seen such situation. Some race condition or
scheduling problem may occur.  MPI_Iprobe does only check message
queue. When user program is in MPI infinite loop, SCore detects the
loop as deadlock. However, in your case, program seems to be working
well.

When the deadlock has occurred, the other process is also running or
sleeping?  Could you attatch and test the program using gdb with
process number?  

such as

% gdb your-program-binary process-number

and test the program using backtrace and step execution.

Shinji.

rguenth> Thanks for any hints,
rguenth>    Richard.
rguenth> 
rguenth> PS: please CC me, I'm not on the list.
rguenth> 
rguenth> --
rguenth> Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
rguenth> 
rguenth> 
rguenth> _______________________________________________
rguenth> SCore-users mailing list
rguenth> SCore-users ＠ pccluster.org
rguenth> http://www.pccluster.org/mailman/listinfo/score-users
rguenth> 
-----
Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From emile.carcamo ＠ nec.fr  Thu Dec  5 00:32:18 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Wed, 04 Dec 2002 16:32:18 +0100
Subject: [SCore-users-jp] [SCore-users] troubles with gm-1.6.3 port on 
 SCore 5.2.0
In-Reply-To: Your message of "Wed, 04 Dec 2002 20:24:48 +0900."
             <20021204112448.88F5120042@neal.il.is.s.u-tokyo.ac.jp> 
Message-ID: <200212041532.gB4FWIM08108@emilepc.ess.nec.fr>


kameyama ＠ pccluster.org said:
> There is the probrem for IA64 patch.
> Please move following line to out of #endif:
>     #define copy_user_page(new,old,addr) copy_page(new,old)


Hi All,

	As suggested by Kameyama-San, I commented this
	line 102 in the source file of the "gm-1.6.3"
	drivers/linux/gm/gm_arch_fork.c and then all
	the install process for Myrinet/GM went fine :

	./configure --with-linux=/usr/src/linux
	make
	cd binary
	./GM_INSTALL <install_dir>
rsh-all -g group <install_dir>/sbin/gm_install_drivers
	rsh-all -g group /etc/init.d/gm start

	Thanks again for the help, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /




_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From tachi ＠ mickey.ai.kyutech.ac.jp  Thu Dec  5 03:04:01 2002
From: tachi ＠ mickey.ai.kyutech.ac.jp (立川 純)
Date: Thu, 5 Dec 2002 03:04:01 +0900
Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー
In-Reply-To: <20021202004553.682EB20024@neal.il.is.s.u-tokyo.ac.jp>
References: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp>
	<20021202004553.682EB20024@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <20021205030401.6bca9303.tachi@mickey.ai.kyutech.ac.jp>

さとう様，亀山様，ご回答ありがとうございます．

> > [root ＠ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm
> > Compiling 'laplace_omp.c'...
> > Compiling 'second.c'...
> > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In
> >  function `_ompsm_scash_lib_in':
> > ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc'

> atomic_inc()/atomic_dec() は kernel の header で inline 定義されている関数です.
> redhat 7.2 では
>     /usr/include/asm/atomic.h
> で見えていたのですが, redhat 7.3 以降は user 関数は kernel header を
> 使うべきでないと考えたようで, ここに install しなくなりました.
> kernnel-source を入れれば
>     /usr/src/linux-2.4/include/asm/atomic.h
> では見えますので, SCore の compile driver でば redhat 7.3 であれば
> こちらを見るようにしています.
> 
> ということで, その host で上記ファイルがあるかどうか確認して, 無ければ
>     kernel-source
> パッケージを install してください.

ご指摘されたファイルですが，kernel-sourceパッケージが
インストールされた状況で上記のようなエラーがでているようです．
(両方ともファイルが存在している状況です．)

[root ＠ ohnishi scash]# ls /usr/src/linux-2.4/include/asm/atomic.h 
/usr/src/linux-2.4/include/asm/atomic.h
[root ＠ ohnishi scash]# ls /usr/include/asm/atomic.h 
/usr/include/asm/atomic.h
[root ＠ ohnishi scash]# rpm -qa|grep kernel      
kernel-debug-2.4.18-3
kernel-pcmcia-cs-3.1.27-18
kernel-2.4.18-3
kernel-utils-2.4-7.4
kernel-source-2.4.18-3
kernel-doc-2.4.18-3

どちらかのファイルを消す，またはどちらも消して，コンパイルしてみましたが，
いずれもコンパイル自体も成功し，アプリケーションのコンパイル(omcc --omniconfig=scash ...)
で最初のエラーが出力されます．

これは，確認ですが，両方消してもコンパイルが成功するようなことはあり得るでしょうか？
以上，よろしくお願いします．

-- 
_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/
_/ 立川 純                                         /_/
_/ 九州工業大学大学院情報工学研究科 佐藤研究室所属 /_/
_/ tachi ＠ mickey.ai.kyutech.ac.jp                   /_/  
_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/



From east ＠ nil.co.jp  Thu Dec  5 09:11:55 2002
From: east ＠ nil.co.jp (satoshi higashizaki)
Date: Thu, 05 Dec 2002 09:11:55 +0900
Subject: [SCore-users-jp] Resource limit エラーについて
Message-ID: <20021205082518.8F2F.EAST@nil.co.jp>

はじめまして，

東崎と申します．
SCoreはもちろん，PCクラスタに関しまして
全くの新人なのですが，何卒よろしくお願いいたします．

[ はじめに ]
現在 mpijava なるものを使用して
MPI + Java での 並列化を 検討をしております．
mpijavaは 単なる JavaからJNI を使用した MPIへのラッパー
となっていますので，SCore/MPICH はもちろん
SCoreの一部を 書き換えていないことは確認しました．
ですので，こちらへの投稿も可能かと考え お尋ねさせて頂きました．


SCore/MPICH + mpijava + Java での動作確認を
してみたところ 以下のメッセージが表示されて
プログラムが 途中 で落ちてしまう現象が発生しております．

# 実行時間の短いものならば 結果は得られるのですが
# 必ず発生します．

-----------------------------------------------
<0:0> SCORE: 2 nodes (2x1) ready.

###プログラム実行結果の表示 （あれば）###

<0> SCORE WARNING: Physical memory might be exhausted.
<1> SCORE WARNING: Physical memory might be exhausted.
<0> SCORE: Memory shortage.
<1> SCORE: Memory shortage.
<0:0>SCore: *** SIGNAL EXCEPTION eip=0x420292e5, cr2=0x       0 ***
<0:0>SCore: gs=0x0047, fs=0x0000, es=0x002b, ds=0x002b
<0:0>SCore: edi=0x400288e8, esi=0x4c60d77c, ebp=0x4c60d764, esp=0x4c60d75c
<0:0>SCore: ebx=0x4c60d77c, edx=0x4213030c, ecx=0x00000008, eax=0xfffffffc
<0:0>SCore: trapno=0x00000000, err=0x00000000, eip=0x420292e5, cs=0x0023
<0:0>SCore: esp_at_signal=0x4c60d75c, ss=0x002b, oldmask=0x80000004, cr2=0x00000000
<0:0> Trying to attach GDB (DISPLAY=:0): Exception signal (SIGHUP)
<1:0>SCore: *** SIGNAL EXCEPTION eip=0x420292e5, cr2=0x       0 ***
<1:0>SCore: gs=0x0047, fs=0x0000, es=0x002b, ds=0x002b
<1:0>SCore: edi=0x400288e8, esi=0x4c60d77c, ebp=0x4c60d764, esp=0x4c60d75c
<1:0>SCore: ebx=0x4c60d77c, edx=0x4213030c, ecx=0x00000008, eax=0xfffffffc
<1:0>SCore: trapno=0x00000000, err=0x00000000, eip=0x420292e5, cs=0x0023
<1:0>SCore: esp_at_signal=0x4c60d75c, ss=0x002b, oldmask=0x80000004, cr2=0x00000000
<1:0> Trying to attach GDB (DISPLAY=:0): Exception signal (SIGHUP)
SCORE: Resource limit.
-------------------------------------------------

mpijavaの挙動として，なぜかJavaを 複数起動し
メモリを圧迫していることも確認できているのですが，
搭載メモリの 空き領域には 余裕があります．

# scrun の -resource オプションで得られる 要求メモリ量は
# 200M 近くなっています．
# ノーマルの mpich-1.2.4 + mpijava でも同じく Javaは複数起動します．

サポート対象外と言われてしまえば それまでなのですが，
今後のためもあり 以下のことに お答えいただけると ありがたく
思います．

１． 各エラーメッセージが 表示される条件の詳細
	・Physical....
	・Memory....
	・SIGNAL EXCEPTION...
	・Resorce limit

２．scrun の -resource オプションにて
	・要求メモリ量とはなにか．
	・この要求メモリが プログラム実行時に どう影響するのか
		・要求メモリ量が搭載メモリ量を上回った場合の挙動 など．
	・ -memorylimit との関係
	・sc_console上での limit との関係
	
３．現状の問題に対して，回避可能であるか？
	あればその回避方法案など


以上，よろしくお願いいたします．




 Name    :  Satoshi Higashizaki
 E_mail    :   east ＠ nil.co.jp
 Company :  Nil Software corp.



From kameyama ＠ pccluster.org  Thu Dec  5 09:54:10 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 05 Dec 2002 09:54:10 +0900
Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー
In-Reply-To: Your message of "Thu, 05 Dec 2002 03:04:01 JST."
             <20021205030401.6bca9303.tachi@mickey.ai.kyutech.ac.jp>
Message-ID: <20021205005410.682B020042@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <20021205030401.6bca9303.tachi ＠ mickey.ai.kyutech.ac.jp> 立川 純 <tachi ＠ mickey.ai.kyutech.ac.jp> wrotes:
> 
> さとう様，亀山様，ご回答ありがとうございます．
> 
> > > [root ＠ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c
>  -lm
> > > Compiling 'laplace_omp.c'...
> > > Compiling 'second.c'...
> > > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o)

この path を見逃していました.
Omni は (SCore も?) rpm からではなく, 自分でコンパイルしたものですね?

該当する symbol が入ったのは Omni をコンパイルした時点ということに
なります.
(そういえば, rpm を作成したのは redhat 7.2 でした...)

とりあえず, 環境変数 CPPFLAGS に
    -I/usr/src/linux-2.4/include
を設定してから Omni を作り直してください.

                       from Kameyama Toyohisa


From miyagi ＠ hpc.cs.ritsumei.ac.jp  Thu Dec  5 10:27:59 2002
From: miyagi ＠ hpc.cs.ritsumei.ac.jp (Masato Miyagi)
Date: Thu, 05 Dec 2002 10:27:59 +0900
Subject: [SCore-users-jp] is there free() func for ompsm_galloc()?
In-Reply-To: <20021202135303J.msato@is.tsukuba.ac.jp>
References: <ucuvg2h8135.wl@chicken.hpc.cs.ritsumei.ac.jp>
	<20021202135303J.msato@is.tsukuba.ac.jp>
Message-ID: <ucuk7ipfe5c.wl@chicken.hpc.cs.ritsumei.ac.jp>

さとう様

立命館大学の宮城です。
ご回答ありがとうございます。

やはりそうですか・・。
移植しようとしているのはJPEG2000 codecのJasPerという
プログラム(ライブラリ)なのですが、そのほとんどが
malloc()で確保したメモリをポインタで受け渡しして操作しているので
free()できないと非常に厳しいです。

試しにompsm_galloc()で確保してfree()をコメントアウトして
突っ走ってみたところ100x100程度までの画像しか扱えませんでした。
(メモリは各計算ノード256MBです)
この程度だと並列化する意味がないですね・・。

どうやら、OpenMPの指示文をちょこっと入れてmalloc()の関数を置き換える
だけでさくっといけると思っていたのが甘かったようです。
もう一度考え直してみます。

ありがとうございました。

--
宮城雅人 <miyagi ＠ hpc.cs.ritsumei.ac.jp>
立命館大学理工学部情報学科 高性能計算研究室

At Mon, 02 Dec 2002 13:53:03 +0900,
Mitsuhisa Sato wrote:
> 
> 宮城様、
> 
> 現在、ありません。というのは、gallocの方は、特定のマッピングをいれて
> allocationするのですが、これをfreeしても、あとで変更するのが、現在の実
> 装ではむずかしいのでということで、freeはつくっておりません。
> 
> 必要ならば、個別にご相談ということで。
> 
> さとう。
> 
> From: Masato Miyagi <miyagi ＠ hpc.cs.ritsumei.ac.jp>
> Subject: [SCore-users-jp] is there free() func for ompsm_galloc()?
> Date: Fri, 29 Nov 2002 13:13:50 +0900
> 
> > はじめまして、立命館大学の宮城と申します。
> > 
> > 現在、既存の逐次プログラムを SCoreのOpenMP環境へ移植する
> > ということをしています。
> > 
> > 分散共有メモリを動的に確保するのに、ompsm_galloc()
> > という関数をmalloc()の代わりに使用するということですが、
> > このompsm_galloc()で確保したメモリをfree()する関数は
> > 用意されていますでしょうか？
> > 
> > 一通り調べてみても分からなかったのでお尋ねします。
> > よろしくお願いします。



From suga ＠ sse.co.jp  Thu Dec  5 11:47:59 2002
From: suga ＠ sse.co.jp (Sugano, Mitsukuni)
Date: Thu, 05 Dec 2002 11:47:59 +0900
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
References: <3DE5DDC4.7FCB792B@sse.co.jp>
		<20021128.182842.118600028.s-sumi@flab.fujitsu.co.jp>
		<3DE5E688.A3D723D@sse.co.jp> <20021128.185658.108784003.s-sumi@flab.fujitsu.co.jp>
Message-ID: <3DEEBE5F.FA3CFA92@sse.co.jp>

住元様：

住商エレクトロニクスの菅野です。
いつもお世話になっております。

先日来、質問させていただいております、PM-ETHERの不具合に
関して、ご教示いただいたrcstest等のテストを行いました。
以前に送らさせていただいた内容も整理し、合わせて送付させ
ていただきます。
添付ファイルをご送付することをお許しください。

これらの結果から、何かおわかりになることがございましたら、
ご教示いただけると幸いです。

−−−
slave01-slave32のシステムにおいて、

slave23のHD障害のため交換。
正常動作しているslave24の内容をslave23にddで丸ごとコピー。
hostnameおよびipアドレスをslave23のものに変更。

１．初期調査

１）slave23と他の計算ノード全ての間で、pm-etherの1対1テスト　Status:OK

[root ＠ master sbin]# ./rpmtest slave23 ethernet -reply
In another window;
[root ＠ master sbin]# ./rpmtest slave01 ethernet -dest 22 -ping
8       9.44502e-05
...

[root ＠ master sbin]# ./rpmtest slave32 ethernet -dest 22 -ping
8       9.44093e-05

（ちなみに、HOST0=slave01,...,HOST22=slave23,...です。）

２）pm-etherの総合テスト　Status:NG

[root ＠ master sbin]# cd /opt/score/deploy
[root ＠ master deploy]# scout -g pcc
SCOUT: Spawning done.
SCOUT: session started.
[root ＠ master deploy]# ./scstest -network ethernet
SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
PM ethernet/ethernet device already opened.

・slave23の除くと総合テストOK

slave23をscorehosts.defectsに追加

[root ＠ master etc]# more scorehosts.defects
slave23.pccluster.org

[root ＠ master init.d]# ./msgbserv stop
[root ＠ master init.d]# ./scoreboard stop
[root ＠ master init.d]# ./scoreboard start
[root ＠ master init.d]# ./msgbserv start

[root ＠ master deploy]# cd /opt/score/deploy
[root ＠ master deploy]# scout -g pcc
SCOUT: Spawning done.
SCOUT: session started.
[root ＠ master deploy]# ./scstest -network ethernet
SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
50 K packets.
100 K packets.
150 K packets.
200 K packets.
250 K packets.
300 K packets.
350 K packets.
400 K packets.

２．その後の調査

１）ddコピー後の変更事項確認
pcc殿にddで丸ごとコピーした場合、IPとhostnameを変更する
だけで良く、SCore自体に変更すべき事項は無いことを確認。

２）debugモードでのpm-etherテスト
pm-ether総合テストを、DBGモードで行った結果

$ cd /opt/score/deploy
$ scout -g pcc
SCOUT: Spawn done.
SCOUT: session started
$ export PM_DEBUG=1
$ ./scstest -network ethernet

SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
pmEthernetMapEthernet(1, 0xbfffef78): open("/dev/etherpm/32", 2, 0): 16
pmEthernetOpenDevice("/var/scored/scoreboard/master.0000B5002rfL",
0xbffff234):
pmEthernetMapEthernet(1, 0xbfffef78): 16
PM ethernet/ethernet device already opened.

３）scorehosts.db、pm-ethernet.conf
master:/opt/score/etc/scorehosts.db
master:/opt/score/etc/pm-ethernet.conf
添付ファイル参照

４）etherpm
slave02% ls -l /dev/etherpm
slave23% ls -l /dev/etherpm
結果は、etherpm参照

５）rcstest
[root ＠ master root]# rcstest slave01 ethernet -v
starting master 0 : pe=32
starting slave:  1 4 3 5 13 7 6 11 12 9 16 8 2 18 14 10 22 19 15 20 30
23 21
27
24 29 31 17 25 26 28.
testing*..*.**.*.*.**..*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.**.*.*.*.*.*.
*.*.
*.*.*.*.*.**..**.*..*.*.*.*.*.*.*.*.*.*.*.*..*.*.*.**..*.**.*.*.*.*.*.*.*.*.
**.*
上記が続くため、ctrl/Cで終了


−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−

また、もう一点質問させていただきたいのですが、

rootでは実行可能なプログラムを一般ユーザのアカウントで
scrunを行うと以下のように実行できません。

foo% scrun -nodes=31x2 ./Myprog
SCore-D 5.0.0 connected.
<19> SCore-D:ERROR Unable to create SCore-D directory
(/var/scored/singleuser/1070).
となります。

また、NISは問題なく動いており、
rsh slave01 ls -l /home/foo/Myprog
...
rsh slave32 ls -l /home/foo/Myprog
も、問題なく動作しています。

何が原因かご教示いただければ幸いです。


以上、よろしくお願いいたします。

Shinji Sumimoto wrote:
> 
> From: "Sugano, Mitsukuni" <suga ＠ sse.co.jp>
> Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened
> Date: Thu, 28 Nov 2002 18:48:56 +0900
> Message-ID: <3DE5E688.A3D723D ＠ sse.co.jp>
> 
> suga> 住元様：
> suga>
> suga> 住商エレクトロニクスの菅野です。
> suga> ご回答ありがとうございます。
> suga> 申し訳ございませんが、少し確認させてください。
> suga>
> suga> > % rcstest node01 ethernet -v
> suga> >
> suga> > で実行してください。
> suga>
> suga> ここで、node01のところは任意の計算ノードを指定すれば、よろしい
> suga> でしょうか？それとも不具合のあるノードを指定すべきでしょうか、
> suga> もしくは管理ノードを指定するのでしょうか？
> 
> 任意の計算ノードです。
> 
> suga> > suga> > あと、/dev/etherpm/下にファイルはありますね？
> suga> > suga>
> suga> > suga> 問題のある計算ノードのみ確認すればよろしいでしょうか？
> suga> > suga> できれば、どのようなファイルがあるのが正解かもご教示
> suga> > suga> いただければ幸いです。
> suga> >
> suga> > 特にopenに失敗している /dev/etherpm/32 があるかどうか、permissionは
> suga> > 他のノードと同じかどうかを確認してください。
> suga>
> suga> 32の意味は、全計算ノード数でしょうか？また、ファイルの中身は何でしょう
> suga> か？
> 
> 32は単なるファイル名で、デバイスファイルです。
> 
> suga> おそらく、正常なノードslave24からHD交換ノードslave23に丸ごとddしている
> suga> ので、同じだとは思うのですが、確認してみます。
> suga>
> suga> 以上、よろしくお願いいたします。
> suga> _______________________________________________
> suga> SCore-users-jp mailing list
> suga> SCore-users-jp ＠ pccluster.org
> suga> http://www.pccluster.org/mailman/listinfo/score-users-jp
> suga>
> ------
> Shinji Sumimoto, Fujitsu Labs
> _______________________________________________
> SCore-users-jp mailing list
> SCore-users-jp ＠ pccluster.org
> http://www.pccluster.org/mailman/listinfo/score-users-jp
-------------- next part --------------
$ ls -l /dev/etherpm/

[slave02]

shinoda ＠ slave02[2]% ls -l /dev/etherpm/
total 0
crw-rw-rw-    1 root     root     122,   0 Aug 15 10:38 0
crw-rw-rw-    1 root     root     122,   1 Aug 15 10:38 1
crw-rw-rw-    1 root     root     122,  10 Aug 15 10:38 10
crw-rw-rw-    1 root     root     122, 100 Aug 15 10:38 100
crw-rw-rw-    1 root     root     122, 101 Aug 15 10:38 101
crw-rw-rw-    1 root     root     122, 102 Aug 15 10:38 102
crw-rw-rw-    1 root     root     122, 103 Aug 15 10:38 103
crw-rw-rw-    1 root     root     122, 104 Aug 15 10:38 104
crw-rw-rw-    1 root     root     122, 105 Aug 15 10:38 105
crw-rw-rw-    1 root     root     122, 106 Aug 15 10:38 106
crw-rw-rw-    1 root     root     122, 107 Aug 15 10:38 107
crw-rw-rw-    1 root     root     122, 108 Aug 15 10:38 108
crw-rw-rw-    1 root     root     122, 109 Aug 15 10:38 109
crw-rw-rw-    1 root     root     122,  11 Aug 15 10:38 11
crw-rw-rw-    1 root     root     122, 110 Aug 15 10:38 110
crw-rw-rw-    1 root     root     122, 111 Aug 15 10:38 111
crw-rw-rw-    1 root     root     122, 112 Aug 15 10:38 112
crw-rw-rw-    1 root     root     122, 113 Aug 15 10:38 113
crw-rw-rw-    1 root     root     122, 114 Aug 15 10:38 114
crw-rw-rw-    1 root     root     122, 115 Aug 15 10:38 115
crw-rw-rw-    1 root     root     122, 116 Aug 15 10:38 116
crw-rw-rw-    1 root     root     122, 117 Aug 15 10:38 117
crw-rw-rw-    1 root     root     122, 118 Aug 15 10:38 118
crw-rw-rw-    1 root     root     122, 119 Aug 15 10:38 119
crw-rw-rw-    1 root     root     122,  12 Aug 15 10:38 12
crw-rw-rw-    1 root     root     122, 120 Aug 15 10:38 120
crw-rw-rw-    1 root     root     122, 121 Aug 15 10:38 121
crw-rw-rw-    1 root     root     122, 122 Aug 15 10:38 122
crw-rw-rw-    1 root     root     122, 123 Aug 15 10:38 123
crw-rw-rw-    1 root     root     122, 124 Aug 15 10:38 124
crw-rw-rw-    1 root     root     122, 125 Aug 15 10:38 125
crw-rw-rw-    1 root     root     122, 126 Aug 15 10:38 126
crw-rw-rw-    1 root     root     122, 127 Aug 15 10:38 127
crw-rw-rw-    1 root     root     122, 128 Aug 15 10:38 128
crw-rw-rw-    1 root     root     122, 129 Aug 15 10:38 129
crw-rw-rw-    1 root     root     122,  13 Aug 15 10:38 13
crw-rw-rw-    1 root     root     122, 130 Aug 15 10:38 130
crw-rw-rw-    1 root     root     122, 131 Aug 15 10:38 131
crw-rw-rw-    1 root     root     122, 132 Aug 15 10:38 132
crw-rw-rw-    1 root     root     122, 133 Aug 15 10:38 133
crw-rw-rw-    1 root     root     122, 134 Aug 15 10:38 134
crw-rw-rw-    1 root     root     122, 135 Aug 15 10:38 135
crw-rw-rw-    1 root     root     122, 136 Aug 15 10:38 136
crw-rw-rw-    1 root     root     122, 137 Aug 15 10:38 137
crw-rw-rw-    1 root     root     122, 138 Aug 15 10:38 138
crw-rw-rw-    1 root     root     122, 139 Aug 15 10:38 139
crw-rw-rw-    1 root     root     122,  14 Aug 15 10:38 14
crw-rw-rw-    1 root     root     122, 140 Aug 15 10:38 140
crw-rw-rw-    1 root     root     122, 141 Aug 15 10:38 141
crw-rw-rw-    1 root     root     122, 142 Aug 15 10:38 142
crw-rw-rw-    1 root     root     122, 143 Aug 15 10:38 143
crw-rw-rw-    1 root     root     122, 144 Aug 15 10:38 144
crw-rw-rw-    1 root     root     122, 145 Aug 15 10:38 145
crw-rw-rw-    1 root     root     122, 146 Aug 15 10:38 146
crw-rw-rw-    1 root     root     122, 147 Aug 15 10:38 147
crw-rw-rw-    1 root     root     122, 148 Aug 15 10:38 148
crw-rw-rw-    1 root     root     122, 149 Aug 15 10:38 149
crw-rw-rw-    1 root     root     122,  15 Aug 15 10:38 15
crw-rw-rw-    1 root     root     122, 150 Aug 15 10:38 150
crw-rw-rw-    1 root     root     122, 151 Aug 15 10:38 151
crw-rw-rw-    1 root     root     122, 152 Aug 15 10:38 152
crw-rw-rw-    1 root     root     122, 153 Aug 15 10:38 153
crw-rw-rw-    1 root     root     122, 154 Aug 15 10:38 154
crw-rw-rw-    1 root     root     122, 155 Aug 15 10:38 155
crw-rw-rw-    1 root     root     122, 156 Aug 15 10:38 156
crw-rw-rw-    1 root     root     122, 157 Aug 15 10:38 157
crw-rw-rw-    1 root     root     122, 158 Aug 15 10:38 158
crw-rw-rw-    1 root     root     122, 159 Aug 15 10:38 159
crw-rw-rw-    1 root     root     122,  16 Aug 15 10:38 16
crw-rw-rw-    1 root     root     122, 160 Aug 15 10:38 160
crw-rw-rw-    1 root     root     122, 161 Aug 15 10:38 161
crw-rw-rw-    1 root     root     122, 162 Aug 15 10:38 162
crw-rw-rw-    1 root     root     122, 163 Aug 15 10:38 163
crw-rw-rw-    1 root     root     122, 164 Aug 15 10:38 164
crw-rw-rw-    1 root     root     122, 165 Aug 15 10:38 165
crw-rw-rw-    1 root     root     122, 166 Aug 15 10:38 166
crw-rw-rw-    1 root     root     122, 167 Aug 15 10:38 167
crw-rw-rw-    1 root     root     122, 168 Aug 15 10:38 168
crw-rw-rw-    1 root     root     122, 169 Aug 15 10:38 169
crw-rw-rw-    1 root     root     122,  17 Aug 15 10:38 17
crw-rw-rw-    1 root     root     122, 170 Aug 15 10:38 170
crw-rw-rw-    1 root     root     122, 171 Aug 15 10:38 171
crw-rw-rw-    1 root     root     122, 172 Aug 15 10:38 172
crw-rw-rw-    1 root     root     122, 173 Aug 15 10:38 173
crw-rw-rw-    1 root     root     122, 174 Aug 15 10:38 174
crw-rw-rw-    1 root     root     122, 175 Aug 15 10:38 175
crw-rw-rw-    1 root     root     122, 176 Aug 15 10:38 176
crw-rw-rw-    1 root     root     122, 177 Aug 15 10:38 177
crw-rw-rw-    1 root     root     122, 178 Aug 15 10:38 178
crw-rw-rw-    1 root     root     122, 179 Aug 15 10:38 179
crw-rw-rw-    1 root     root     122,  18 Aug 15 10:38 18
crw-rw-rw-    1 root     root     122, 180 Aug 15 10:38 180
crw-rw-rw-    1 root     root     122, 181 Aug 15 10:38 181
crw-rw-rw-    1 root     root     122, 182 Aug 15 10:38 182
crw-rw-rw-    1 root     root     122, 183 Aug 15 10:38 183
crw-rw-rw-    1 root     root     122, 184 Aug 15 10:38 184
crw-rw-rw-    1 root     root     122, 185 Aug 15 10:38 185
crw-rw-rw-    1 root     root     122, 186 Aug 15 10:38 186
crw-rw-rw-    1 root     root     122, 187 Aug 15 10:38 187
crw-rw-rw-    1 root     root     122, 188 Aug 15 10:38 188
crw-rw-rw-    1 root     root     122, 189 Aug 15 10:38 189
crw-rw-rw-    1 root     root     122,  19 Aug 15 10:38 19
crw-rw-rw-    1 root     root     122, 190 Aug 15 10:38 190
crw-rw-rw-    1 root     root     122, 191 Aug 15 10:38 191
crw-rw-rw-    1 root     root     122, 192 Aug 15 10:38 192
crw-rw-rw-    1 root     root     122, 193 Aug 15 10:38 193
crw-rw-rw-    1 root     root     122, 194 Aug 15 10:38 194
crw-rw-rw-    1 root     root     122, 195 Aug 15 10:38 195
crw-rw-rw-    1 root     root     122, 196 Aug 15 10:38 196
crw-rw-rw-    1 root     root     122, 197 Aug 15 10:38 197
crw-rw-rw-    1 root     root     122, 198 Aug 15 10:38 198
crw-rw-rw-    1 root     root     122, 199 Aug 15 10:38 199
crw-rw-rw-    1 root     root     122,   2 Aug 15 10:38 2
crw-rw-rw-    1 root     root     122,  20 Aug 15 10:38 20
crw-rw-rw-    1 root     root     122, 200 Aug 15 10:38 200
crw-rw-rw-    1 root     root     122, 201 Aug 15 10:38 201
crw-rw-rw-    1 root     root     122, 202 Aug 15 10:38 202
crw-rw-rw-    1 root     root     122, 203 Aug 15 10:38 203
crw-rw-rw-    1 root     root     122, 204 Aug 15 10:38 204
crw-rw-rw-    1 root     root     122, 205 Aug 15 10:38 205
crw-rw-rw-    1 root     root     122, 206 Aug 15 10:38 206
crw-rw-rw-    1 root     root     122, 207 Aug 15 10:38 207
crw-rw-rw-    1 root     root     122, 208 Aug 15 10:38 208
crw-rw-rw-    1 root     root     122, 209 Aug 15 10:38 209
crw-rw-rw-    1 root     root     122,  21 Aug 15 10:38 21
crw-rw-rw-    1 root     root     122, 210 Aug 15 10:38 210
crw-rw-rw-    1 root     root     122, 211 Aug 15 10:38 211
crw-rw-rw-    1 root     root     122, 212 Aug 15 10:38 212
crw-rw-rw-    1 root     root     122, 213 Aug 15 10:38 213
crw-rw-rw-    1 root     root     122, 214 Aug 15 10:38 214
crw-rw-rw-    1 root     root     122, 215 Aug 15 10:38 215
crw-rw-rw-    1 root     root     122, 216 Aug 15 10:38 216
crw-rw-rw-    1 root     root     122, 217 Aug 15 10:38 217
crw-rw-rw-    1 root     root     122, 218 Aug 15 10:38 218
crw-rw-rw-    1 root     root     122, 219 Aug 15 10:38 219
crw-rw-rw-    1 root     root     122,  22 Aug 15 10:38 22
crw-rw-rw-    1 root     root     122, 220 Aug 15 10:38 220
crw-rw-rw-    1 root     root     122, 221 Aug 15 10:38 221
crw-rw-rw-    1 root     root     122, 222 Aug 15 10:38 222
crw-rw-rw-    1 root     root     122, 223 Aug 15 10:38 223
crw-rw-rw-    1 root     root     122, 224 Aug 15 10:38 224
crw-rw-rw-    1 root     root     122, 225 Aug 15 10:38 225
crw-rw-rw-    1 root     root     122, 226 Aug 15 10:38 226
crw-rw-rw-    1 root     root     122, 227 Aug 15 10:38 227
crw-rw-rw-    1 root     root     122, 228 Aug 15 10:38 228
crw-rw-rw-    1 root     root     122, 229 Aug 15 10:38 229
crw-rw-rw-    1 root     root     122,  23 Aug 15 10:38 23
crw-rw-rw-    1 root     root     122, 230 Aug 15 10:38 230
crw-rw-rw-    1 root     root     122, 231 Aug 15 10:38 231
crw-rw-rw-    1 root     root     122, 232 Aug 15 10:38 232
crw-rw-rw-    1 root     root     122, 233 Aug 15 10:38 233
crw-rw-rw-    1 root     root     122, 234 Aug 15 10:38 234
crw-rw-rw-    1 root     root     122, 235 Aug 15 10:38 235
crw-rw-rw-    1 root     root     122, 236 Aug 15 10:38 236
crw-rw-rw-    1 root     root     122, 237 Aug 15 10:38 237
crw-rw-rw-    1 root     root     122, 238 Aug 15 10:38 238
crw-rw-rw-    1 root     root     122, 239 Aug 15 10:38 239
crw-rw-rw-    1 root     root     122,  24 Aug 15 10:38 24
crw-rw-rw-    1 root     root     122, 240 Aug 15 10:38 240
crw-rw-rw-    1 root     root     122, 241 Aug 15 10:38 241
crw-rw-rw-    1 root     root     122, 242 Aug 15 10:38 242
crw-rw-rw-    1 root     root     122, 243 Aug 15 10:38 243
crw-rw-rw-    1 root     root     122, 244 Aug 15 10:38 244
crw-rw-rw-    1 root     root     122, 245 Aug 15 10:38 245
crw-rw-rw-    1 root     root     122, 246 Aug 15 10:38 246
crw-rw-rw-    1 root     root     122, 247 Aug 15 10:38 247
crw-rw-rw-    1 root     root     122, 248 Aug 15 10:38 248
crw-rw-rw-    1 root     root     122, 249 Aug 15 10:38 249
crw-rw-rw-    1 root     root     122,  25 Aug 15 10:38 25
crw-rw-rw-    1 root     root     122, 250 Aug 15 10:38 250
crw-rw-rw-    1 root     root     122, 251 Aug 15 10:38 251
crw-rw-rw-    1 root     root     122, 252 Aug 15 10:38 252
crw-rw-rw-    1 root     root     122, 253 Aug 15 10:38 253
crw-rw-rw-    1 root     root     122, 254 Aug 15 10:38 254
crw-rw-rw-    1 root     root     122, 255 Aug 15 10:38 255
crw-rw-rw-    1 root     root     122,  26 Aug 15 10:38 26
crw-rw-rw-    1 root     root     122,  27 Aug 15 10:38 27
crw-rw-rw-    1 root     root     122,  28 Aug 15 10:38 28
crw-rw-rw-    1 root     root     122,  29 Aug 15 10:38 29
crw-rw-rw-    1 root     root     122,   3 Aug 15 10:38 3
crw-rw-rw-    1 root     root     122,  30 Aug 15 10:38 30
crw-rw-rw-    1 root     root     122,  31 Aug 15 10:38 31
crw-rw-rw-    1 root     root     122,  32 Aug 15 10:38 32
crw-rw-rw-    1 root     root     122,  33 Aug 15 10:38 33
crw-rw-rw-    1 root     root     122,  34 Aug 15 10:38 34
crw-rw-rw-    1 root     root     122,  35 Aug 15 10:38 35
crw-rw-rw-    1 root     root     122,  36 Aug 15 10:38 36
crw-rw-rw-    1 root     root     122,  37 Aug 15 10:38 37
crw-rw-rw-    1 root     root     122,  38 Aug 15 10:38 38
crw-rw-rw-    1 root     root     122,  39 Aug 15 10:38 39
crw-rw-rw-    1 root     root     122,   4 Aug 15 10:38 4
crw-rw-rw-    1 root     root     122,  40 Aug 15 10:38 40
crw-rw-rw-    1 root     root     122,  41 Aug 15 10:38 41
crw-rw-rw-    1 root     root     122,  42 Aug 15 10:38 42
crw-rw-rw-    1 root     root     122,  43 Aug 15 10:38 43
crw-rw-rw-    1 root     root     122,  44 Aug 15 10:38 44
crw-rw-rw-    1 root     root     122,  45 Aug 15 10:38 45
crw-rw-rw-    1 root     root     122,  46 Aug 15 10:38 46
crw-rw-rw-    1 root     root     122,  47 Aug 15 10:38 47
crw-rw-rw-    1 root     root     122,  48 Aug 15 10:38 48
crw-rw-rw-    1 root     root     122,  49 Aug 15 10:38 49
crw-rw-rw-    1 root     root     122,   5 Aug 15 10:38 5
crw-rw-rw-    1 root     root     122,  50 Aug 15 10:38 50
crw-rw-rw-    1 root     root     122,  51 Aug 15 10:38 51
crw-rw-rw-    1 root     root     122,  52 Aug 15 10:38 52
crw-rw-rw-    1 root     root     122,  53 Aug 15 10:38 53
crw-rw-rw-    1 root     root     122,  54 Aug 15 10:38 54
crw-rw-rw-    1 root     root     122,  55 Aug 15 10:38 55
crw-rw-rw-    1 root     root     122,  56 Aug 15 10:38 56
crw-rw-rw-    1 root     root     122,  57 Aug 15 10:38 57
crw-rw-rw-    1 root     root     122,  58 Aug 15 10:38 58
crw-rw-rw-    1 root     root     122,  59 Aug 15 10:38 59
crw-rw-rw-    1 root     root     122,   6 Aug 15 10:38 6
crw-rw-rw-    1 root     root     122,  60 Aug 15 10:38 60
crw-rw-rw-    1 root     root     122,  61 Aug 15 10:38 61
crw-rw-rw-    1 root     root     122,  62 Aug 15 10:38 62
crw-rw-rw-    1 root     root     122,  63 Aug 15 10:38 63
crw-rw-rw-    1 root     root     122,  64 Aug 15 10:38 64
crw-rw-rw-    1 root     root     122,  65 Aug 15 10:38 65
crw-rw-rw-    1 root     root     122,  66 Aug 15 10:38 66
crw-rw-rw-    1 root     root     122,  67 Aug 15 10:38 67
crw-rw-rw-    1 root     root     122,  68 Aug 15 10:38 68
crw-rw-rw-    1 root     root     122,  69 Aug 15 10:38 69
crw-rw-rw-    1 root     root     122,   7 Aug 15 10:38 7
crw-rw-rw-    1 root     root     122,  70 Aug 15 10:38 70
crw-rw-rw-    1 root     root     122,  71 Aug 15 10:38 71
crw-rw-rw-    1 root     root     122,  72 Aug 15 10:38 72
crw-rw-rw-    1 root     root     122,  73 Aug 15 10:38 73
crw-rw-rw-    1 root     root     122,  74 Aug 15 10:38 74
crw-rw-rw-    1 root     root     122,  75 Aug 15 10:38 75
crw-rw-rw-    1 root     root     122,  76 Aug 15 10:38 76
crw-rw-rw-    1 root     root     122,  77 Aug 15 10:38 77
crw-rw-rw-    1 root     root     122,  78 Aug 15 10:38 78
crw-rw-rw-    1 root     root     122,  79 Aug 15 10:38 79
crw-rw-rw-    1 root     root     122,   8 Aug 15 10:38 8
crw-rw-rw-    1 root     root     122,  80 Aug 15 10:38 80
crw-rw-rw-    1 root     root     122,  81 Aug 15 10:38 81
crw-rw-rw-    1 root     root     122,  82 Aug 15 10:38 82
crw-rw-rw-    1 root     root     122,  83 Aug 15 10:38 83
crw-rw-rw-    1 root     root     122,  84 Aug 15 10:38 84
crw-rw-rw-    1 root     root     122,  85 Aug 15 10:38 85
crw-rw-rw-    1 root     root     122,  86 Aug 15 10:38 86
crw-rw-rw-    1 root     root     122,  87 Aug 15 10:38 87
crw-rw-rw-    1 root     root     122,  88 Aug 15 10:38 88
crw-rw-rw-    1 root     root     122,  89 Aug 15 10:38 89
crw-rw-rw-    1 root     root     122,   9 Aug 15 10:38 9
crw-rw-rw-    1 root     root     122,  90 Aug 15 10:38 90
crw-rw-rw-    1 root     root     122,  91 Aug 15 10:38 91
crw-rw-rw-    1 root     root     122,  92 Aug 15 10:38 92
crw-rw-rw-    1 root     root     122,  93 Aug 15 10:38 93
crw-rw-rw-    1 root     root     122,  94 Aug 15 10:38 94
crw-rw-rw-    1 root     root     122,  95 Aug 15 10:38 95
crw-rw-rw-    1 root     root     122,  96 Aug 15 10:38 96
crw-rw-rw-    1 root     root     122,  97 Aug 15 10:38 97
crw-rw-rw-    1 root     root     122,  98 Aug 15 10:38 98
crw-rw-rw-    1 root     root     122,  99 Aug 15 10:38 99

[slave23]

shinoda ＠ slave23[1]% ls -l /dev/etherpm/
total 0
crw-rw-rw-    1 root     root     122,   0 Aug 15 11:43 0
crw-rw-rw-    1 root     root     122,   1 Aug 15 11:43 1
crw-rw-rw-    1 root     root     122,  10 Aug 15 11:43 10
crw-rw-rw-    1 root     root     122, 100 Aug 15 11:43 100
crw-rw-rw-    1 root     root     122, 101 Aug 15 11:43 101
crw-rw-rw-    1 root     root     122, 102 Aug 15 11:43 102
crw-rw-rw-    1 root     root     122, 103 Aug 15 11:43 103
crw-rw-rw-    1 root     root     122, 104 Aug 15 11:43 104
crw-rw-rw-    1 root     root     122, 105 Aug 15 11:43 105
crw-rw-rw-    1 root     root     122, 106 Aug 15 11:43 106
crw-rw-rw-    1 root     root     122, 107 Aug 15 11:43 107
crw-rw-rw-    1 root     root     122, 108 Aug 15 11:43 108
crw-rw-rw-    1 root     root     122, 109 Aug 15 11:43 109
crw-rw-rw-    1 root     root     122,  11 Aug 15 11:43 11
crw-rw-rw-    1 root     root     122, 110 Aug 15 11:43 110
crw-rw-rw-    1 root     root     122, 111 Aug 15 11:43 111
crw-rw-rw-    1 root     root     122, 112 Aug 15 11:43 112
crw-rw-rw-    1 root     root     122, 113 Aug 15 11:43 113
crw-rw-rw-    1 root     root     122, 114 Aug 15 11:43 114
crw-rw-rw-    1 root     root     122, 115 Aug 15 11:43 115
crw-rw-rw-    1 root     root     122, 116 Aug 15 11:43 116
crw-rw-rw-    1 root     root     122, 117 Aug 15 11:43 117
crw-rw-rw-    1 root     root     122, 118 Aug 15 11:43 118
crw-rw-rw-    1 root     root     122, 119 Aug 15 11:43 119
crw-rw-rw-    1 root     root     122,  12 Aug 15 11:43 12
crw-rw-rw-    1 root     root     122, 120 Aug 15 11:43 120
crw-rw-rw-    1 root     root     122, 121 Aug 15 11:43 121
crw-rw-rw-    1 root     root     122, 122 Aug 15 11:43 122
crw-rw-rw-    1 root     root     122, 123 Aug 15 11:43 123
crw-rw-rw-    1 root     root     122, 124 Aug 15 11:43 124
crw-rw-rw-    1 root     root     122, 125 Aug 15 11:43 125
crw-rw-rw-    1 root     root     122, 126 Aug 15 11:43 126
crw-rw-rw-    1 root     root     122, 127 Aug 15 11:43 127
crw-rw-rw-    1 root     root     122, 128 Aug 15 11:43 128
crw-rw-rw-    1 root     root     122, 129 Aug 15 11:43 129
crw-rw-rw-    1 root     root     122,  13 Aug 15 11:43 13
crw-rw-rw-    1 root     root     122, 130 Aug 15 11:43 130
crw-rw-rw-    1 root     root     122, 131 Aug 15 11:43 131
crw-rw-rw-    1 root     root     122, 132 Aug 15 11:43 132
crw-rw-rw-    1 root     root     122, 133 Aug 15 11:43 133
crw-rw-rw-    1 root     root     122, 134 Aug 15 11:43 134
crw-rw-rw-    1 root     root     122, 135 Aug 15 11:43 135
crw-rw-rw-    1 root     root     122, 136 Aug 15 11:43 136
crw-rw-rw-    1 root     root     122, 137 Aug 15 11:43 137
crw-rw-rw-    1 root     root     122, 138 Aug 15 11:43 138
crw-rw-rw-    1 root     root     122, 139 Aug 15 11:43 139
crw-rw-rw-    1 root     root     122,  14 Aug 15 11:43 14
crw-rw-rw-    1 root     root     122, 140 Aug 15 11:43 140
crw-rw-rw-    1 root     root     122, 141 Aug 15 11:43 141
crw-rw-rw-    1 root     root     122, 142 Aug 15 11:43 142
crw-rw-rw-    1 root     root     122, 143 Aug 15 11:43 143
crw-rw-rw-    1 root     root     122, 144 Aug 15 11:43 144
crw-rw-rw-    1 root     root     122, 145 Aug 15 11:43 145
crw-rw-rw-    1 root     root     122, 146 Aug 15 11:43 146
crw-rw-rw-    1 root     root     122, 147 Aug 15 11:43 147
crw-rw-rw-    1 root     root     122, 148 Aug 15 11:43 148
crw-rw-rw-    1 root     root     122, 149 Aug 15 11:43 149
crw-rw-rw-    1 root     root     122,  15 Aug 15 11:43 15
crw-rw-rw-    1 root     root     122, 150 Aug 15 11:43 150
crw-rw-rw-    1 root     root     122, 151 Aug 15 11:43 151
crw-rw-rw-    1 root     root     122, 152 Aug 15 11:43 152
crw-rw-rw-    1 root     root     122, 153 Aug 15 11:43 153
crw-rw-rw-    1 root     root     122, 154 Aug 15 11:43 154
crw-rw-rw-    1 root     root     122, 155 Aug 15 11:43 155
crw-rw-rw-    1 root     root     122, 156 Aug 15 11:43 156
crw-rw-rw-    1 root     root     122, 157 Aug 15 11:43 157
crw-rw-rw-    1 root     root     122, 158 Aug 15 11:43 158
crw-rw-rw-    1 root     root     122, 159 Aug 15 11:43 159
crw-rw-rw-    1 root     root     122,  16 Aug 15 11:43 16
crw-rw-rw-    1 root     root     122, 160 Aug 15 11:43 160
crw-rw-rw-    1 root     root     122, 161 Aug 15 11:43 161
crw-rw-rw-    1 root     root     122, 162 Aug 15 11:43 162
crw-rw-rw-    1 root     root     122, 163 Aug 15 11:43 163
crw-rw-rw-    1 root     root     122, 164 Aug 15 11:43 164
crw-rw-rw-    1 root     root     122, 165 Aug 15 11:43 165
crw-rw-rw-    1 root     root     122, 166 Aug 15 11:43 166
crw-rw-rw-    1 root     root     122, 167 Aug 15 11:43 167
crw-rw-rw-    1 root     root     122, 168 Aug 15 11:43 168
crw-rw-rw-    1 root     root     122, 169 Aug 15 11:43 169
crw-rw-rw-    1 root     root     122,  17 Aug 15 11:43 17
crw-rw-rw-    1 root     root     122, 170 Aug 15 11:43 170
crw-rw-rw-    1 root     root     122, 171 Aug 15 11:43 171
crw-rw-rw-    1 root     root     122, 172 Aug 15 11:43 172
crw-rw-rw-    1 root     root     122, 173 Aug 15 11:43 173
crw-rw-rw-    1 root     root     122, 174 Aug 15 11:43 174
crw-rw-rw-    1 root     root     122, 175 Aug 15 11:43 175
crw-rw-rw-    1 root     root     122, 176 Aug 15 11:43 176
crw-rw-rw-    1 root     root     122, 177 Aug 15 11:43 177
crw-rw-rw-    1 root     root     122, 178 Aug 15 11:43 178
crw-rw-rw-    1 root     root     122, 179 Aug 15 11:43 179
crw-rw-rw-    1 root     root     122,  18 Aug 15 11:43 18
crw-rw-rw-    1 root     root     122, 180 Aug 15 11:43 180
crw-rw-rw-    1 root     root     122, 181 Aug 15 11:43 181
crw-rw-rw-    1 root     root     122, 182 Aug 15 11:43 182
crw-rw-rw-    1 root     root     122, 183 Aug 15 11:43 183
crw-rw-rw-    1 root     root     122, 184 Aug 15 11:43 184
crw-rw-rw-    1 root     root     122, 185 Aug 15 11:43 185
crw-rw-rw-    1 root     root     122, 186 Aug 15 11:43 186
crw-rw-rw-    1 root     root     122, 187 Aug 15 11:43 187
crw-rw-rw-    1 root     root     122, 188 Aug 15 11:43 188
crw-rw-rw-    1 root     root     122, 189 Aug 15 11:43 189
crw-rw-rw-    1 root     root     122,  19 Aug 15 11:43 19
crw-rw-rw-    1 root     root     122, 190 Aug 15 11:43 190
crw-rw-rw-    1 root     root     122, 191 Aug 15 11:43 191
crw-rw-rw-    1 root     root     122, 192 Aug 15 11:43 192
crw-rw-rw-    1 root     root     122, 193 Aug 15 11:43 193
crw-rw-rw-    1 root     root     122, 194 Aug 15 11:43 194
crw-rw-rw-    1 root     root     122, 195 Aug 15 11:43 195
crw-rw-rw-    1 root     root     122, 196 Aug 15 11:43 196
crw-rw-rw-    1 root     root     122, 197 Aug 15 11:43 197
crw-rw-rw-    1 root     root     122, 198 Aug 15 11:43 198
crw-rw-rw-    1 root     root     122, 199 Aug 15 11:43 199
crw-rw-rw-    1 root     root     122,   2 Aug 15 11:43 2
crw-rw-rw-    1 root     root     122,  20 Aug 15 11:43 20
crw-rw-rw-    1 root     root     122, 200 Aug 15 11:43 200
crw-rw-rw-    1 root     root     122, 201 Aug 15 11:43 201
crw-rw-rw-    1 root     root     122, 202 Aug 15 11:43 202
crw-rw-rw-    1 root     root     122, 203 Aug 15 11:43 203
crw-rw-rw-    1 root     root     122, 204 Aug 15 11:43 204
crw-rw-rw-    1 root     root     122, 205 Aug 15 11:43 205
crw-rw-rw-    1 root     root     122, 206 Aug 15 11:43 206
crw-rw-rw-    1 root     root     122, 207 Aug 15 11:43 207
crw-rw-rw-    1 root     root     122, 208 Aug 15 11:43 208
crw-rw-rw-    1 root     root     122, 209 Aug 15 11:43 209
crw-rw-rw-    1 root     root     122,  21 Aug 15 11:43 21
crw-rw-rw-    1 root     root     122, 210 Aug 15 11:43 210
crw-rw-rw-    1 root     root     122, 211 Aug 15 11:43 211
crw-rw-rw-    1 root     root     122, 212 Aug 15 11:43 212
crw-rw-rw-    1 root     root     122, 213 Aug 15 11:43 213
crw-rw-rw-    1 root     root     122, 214 Aug 15 11:43 214
crw-rw-rw-    1 root     root     122, 215 Aug 15 11:43 215
crw-rw-rw-    1 root     root     122, 216 Aug 15 11:43 216
crw-rw-rw-    1 root     root     122, 217 Aug 15 11:43 217
crw-rw-rw-    1 root     root     122, 218 Aug 15 11:43 218
crw-rw-rw-    1 root     root     122, 219 Aug 15 11:43 219
crw-rw-rw-    1 root     root     122,  22 Aug 15 11:43 22
crw-rw-rw-    1 root     root     122, 220 Aug 15 11:43 220
crw-rw-rw-    1 root     root     122, 221 Aug 15 11:43 221
crw-rw-rw-    1 root     root     122, 222 Aug 15 11:43 222
crw-rw-rw-    1 root     root     122, 223 Aug 15 11:43 223
crw-rw-rw-    1 root     root     122, 224 Aug 15 11:43 224
crw-rw-rw-    1 root     root     122, 225 Aug 15 11:43 225
crw-rw-rw-    1 root     root     122, 226 Aug 15 11:43 226
crw-rw-rw-    1 root     root     122, 227 Aug 15 11:43 227
crw-rw-rw-    1 root     root     122, 228 Aug 15 11:43 228
crw-rw-rw-    1 root     root     122, 229 Aug 15 11:43 229
crw-rw-rw-    1 root     root     122,  23 Aug 15 11:43 23
crw-rw-rw-    1 root     root     122, 230 Aug 15 11:43 230
crw-rw-rw-    1 root     root     122, 231 Aug 15 11:43 231
crw-rw-rw-    1 root     root     122, 232 Aug 15 11:43 232
crw-rw-rw-    1 root     root     122, 233 Aug 15 11:43 233
crw-rw-rw-    1 root     root     122, 234 Aug 15 11:43 234
crw-rw-rw-    1 root     root     122, 235 Aug 15 11:43 235
crw-rw-rw-    1 root     root     122, 236 Aug 15 11:43 236
crw-rw-rw-    1 root     root     122, 237 Aug 15 11:43 237
crw-rw-rw-    1 root     root     122, 238 Aug 15 11:43 238
crw-rw-rw-    1 root     root     122, 239 Aug 15 11:43 239
crw-rw-rw-    1 root     root     122,  24 Aug 15 11:43 24
crw-rw-rw-    1 root     root     122, 240 Aug 15 11:43 240
crw-rw-rw-    1 root     root     122, 241 Aug 15 11:43 241
crw-rw-rw-    1 root     root     122, 242 Aug 15 11:43 242
crw-rw-rw-    1 root     root     122, 243 Aug 15 11:43 243
crw-rw-rw-    1 root     root     122, 244 Aug 15 11:43 244
crw-rw-rw-    1 root     root     122, 245 Aug 15 11:43 245
crw-rw-rw-    1 root     root     122, 246 Aug 15 11:43 246
crw-rw-rw-    1 root     root     122, 247 Aug 15 11:43 247
crw-rw-rw-    1 root     root     122, 248 Aug 15 11:43 248
crw-rw-rw-    1 root     root     122, 249 Aug 15 11:43 249
crw-rw-rw-    1 root     root     122,  25 Aug 15 11:43 25
crw-rw-rw-    1 root     root     122, 250 Aug 15 11:43 250
crw-rw-rw-    1 root     root     122, 251 Aug 15 11:43 251
crw-rw-rw-    1 root     root     122, 252 Aug 15 11:43 252
crw-rw-rw-    1 root     root     122, 253 Aug 15 11:43 253
crw-rw-rw-    1 root     root     122, 254 Aug 15 11:43 254
crw-rw-rw-    1 root     root     122, 255 Aug 15 11:43 255
crw-rw-rw-    1 root     root     122,  26 Aug 15 11:43 26
crw-rw-rw-    1 root     root     122,  27 Aug 15 11:43 27
crw-rw-rw-    1 root     root     122,  28 Aug 15 11:43 28
crw-rw-rw-    1 root     root     122,  29 Aug 15 11:43 29
crw-rw-rw-    1 root     root     122,   3 Aug 15 11:43 3
crw-rw-rw-    1 root     root     122,  30 Aug 15 11:43 30
crw-rw-rw-    1 root     root     122,  31 Aug 15 11:43 31
crw-rw-rw-    1 root     root     122,  32 Aug 15 11:43 32
crw-rw-rw-    1 root     root     122,  33 Aug 15 11:43 33
crw-rw-rw-    1 root     root     122,  34 Aug 15 11:43 34
crw-rw-rw-    1 root     root     122,  35 Aug 15 11:43 35
crw-rw-rw-    1 root     root     122,  36 Aug 15 11:43 36
crw-rw-rw-    1 root     root     122,  37 Aug 15 11:43 37
crw-rw-rw-    1 root     root     122,  38 Aug 15 11:43 38
crw-rw-rw-    1 root     root     122,  39 Aug 15 11:43 39
crw-rw-rw-    1 root     root     122,   4 Aug 15 11:43 4
crw-rw-rw-    1 root     root     122,  40 Aug 15 11:43 40
crw-rw-rw-    1 root     root     122,  41 Aug 15 11:43 41
crw-rw-rw-    1 root     root     122,  42 Aug 15 11:43 42
crw-rw-rw-    1 root     root     122,  43 Aug 15 11:43 43
crw-rw-rw-    1 root     root     122,  44 Aug 15 11:43 44
crw-rw-rw-    1 root     root     122,  45 Aug 15 11:43 45
crw-rw-rw-    1 root     root     122,  46 Aug 15 11:43 46
crw-rw-rw-    1 root     root     122,  47 Aug 15 11:43 47
crw-rw-rw-    1 root     root     122,  48 Aug 15 11:43 48
crw-rw-rw-    1 root     root     122,  49 Aug 15 11:43 49
crw-rw-rw-    1 root     root     122,   5 Aug 15 11:43 5
crw-rw-rw-    1 root     root     122,  50 Aug 15 11:43 50
crw-rw-rw-    1 root     root     122,  51 Aug 15 11:43 51
crw-rw-rw-    1 root     root     122,  52 Aug 15 11:43 52
crw-rw-rw-    1 root     root     122,  53 Aug 15 11:43 53
crw-rw-rw-    1 root     root     122,  54 Aug 15 11:43 54
crw-rw-rw-    1 root     root     122,  55 Aug 15 11:43 55
crw-rw-rw-    1 root     root     122,  56 Aug 15 11:43 56
crw-rw-rw-    1 root     root     122,  57 Aug 15 11:43 57
crw-rw-rw-    1 root     root     122,  58 Aug 15 11:43 58
crw-rw-rw-    1 root     root     122,  59 Aug 15 11:43 59
crw-rw-rw-    1 root     root     122,   6 Aug 15 11:43 6
crw-rw-rw-    1 root     root     122,  60 Aug 15 11:43 60
crw-rw-rw-    1 root     root     122,  61 Aug 15 11:43 61
crw-rw-rw-    1 root     root     122,  62 Aug 15 11:43 62
crw-rw-rw-    1 root     root     122,  63 Aug 15 11:43 63
crw-rw-rw-    1 root     root     122,  64 Aug 15 11:43 64
crw-rw-rw-    1 root     root     122,  65 Aug 15 11:43 65
crw-rw-rw-    1 root     root     122,  66 Aug 15 11:43 66
crw-rw-rw-    1 root     root     122,  67 Aug 15 11:43 67
crw-rw-rw-    1 root     root     122,  68 Aug 15 11:43 68
crw-rw-rw-    1 root     root     122,  69 Aug 15 11:43 69
crw-rw-rw-    1 root     root     122,   7 Aug 15 11:43 7
crw-rw-rw-    1 root     root     122,  70 Aug 15 11:43 70
crw-rw-rw-    1 root     root     122,  71 Aug 15 11:43 71
crw-rw-rw-    1 root     root     122,  72 Aug 15 11:43 72
crw-rw-rw-    1 root     root     122,  73 Aug 15 11:43 73
crw-rw-rw-    1 root     root     122,  74 Aug 15 11:43 74
crw-rw-rw-    1 root     root     122,  75 Aug 15 11:43 75
crw-rw-rw-    1 root     root     122,  76 Aug 15 11:43 76
crw-rw-rw-    1 root     root     122,  77 Aug 15 11:43 77
crw-rw-rw-    1 root     root     122,  78 Aug 15 11:43 78
crw-rw-rw-    1 root     root     122,  79 Aug 15 11:43 79
crw-rw-rw-    1 root     root     122,   8 Aug 15 11:43 8
crw-rw-rw-    1 root     root     122,  80 Aug 15 11:43 80
crw-rw-rw-    1 root     root     122,  81 Aug 15 11:43 81
crw-rw-rw-    1 root     root     122,  82 Aug 15 11:43 82
crw-rw-rw-    1 root     root     122,  83 Aug 15 11:43 83
crw-rw-rw-    1 root     root     122,  84 Aug 15 11:43 84
crw-rw-rw-    1 root     root     122,  85 Aug 15 11:43 85
crw-rw-rw-    1 root     root     122,  86 Aug 15 11:43 86
crw-rw-rw-    1 root     root     122,  87 Aug 15 11:43 87
crw-rw-rw-    1 root     root     122,  88 Aug 15 11:43 88
crw-rw-rw-    1 root     root     122,  89 Aug 15 11:43 89
crw-rw-rw-    1 root     root     122,   9 Aug 15 11:43 9
crw-rw-rw-    1 root     root     122,  90 Aug 15 11:43 90
crw-rw-rw-    1 root     root     122,  91 Aug 15 11:43 91
crw-rw-rw-    1 root     root     122,  92 Aug 15 11:43 92
crw-rw-rw-    1 root     root     122,  93 Aug 15 11:43 93
crw-rw-rw-    1 root     root     122,  94 Aug 15 11:43 94
crw-rw-rw-    1 root     root     122,  95 Aug 15 11:43 95
crw-rw-rw-    1 root     root     122,  96 Aug 15 11:43 96
crw-rw-rw-    1 root     root     122,  97 Aug 15 11:43 97
crw-rw-rw-    1 root     root     122,  98 Aug 15 11:43 98
crw-rw-rw-    1 root     root     122,  99 Aug 15 11:43 99

-------------- next part --------------
unit 0
maxnsend 64
backoff 16000
0 00:02:A5:42:00:21 slave01.pccluster.org
1 00:02:A5:41:61:6C slave02.pccluster.org
2 00:02:A5:41:6D:76 slave03.pccluster.org
3 00:02:A5:41:77:ED slave04.pccluster.org
4 00:02:A5:41:6D:73 slave05.pccluster.org
5 00:02:A5:41:9E:91 slave06.pccluster.org
6 00:02:A5:41:7A:00 slave07.pccluster.org
7 00:02:A5:41:7A:27 slave08.pccluster.org
8 00:02:A5:41:79:E0 slave09.pccluster.org
9 00:02:A5:41:78:33 slave10.pccluster.org
10 00:02:A5:41:6C:64 slave11.pccluster.org
11 00:02:A5:41:6C:75 slave12.pccluster.org
12 00:02:A5:41:6E:5C slave13.pccluster.org
13 00:02:A5:41:4F:2B slave14.pccluster.org
14 00:02:A5:41:7F:65 slave15.pccluster.org
15 00:02:A5:41:7A:2B slave16.pccluster.org
16 00:02:A5:41:61:71 slave17.pccluster.org
17 00:02:A5:41:6C:EC slave18.pccluster.org
18 00:02:A5:41:6C:C3 slave19.pccluster.org
19 00:02:A5:41:79:12 slave20.pccluster.org
20 00:02:A5:41:78:27 slave21.pccluster.org
21 00:02:A5:41:6E:0C slave22.pccluster.org
22 00:02:A5:41:79:E4 slave23.pccluster.org
23 00:02:A5:41:78:25 slave24.pccluster.org
24 00:02:A5:41:7A:80 slave25.pccluster.org
25 00:02:A5:41:58:9F slave26.pccluster.org
26 00:02:A5:41:6C:6F slave27.pccluster.org
27 00:02:A5:41:9A:CB slave28.pccluster.org
28 00:02:A5:41:77:FF slave29.pccluster.org
29 00:02:A5:41:7F:BA slave30.pccluster.org
30 00:02:A5:41:68:19 slave31.pccluster.org
31 00:02:A5:41:61:BC slave32.pccluster.org

-------------- next part --------------
/*
 *       SCore 5.0 scorehosts.db
 *		generated by PCCC EIT 5.0
 */

/* PM/Myrinet */
myrinet		type=myrinet \
		-firmware:file=/opt/score/share/lanai/lanai.mcp \
		-config:file=/opt/score/etc/pm-myrinet.conf

/* PM/Myrinet */
myrinet2k	type=myrinet2k \
		-firmware:file=/opt/score/share/lanai/lanaiM2k.mcp \
		-config:file=/opt/score/etc/pm-myrinet.conf

/* PM/Ethernet */
ethernet  type=ethernet \
	-config:file=/opt/score/etc/pm-ethernet-1.conf \
	-trunk0:file=/opt/score/etc/pm-ethernet-0.conf

eth0		type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet-0.conf

eth1		type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet-1.conf

ethold	type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet.conf

gigaethernet	type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet.conf

/* PM/Agent */
udp		type=agent -agent=pmaudp \
		-config:file=/opt/score/etc/pm-udp.conf

/* RHiNET */
rhinet		type=rhinet \
		-firmware:file=/opt/score/share/rhinet/phu_top_0207a.hex \
		-config:file=/opt/score/etc/pm-rhinet.conf
##
/* PM/SHMEM */
shmem0		type=shmem -node=0
shmem1		type=shmem -node=1
##
#include "/opt/score/etc/ndconf/0"
#include "/opt/score/etc/ndconf/1"
#include "/opt/score/etc/ndconf/2"
#include "/opt/score/etc/ndconf/3"
#include "/opt/score/etc/ndconf/4"
#include "/opt/score/etc/ndconf/5"
#include "/opt/score/etc/ndconf/6"
#include "/opt/score/etc/ndconf/7"
#include "/opt/score/etc/ndconf/8"
#include "/opt/score/etc/ndconf/9"
#include "/opt/score/etc/ndconf/10"
#include "/opt/score/etc/ndconf/11"
#include "/opt/score/etc/ndconf/12"
#include "/opt/score/etc/ndconf/13"
#include "/opt/score/etc/ndconf/14"
#include "/opt/score/etc/ndconf/15"
#include "/opt/score/etc/ndconf/16"
#include "/opt/score/etc/ndconf/17"
#include "/opt/score/etc/ndconf/18"
#include "/opt/score/etc/ndconf/19"
#include "/opt/score/etc/ndconf/20"
#include "/opt/score/etc/ndconf/21"
#include "/opt/score/etc/ndconf/22"
#include "/opt/score/etc/ndconf/23"
#include "/opt/score/etc/ndconf/24"
#include "/opt/score/etc/ndconf/25"
#include "/opt/score/etc/ndconf/26"
#include "/opt/score/etc/ndconf/27"
#include "/opt/score/etc/ndconf/28"
#include "/opt/score/etc/ndconf/29"
#include "/opt/score/etc/ndconf/30"
#include "/opt/score/etc/ndconf/31"
##
#define MSGBSERV	msgbserv=(master.pccluster.org:8764)

slave01.pccluster.org	HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave02.pccluster.org	HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave03.pccluster.org	HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave04.pccluster.org	HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave05.pccluster.org	HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave06.pccluster.org	HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave07.pccluster.org	HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave08.pccluster.org	HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave09.pccluster.org	HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave10.pccluster.org	HOST_9 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave11.pccluster.org	HOST_10 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave12.pccluster.org	HOST_11 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave13.pccluster.org	HOST_12 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave14.pccluster.org	HOST_13 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave15.pccluster.org	HOST_14 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave16.pccluster.org	HOST_15 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
slave17.pccluster.org	HOST_16 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave18.pccluster.org	HOST_17 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave19.pccluster.org	HOST_18 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave20.pccluster.org	HOST_19 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave21.pccluster.org	HOST_20 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave22.pccluster.org	HOST_21 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave23.pccluster.org	HOST_22 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave24.pccluster.org	HOST_23 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV
slave25.pccluster.org	HOST_24 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave26.pccluster.org	HOST_25 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave27.pccluster.org	HOST_26 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave28.pccluster.org	HOST_27 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave29.pccluster.org	HOST_28 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave30.pccluster.org	HOST_29 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave31.pccluster.org	HOST_30 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV
slave32.pccluster.org	HOST_31 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV

From kameyama ＠ pccluster.org  Thu Dec  5 12:02:21 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 05 Dec 2002 12:02:21 +0900
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
In-Reply-To: Your message of "Thu, 05 Dec 2002 11:47:59 JST."
             <3DEEBE5F.FA3CFA92@sse.co.jp>
Message-ID: <20021205030221.A7AC620042@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <3DEEBE5F.FA3CFA92 ＠ sse.co.jp> "Sugano, Mitsukuni" <suga ＠ sse.co.jp> wrotes:
> rootでは実行可能なプログラムを一般ユーザのアカウントで
> scrunを行うと以下のように実行できません。
> 
> foo% scrun -nodes=31x2 ./Myprog
> SCore-D 5.0.0 connected.
> <19> SCore-D:ERROR Unable to create SCore-D directory
> (/var/scored/singleuser/1070).
> となります。

compute host 18 (slave19) の /var/scored/singleuser の
パーミッションを確認してください.
ここは
    drwxrwxrwt    3 root     root         4096 11月 26 19:33 /var/scored/singleuser
のようになっているはずです.

                       from Kameyama Toyohisa


From s-sumi ＠ flab.fujitsu.co.jp  Thu Dec  5 12:02:11 2002
From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto)
Date: Thu, 05 Dec 2002 12:02:11 +0900 (JST)
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
In-Reply-To: <3DEEBE5F.FA3CFA92@sse.co.jp>
References: <3DE5E688.A3D723D@sse.co.jp>
	<20021128.185658.108784003.s-sumi@flab.fujitsu.co.jp>
	<3DEEBE5F.FA3CFA92@sse.co.jp>
Message-ID: <20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp>

富士通研の住元です。

ノードの設定のエントリから、eth1と不要なエントリ(ethold)を外してください。
これだと問題があります。

でも、slave23を除くと動くと言うのは、変です。エラーではunit 番号 １の
ネットワークが問題のようです。

/opt/score/etc/pm-ethernet-1.conf
/opt/score/etc/pm-ethernet-0.conf
/opt/score/etc/pm-ethernet.conf

と、/etc/init.d/pm_ethernet

での unit番号の指定はどうなっていますでしょうか？

===================================================================
/* PM/Ethernet */
ethernet  type=ethernet \
	-config:file=/opt/score/etc/pm-ethernet-1.conf \
	-trunk0:file=/opt/score/etc/pm-ethernet-0.conf

eth0		type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet-0.conf

eth1		type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet-1.conf

ethold	type=ethernet \
		-config:file=/opt/score/etc/pm-ethernet.conf

slave01.pccluster.org	HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave02.pccluster.org	HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave03.pccluster.org	HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave04.pccluster.org	HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave05.pccluster.org	HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave06.pccluster.org	HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave07.pccluster.org	HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave08.pccluster.org	HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
slave09.pccluster.org	HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
===================================================================


From: "Sugano, Mitsukuni" <suga ＠ sse.co.jp>
Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened
Date: Thu, 05 Dec 2002 11:47:59 +0900
Message-ID: <3DEEBE5F.FA3CFA92 ＠ sse.co.jp>

suga> 住元様：
suga> 
suga> 住商エレクトロニクスの菅野です。
suga> いつもお世話になっております。
suga> 
suga> 先日来、質問させていただいております、PM-ETHERの不具合に
suga> 関して、ご教示いただいたrcstest等のテストを行いました。
suga> 以前に送らさせていただいた内容も整理し、合わせて送付させ
suga> ていただきます。
suga> 添付ファイルをご送付することをお許しください。
suga> 
suga> これらの結果から、何かおわかりになることがございましたら、
suga> ご教示いただけると幸いです。
suga> 
suga> −−−
suga> slave01-slave32のシステムにおいて、
suga> 
suga> slave23のHD障害のため交換。
suga> 正常動作しているslave24の内容をslave23にddで丸ごとコピー。
suga> hostnameおよびipアドレスをslave23のものに変更。
suga> 
suga> １．初期調査
suga> 
suga> １）slave23と他の計算ノード全ての間で、pm-etherの1対1テスト　Status:OK
suga> 
suga> [root ＠ master sbin]# ./rpmtest slave23 ethernet -reply
suga> In another window;
suga> [root ＠ master sbin]# ./rpmtest slave01 ethernet -dest 22 -ping
suga> 8       9.44502e-05
suga> ...
suga> 
suga> [root ＠ master sbin]# ./rpmtest slave32 ethernet -dest 22 -ping
suga> 8       9.44093e-05
suga> 
suga> （ちなみに、HOST0=slave01,...,HOST22=slave23,...です。）
suga> 
suga> ２）pm-etherの総合テスト　Status:NG
suga> 
suga> [root ＠ master sbin]# cd /opt/score/deploy
suga> [root ＠ master deploy]# scout -g pcc
suga> SCOUT: Spawning done.
suga> SCOUT: session started.
suga> [root ＠ master deploy]# ./scstest -network ethernet
suga> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
suga> PM ethernet/ethernet device already opened.
suga> 
suga> ・slave23の除くと総合テストOK
suga> 
suga> slave23をscorehosts.defectsに追加
suga> 
suga> [root ＠ master etc]# more scorehosts.defects
suga> slave23.pccluster.org
suga> 
suga> [root ＠ master init.d]# ./msgbserv stop
suga> [root ＠ master init.d]# ./scoreboard stop
suga> [root ＠ master init.d]# ./scoreboard start
suga> [root ＠ master init.d]# ./msgbserv start
suga> 
suga> [root ＠ master deploy]# cd /opt/score/deploy
suga> [root ＠ master deploy]# scout -g pcc
suga> SCOUT: Spawning done.
suga> SCOUT: session started.
suga> [root ＠ master deploy]# ./scstest -network ethernet
suga> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
suga> 50 K packets.
suga> 100 K packets.
suga> 150 K packets.
suga> 200 K packets.
suga> 250 K packets.
suga> 300 K packets.
suga> 350 K packets.
suga> 400 K packets.
suga> 
suga> ２．その後の調査
suga> 
suga> １）ddコピー後の変更事項確認
suga> pcc殿にddで丸ごとコピーした場合、IPとhostnameを変更する
suga> だけで良く、SCore自体に変更すべき事項は無いことを確認。
suga> 
suga> ２）debugモードでのpm-etherテスト
suga> pm-ether総合テストを、DBGモードで行った結果
suga> 
suga> $ cd /opt/score/deploy
suga> $ scout -g pcc
suga> SCOUT: Spawn done.
suga> SCOUT: session started
suga> $ export PM_DEBUG=1
suga> $ ./scstest -network ethernet
suga> 
suga> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16)
suga> pmEthernetMapEthernet(1, 0xbfffef78): open("/dev/etherpm/32", 2, 0): 16
suga> pmEthernetOpenDevice("/var/scored/scoreboard/master.0000B5002rfL",
suga> 0xbffff234):
suga> pmEthernetMapEthernet(1, 0xbfffef78): 16
suga> PM ethernet/ethernet device already opened.
suga> 
suga> ３）scorehosts.db、pm-ethernet.conf
suga> master:/opt/score/etc/scorehosts.db
suga> master:/opt/score/etc/pm-ethernet.conf
suga> 添付ファイル参照
suga> 
suga> ４）etherpm
suga> slave02% ls -l /dev/etherpm
suga> slave23% ls -l /dev/etherpm
suga> 結果は、etherpm参照
suga> 
suga> ５）rcstest
suga> [root ＠ master root]# rcstest slave01 ethernet -v
suga> starting master 0 : pe=32
suga> starting slave:  1 4 3 5 13 7 6 11 12 9 16 8 2 18 14 10 22 19 15 20 30
suga> 23 21
suga> 27
suga> 24 29 31 17 25 26 28.
suga> testing*..*.**.*.*.**..*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.**.*.*.*.*.*.
suga> *.*.
suga> *.*.*.*.*.**..**.*..*.*.*.*.*.*.*.*.*.*.*.*..*.*.*.**..*.**.*.*.*.*.*.*.*.*.
suga> **.*
suga> 上記が続くため、ctrl/Cで終了
suga> 
suga> 
suga> −−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
suga> 
suga> また、もう一点質問させていただきたいのですが、
suga> 
suga> rootでは実行可能なプログラムを一般ユーザのアカウントで
suga> scrunを行うと以下のように実行できません。
suga> 
suga> foo% scrun -nodes=31x2 ./Myprog
suga> SCore-D 5.0.0 connected.
suga> <19> SCore-D:ERROR Unable to create SCore-D directory
suga> (/var/scored/singleuser/1070).
suga> となります。
suga> 
suga> また、NISは問題なく動いており、
suga> rsh slave01 ls -l /home/foo/Myprog
suga> ...
suga> rsh slave32 ls -l /home/foo/Myprog
suga> も、問題なく動作しています。
suga> 
suga> 何が原因かご教示いただければ幸いです。
suga> 
suga> 
suga> 以上、よろしくお願いいたします。
suga> 
suga> Shinji Sumimoto wrote:
suga> > 
suga> > From: "Sugano, Mitsukuni" <suga ＠ sse.co.jp>
suga> > Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened
suga> > Date: Thu, 28 Nov 2002 18:48:56 +0900
suga> > Message-ID: <3DE5E688.A3D723D ＠ sse.co.jp>
suga> > 
suga> > suga> 住元様：
suga> > suga>
suga> > suga> 住商エレクトロニクスの菅野です。
suga> > suga> ご回答ありがとうございます。
suga> > suga> 申し訳ございませんが、少し確認させてください。
suga> > suga>
suga> > suga> > % rcstest node01 ethernet -v
suga> > suga> >
suga> > suga> > で実行してください。
suga> > suga>
suga> > suga> ここで、node01のところは任意の計算ノードを指定すれば、よろしい
suga> > suga> でしょうか？それとも不具合のあるノードを指定すべきでしょうか、
suga> > suga> もしくは管理ノードを指定するのでしょうか？
suga> > 
suga> > 任意の計算ノードです。
suga> > 
suga> > suga> > suga> > あと、/dev/etherpm/下にファイルはありますね？
suga> > suga> > suga>
suga> > suga> > suga> 問題のある計算ノードのみ確認すればよろしいでしょうか？
suga> > suga> > suga> できれば、どのようなファイルがあるのが正解かもご教示
suga> > suga> > suga> いただければ幸いです。
suga> > suga> >
suga> > suga> > 特にopenに失敗している /dev/etherpm/32 があるかどうか、permissionは
suga> > suga> > 他のノードと同じかどうかを確認してください。
suga> > suga>
suga> > suga> 32の意味は、全計算ノード数でしょうか？また、ファイルの中身は何でしょう
suga> > suga> か？
suga> > 
suga> > 32は単なるファイル名で、デバイスファイルです。
suga> > 
suga> > suga> おそらく、正常なノードslave24からHD交換ノードslave23に丸ごとddしている
suga> > suga> ので、同じだとは思うのですが、確認してみます。
suga> > suga>
suga> > suga> 以上、よろしくお願いいたします。
suga> > suga> _______________________________________________
suga> > suga> SCore-users-jp mailing list
suga> > suga> SCore-users-jp ＠ pccluster.org
suga> > suga> http://www.pccluster.org/mailman/listinfo/score-users-jp
suga> > suga>
suga> > ------
suga> > Shinji Sumimoto, Fujitsu Labs
suga> > _______________________________________________
suga> > SCore-users-jp mailing list
suga> > SCore-users-jp ＠ pccluster.org
suga> > http://www.pccluster.org/mailman/listinfo/score-users-jp
------
Shinji Sumimoto, Fujitsu Labs


From suga ＠ sse.co.jp  Thu Dec  5 15:27:05 2002
From: suga ＠ sse.co.jp (Sugano, Mitsukuni)
Date: Thu, 05 Dec 2002 15:27:05 +0900
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
References: <3DE5E688.A3D723D@sse.co.jp>
		<20021128.185658.108784003.s-sumi@flab.fujitsu.co.jp>
		<3DEEBE5F.FA3CFA92@sse.co.jp> <20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp>
Message-ID: <3DEEF1B9.CA822316@sse.co.jp>

住元様：

菅野です。
ご回答ありがとうございます。

master:/opt/score/etc/pm-ethernet-1.conf
master:/opt/score/etc/pm-ethernet-0.conf

slave01:/etc/init.d/pm_ethernet
slave23:/etc/init.d/pm_ethernet
slave24:/etc/init.d/pm_ethernet

を添付します。
もし、これらから推測されることがございましたら、
教えていただけますでしょうか。

以上、よろしくお願いいたします。

Shinji Sumimoto wrote:
> 
> 富士通研の住元です。
> 
> ノードの設定のエントリから、eth1と不要なエントリ(ethold)を外してください。
> これだと問題があります。
> 
> でも、slave23を除くと動くと言うのは、変です。エラーではunit 番号 １の
> ネットワークが問題のようです。
> 
> /opt/score/etc/pm-ethernet-1.conf
> /opt/score/etc/pm-ethernet-0.conf
> /opt/score/etc/pm-ethernet.conf
> 
> と、/etc/init.d/pm_ethernet
> 
> での unit番号の指定はどうなっていますでしょうか？
> 
> ===================================================================
> /* PM/Ethernet */
> ethernet  type=ethernet \
>         -config:file=/opt/score/etc/pm-ethernet-1.conf \
>         -trunk0:file=/opt/score/etc/pm-ethernet-0.conf
> 
> eth0            type=ethernet \
>                 -config:file=/opt/score/etc/pm-ethernet-0.conf
> 
> eth1            type=ethernet \
>                 -config:file=/opt/score/etc/pm-ethernet-1.conf
> 
> ethold  type=ethernet \
>                 -config:file=/opt/score/etc/pm-ethernet.conf
> 
> slave01.pccluster.org   HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave02.pccluster.org   HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave03.pccluster.org   HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave04.pccluster.org   HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave05.pccluster.org   HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave06.pccluster.org   HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave07.pccluster.org   HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave08.pccluster.org   HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
> slave09.pccluster.org   HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
> ===================================================================
-------------- next part --------------
#!/bin/sh
#
# pm_ethernet:  Starts the PM Ethernet driver
#
# Version:      @(#) /etc/rc.d/init.d/pm_ethernet 1.00
#
# Author:       Shinji Sumimoto (Real World Computing Partnership)
# chkconfig: 345 90 18
# description: PM Ethernet driver
# probe: true

IF=eth1
UNIT=0
INTERRUPT_REAPING=on

# Source function library.
. /etc/rc.d/init.d/functions

# check module
module=`modprobe -l pm_ethernet_dev.o | grep -v Note:`

# See how we were called.
case "$1" in
  start)
        echo n "Starting PM/Ethernet: "
	if [ x$module != x ]; then
	    modprobe pm_ethernet_dev
	fi
	/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0
	/sbin/etherpmctl eth0 -pm on -ir $INTERRUPT_REAPING -unit 1
#	/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1
#	/sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2
#	/sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3
        touch /var/lock/subsys/pm_ethernet
        ;;
  stop)
        echo -n "Stopping PM/Ethernet: "
	/sbin/etherpmctl eth0 -pm off
	/sbin/etherpmctl eth1 -pm off
#	/sbin/etherpmctl eth1 -pm off
#	/sbin/etherpmctl eth2 -pm off
#	/sbin/etherpmctl eth3 -pm off
	if [ x$module != x ]; then
	    rmmod pm_ethernet_dev
	fi
        echo
        rm -f /var/lock/subsys/pm_ethernet
        ;;
  status)
	if [ x$module != x ]; then
            /sbin/lsmod
	fi
        ;;
  restart)
        $0 stop
        $0 start
        ;;
  *)
        echo "Usage: $0 {start|stop|status|restart}"
        exit 1
esac

exit 0


-------------- next part --------------
#!/bin/sh
#
# pm_ethernet:  Starts the PM Ethernet driver
#
# Version:      @(#) /etc/rc.d/init.d/pm_ethernet 1.00
#
# Author:       Shinji Sumimoto (Real World Computing Partnership)
# chkconfig: 345 90 18
# description: PM Ethernet driver
# probe: true

IF=eth1
UNIT=0
INTERRUPT_REAPING=on

# Source function library.
. /etc/rc.d/init.d/functions

# check module
module=`modprobe -l pm_ethernet_dev.o | grep -v Note:`

# See how we were called.
case "$1" in
  start)
        echo n "Starting PM/Ethernet: "
	if [ x$module != x ]; then
	    modprobe pm_ethernet_dev
	fi
	/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0
	/sbin/etherpmctl eth0 -pm on -ir $INTERRUPT_REAPING -unit 1
#	/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1
#	/sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2
#	/sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3
        touch /var/lock/subsys/pm_ethernet
        ;;
  stop)
        echo -n "Stopping PM/Ethernet: "
	/sbin/etherpmctl eth0 -pm off
	/sbin/etherpmctl eth1 -pm off
#	/sbin/etherpmctl eth1 -pm off
#	/sbin/etherpmctl eth2 -pm off
#	/sbin/etherpmctl eth3 -pm off
	if [ x$module != x ]; then
	    rmmod pm_ethernet_dev
	fi
        echo
        rm -f /var/lock/subsys/pm_ethernet
        ;;
  status)
	if [ x$module != x ]; then
            /sbin/lsmod
	fi
        ;;
  restart)
        $0 stop
        $0 start
        ;;
  *)
        echo "Usage: $0 {start|stop|status|restart}"
        exit 1
esac

exit 0


-------------- next part --------------
#!/bin/sh
#
# pm_ethernet:  Starts the PM Ethernet driver
#
# Version:      @(#) /etc/rc.d/init.d/pm_ethernet 1.00
#
# Author:       Shinji Sumimoto (Real World Computing Partnership)
# chkconfig: 345 90 18
# description: PM Ethernet driver
# probe: true

IF=eth1
UNIT=0
INTERRUPT_REAPING=on

# Source function library.
. /etc/rc.d/init.d/functions

# check module
module=`modprobe -l pm_ethernet_dev.o | grep -v Note:`

# See how we were called.
case "$1" in
  start)
        echo n "Starting PM/Ethernet: "
	if [ x$module != x ]; then
	    modprobe pm_ethernet_dev
	fi
	/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0
	/sbin/etherpmctl eth0 -pm on -ir $INTERRUPT_REAPING -unit 1
#	/sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1
#	/sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2
#	/sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3
        touch /var/lock/subsys/pm_ethernet
        ;;
  stop)
        echo -n "Stopping PM/Ethernet: "
	/sbin/etherpmctl eth0 -pm off
	/sbin/etherpmctl eth1 -pm off
#	/sbin/etherpmctl eth1 -pm off
#	/sbin/etherpmctl eth2 -pm off
#	/sbin/etherpmctl eth3 -pm off
	if [ x$module != x ]; then
	    rmmod pm_ethernet_dev
	fi
        echo
        rm -f /var/lock/subsys/pm_ethernet
        ;;
  status)
	if [ x$module != x ]; then
            /sbin/lsmod
	fi
        ;;
  restart)
        $0 stop
        $0 start
        ;;
  *)
        echo "Usage: $0 {start|stop|status|restart}"
        exit 1
esac

exit 0


-------------- next part --------------
unit 0
maxnsend 64
backoff 16000
0 00:02:A5:42:00:21 slave01.pccluster.org
1 00:02:A5:41:61:6C slave02.pccluster.org
2 00:02:A5:41:6D:76 slave03.pccluster.org
3 00:02:A5:41:77:ED slave04.pccluster.org
4 00:02:A5:41:6D:73 slave05.pccluster.org
5 00:02:A5:41:9E:91 slave06.pccluster.org
6 00:02:A5:41:7A:00 slave07.pccluster.org
7 00:02:A5:41:7A:27 slave08.pccluster.org
8 00:02:A5:41:79:E0 slave09.pccluster.org
9 00:02:A5:41:78:33 slave10.pccluster.org
10 00:02:A5:41:6C:64 slave11.pccluster.org
11 00:02:A5:41:6C:75 slave12.pccluster.org
12 00:02:A5:41:6E:5C slave13.pccluster.org
13 00:02:A5:41:4F:2B slave14.pccluster.org
14 00:02:A5:41:7F:65 slave15.pccluster.org
15 00:02:A5:41:7A:2B slave16.pccluster.org
16 00:02:A5:41:61:71 slave17.pccluster.org
17 00:02:A5:41:6C:EC slave18.pccluster.org
18 00:02:A5:41:6C:C3 slave19.pccluster.org
19 00:02:A5:41:79:12 slave20.pccluster.org
20 00:02:A5:41:78:27 slave21.pccluster.org
21 00:02:A5:41:6E:0C slave22.pccluster.org
22 00:02:A5:41:79:E4 slave23.pccluster.org
23 00:02:A5:41:78:25 slave24.pccluster.org
24 00:02:A5:41:7A:80 slave25.pccluster.org
25 00:02:A5:41:58:9F slave26.pccluster.org
26 00:02:A5:41:6C:6F slave27.pccluster.org
27 00:02:A5:41:9A:CB slave28.pccluster.org
28 00:02:A5:41:77:FF slave29.pccluster.org
29 00:02:A5:41:7F:BA slave30.pccluster.org
30 00:02:A5:41:68:19 slave31.pccluster.org
31 00:02:A5:41:61:BC slave32.pccluster.org

-------------- next part --------------
unit 1
maxnsend 64
backoff 16000
0  00:02:A5:CC:9C:33  slave01.pccluster.org
1  00:02:A5:CC:9C:20  slave02.pccluster.org
2  00:02:A5:DD:38:0B  slave03.pccluster.org
3  00:02:A5:FC:DF:42  slave04.pccluster.org
4  00:02:A5:FC:DF:4C  slave05.pccluster.org
5  00:02:A5:CC:9C:26  slave06.pccluster.org
6  00:02:A5:CC:9E:9C  slave07.pccluster.org
7  00:02:A5:DD:38:9D  slave08.pccluster.org
8  00:02:A5:DD:38:C6  slave09.pccluster.org
9  00:02:A5:DD:38:BB  slave10.pccluster.org
10 00:02:A5:CC:9C:19  slave11.pccluster.org
11 00:02:A5:AC:DF:AD  slave12.pccluster.org
12 00:02:A5:CC:9C:85  slave13.pccluster.org
13 00:02:A5:DD:38:C9  slave14.pccluster.org
14 00:02:A5:FC:DF:4A  slave15.pccluster.org
15 00:02:A5:CC:9C:2C  slave16.pccluster.org
16 00:02:A5:DD:38:CB  slave17.pccluster.org
17 00:02:A5:CC:A2:6B  slave18.pccluster.org
18 00:02:A5:DD:37:CF  slave19.pccluster.org
19 00:02:A5:CC:9C:78  slave20.pccluster.org
20 00:02:A5:7F:4C:61  slave21.pccluster.org
21 00:02:A5:DD:38:99  slave22.pccluster.org
22 00:02:A5:CC:9C:02  slave23.pccluster.org
23 00:02:A5:CC:9C:88  slave24.pccluster.org
24 00:02:A5:DD:38:CD  slave25.pccluster.org
25 00:02:A5:CC:9C:35  slave26.pccluster.org
26 00:02:A5:DD:37:F2  slave27.pccluster.org
27 00:02:A5:DD:38:92  slave28.pccluster.org
28 00:02:A5:CC:9C:25  slave29.pccluster.org
29 00:02:A5:CC:9C:72  slave30.pccluster.org
30 00:02:A5:CC:9C:10  slave31.pccluster.org
31 00:02:A5:CC:9C:68  slave32.pccluster.org

From suga ＠ sse.co.jp  Thu Dec  5 15:30:11 2002
From: suga ＠ sse.co.jp (Sugano, Mitsukuni)
Date: Thu, 05 Dec 2002 15:30:11 +0900
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
References: <20021205030221.A7AC620042@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <3DEEF273.625190F9@sse.co.jp>

亀山様：

菅野です。
ご回答ありがとうございます。

すべてのノードのパーミッションが、以下のようになっているようです。

drwxrwxrwt    3 root     root         1024 Dec  4 14:08 singleuser/

何か、他に原因が考えられますか？


kameyama ＠ pccluster.org wrote:
> 
> 亀山です.
> 
> In article <3DEEBE5F.FA3CFA92 ＠ sse.co.jp> "Sugano, Mitsukuni" <suga ＠ sse.co.jp> wrotes:
> > rootでは実行可能なプログラムを一般ユーザのアカウントで
> > scrunを行うと以下のように実行できません。
> >
> > foo% scrun -nodes=31x2 ./Myprog
> > SCore-D 5.0.0 connected.
> > <19> SCore-D:ERROR Unable to create SCore-D directory
> > (/var/scored/singleuser/1070).
> > となります。
> 
> compute host 18 (slave19) の /var/scored/singleuser の
> パーミッションを確認してください.
> ここは
>     drwxrwxrwt    3 root     root         4096 11月 26 19:33 /var/scored/singleuser
> のようになっているはずです.
> 
>                        from Kameyama Toyohisa


From kameyama ＠ pccluster.org  Thu Dec  5 15:38:38 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 05 Dec 2002 15:38:38 +0900
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
In-Reply-To: Your message of "Thu, 05 Dec 2002 15:30:11 JST."
             <3DEEF273.625190F9@sse.co.jp>
Message-ID: <20021205063838.7E39C20040@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <3DEEF273.625190F9 ＠ sse.co.jp> "Sugano, Mitsukuni" <suga ＠ sse.co.jp> wrotes:
> すべてのノードのパーミッションが、以下のようになっているようです。
> 
> drwxrwxrwt    3 root     root         1024 Dec  4 14:08 singleuser/
> 
> 何か、他に原因が考えられますか？

あとはその host で

> > > (/var/scored/singleuser/1070).

という file があるため directory が作れないとかぐらいでしょうか?

                       from Kameyama Toyohisa


From vegeta ＠ nerv-center.de  Fri Dec  6 21:28:23 2002
From: vegeta ＠ nerv-center.de (Henryk Feider)
Date: 06 Dec 2002 13:28:23 +0100
Subject: [SCore-users-jp] [SCore-users] Problem with msgbserv
Message-ID: <1039177703.831.20.camel@belldandy>

Hi,

I installed SCore and made all config files like discripted in the
documentation. But when I try to start the msgbserv, I get the following
message: 

> /etc/init.d/msgbserv start
Starting Compute Host Lock services: msgbserv:No hosts

Does this mean, it doesn't find the configuration file with the hosts,
or cannot connect to the scoreboard of fails to contacts the hosts?
Please help.

Henryk Feider
University of Potsdam

-- 
Public key ID: 8065655F
example command: gpg --recv-keys --keyserver www.keyserver.net 8065655F 

-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: signature.asc
型:         application/pgp-signature
サイズ:     189 バイト
説明:       This is a digitally signed message part
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021206/1d5afbfe/attachment.sig>

From kameyama ＠ pccluster.org  Fri Dec  6 21:38:31 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Fri, 06 Dec 2002 21:38:31 +0900
Subject: [SCore-users-jp] Re: [SCore-users] Problem with msgbserv
In-Reply-To: Your message of "06 Dec 2002 13:28:23 JST."
             <1039177703.831.20.camel@belldandy>
Message-ID: <20021206123831.1E2EA20042@neal.il.is.s.u-tokyo.ac.jp>

In article <1039177703.831.20.camel ＠ belldandy> Henryk Feider <vegeta ＠ nerv-center.de> wrotes:
> > /etc/init.d/msgbserv start
> Starting Compute Host Lock services: msgbserv:No hosts
> 
> Does this mean, it doesn't find the configuration file with the hosts,
> or cannot connect to the scoreboard of fails to contacts the hosts?

It dosen't find configuration file with the host.
Please check scorehost.db file msgbserv entry.
And Please try on the server host:
    % /opt/score/bin/officialname
The output must be same as msgbserv entry in scorehosts.db.


                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From emile.carcamo ＠ nec.fr  Sat Dec  7 00:24:33 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Fri, 06 Dec 2002 16:24:33 +0100
Subject: [SCore-users-jp] [SCore-users] pm versus gm on SCore 5.2.0
Message-ID: <200212061524.gB6FOXM09276@emilepc.ess.nec.fr>



Dear All,

	Once installing SCore 5.2.0 , I wanted to try GM-1.6.3 instead of PM
	to see if the transfert rate (224 Mbytes/sec. on Myrinet2k) was get-
	ting better.

	So I installed kernel-source-score under /usr/src and I was able to
	build a "gm" module (insmod runs okay). Problem is that PM is ALREADY
	part of the SCore 5.2.0 as a in-kernel feature. How to disable it and
	then work with GM ?

	I tried building a 2.4.18-3SCORE-custom by doing a make oldconfig and
	answer 'N' to questions related to 'PM/*'. But then the make fails as
	shown in the script output enclosed. I understand it could be feasible
	with _older_ SCore versions since PM modules could be insmod/rmmod'ed
	but what about today's situation ? I'm REALLY stuck :-((

	Thanks for your support, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /



-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: typescript1.gz
型:         application/x-gzip
サイズ:     22955 バイト
説明:       typescript1.gz
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021206/78fd6340/attachment.gz>

From nrcb ＠ streamline-computing.com  Sat Dec  7 05:13:51 2002
From: nrcb ＠ streamline-computing.com (Nick Birkett)
Date: Fri, 6 Dec 2002 20:13:51 +0000
Subject: [SCore-users-jp] Re: [SCore-users] pm versus gm on SCore 5.2.0
In-Reply-To: <200212061524.gB6FOXM09276@emilepc.ess.nec.fr>
References: <200212061524.gB6FOXM09276@emilepc.ess.nec.fr>
Message-ID: <200212062013.gB6KDqb01841@zeralda.streamline.com>

On Friday 06 December 2002 03:24 pm, you wrote:
> Dear All,
>
>
> 	So I installed kernel-source-score under /usr/src and I was able to
> 	build a "gm" module (insmod runs okay). Problem is that PM is ALREADY
> 	part of the SCore 5.2.0 as a in-kernel feature. How to disable it and
> 	then work with GM ?
>
In the character device section select to build all the PM stuff as modules:


 Watchdog Cards  --->                                                   
 <M> RWCP PM/Myrinet (Myricom Myrinet PCI) support                           
 <M> RWCP PM/Ethernet support                                  
(4)    Max Units                           
[*]    Interrupt-Reaping               
 <M> RWCP PM/Shmem (Shared Memory) support         

You will need a startup script to load modules - see attached.

You need to edit the gm startup for the MAPPER_NODE and path to GM_HOME

Nick

                            
-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: pm
型:         application/x-shellscript
サイズ:     1682 バイト
説明:       無し
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021206/46be3944/attachment.bin>

-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: gm
型:         application/x-shellscript
サイズ:     733 バイト
説明:       無し
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021206/46be3944/attachment-0001.bin>

From nrcb ＠ streamline-computing.com  Sun Dec  8 19:44:10 2002
From: nrcb ＠ streamline-computing.com (Nick Birkett)
Date: Sun, 8 Dec 2002 10:44:10 +0000
Subject: [SCore-users-jp] Re: [SCore-users] mpich 1.2.4
In-Reply-To: <20021129033807.40C4620024@neal.il.is.s.u-tokyo.ac.jp>
References: <20021129033807.40C4620024@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <200212081044.gB8AiBP01651@zeralda.streamline.com>

On Friday 29 November 2002 03:38 am, you wrote:
> In article <200211281424.gASEOne07682 ＠ zeralda.streamline.com> Nick Birkett 
<nrcb ＠ streamline-computing.com> wrotes:
> > but
> >
> > zeralda:~/benchmarks/mpi$ mpif90 -mpi mpich-1.2.4 -compiler intel -w -c
> > jacob i_mpi.f
> > /opt/score/mpi/mpich-1.2.4/i386-redhat7-linux2_4_intel/bin/mpif90: eval:
> > ille gal option: -c
> > eval: usage: eval [arg ...]
> > zeralda:~/benchmarks/mpi$
>
> It seems confiiguration error to check whether Fortran 90
> is compatible with Fortran 77.
> Please change
>     score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure
> from
>     f77test='$F77 -c conftest1.f'
> to
>     f77test='$F77 $FFLAGS -c conftest1.f'
> and from
>          f90_f77link='$F90 -o conftest conftest.o conftest1.o'
> to
>          f90_f77link='$F90 $F90FAGS -o conftest conftest.o conftest1.o'
>
> Bellow is diff file.
>
>                        from Kameyama Toyohisa
> ---------------------------------------cut
> here--------------------------------- Index: configure
> ===================================================================
> RCS file:
> /develop/cvsroot/score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure
>,v retrieving revision 1.1.1.1
> diff -u -r1.1.1.1 configure
> --- configure	19 Sep 2002 00:49:17 -0000	1.1.1.1
> +++ configure	29 Nov 2002 03:26:25 -0000
> @@ -1438,9 +1438,9 @@
>  echo $ac_n "checking whether Fortran 90 is compatible with Fortran 77""...
> $ac_c" 1>&6 echo "configure:1440: checking whether Fortran 90 is compatible
> with Fortran 77" >&5 if { (eval echo configure:1441: \"$ac_f90compile\")
> 1>&5; (eval $ac_f90compile) 2>&5; } ; then -    f77test='$F77 -c
> conftest1.f'
> +    f77test='$F77 $FFLAGS -c conftest1.f'
>      if { (eval echo configure:1443: \"$f77test\") 1>&5; (eval $f77test)
> 2>&5; } ; then -        f90_f77link='$F90 -o conftest conftest.o
> conftest1.o'
> +        f90_f77link='$F90 $F90FAGS -o conftest conftest.o conftest1.o'
>          if { (eval echo configure:1445: \"$f90_f77link\") 1>&5; (eval
> $f90_f77link) 2>&5; } ; then pac_cv_prog_f90_and_f77=yes
>  	fi
> ---------------------------------------cut
> here---------------------------------

The same mpif90 bug is present  in SCore 5.2 I think: This is what I get
on a freshly installed 5.2 system:

[nrcb ＠ server polcomsbench_v3.0]$ mpif90 -compiler intel -c param.f 
/opt/score5.2.0/mpi/mpich-1.2.4/i386-redhat7-linux2_4_intel/bin/mpif90: eval: 
illegal option: -c
eval: usage: eval [arg ...]

Thanks,

Nick


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ bd6.so-net.ne.jp  Sun Dec  8 21:00:36 2002
From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto)
Date: Sun, 08 Dec 2002 21:00:36 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <20021205.000325.74756171.s-sumi@bd6.so-net.ne.jp>
References: <Pine.LNX.4.33.0212031214090.19216-100000@bellatrix.tat.physik.uni-tuebingen.de>
	<20021205.000325.74756171.s-sumi@bd6.so-net.ne.jp>
Message-ID: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp>

Hi.

Have you tried to execute the program with mpi_zerocopy=on option?
It it works, we have to some workaround to MPI_Iprobe.

Shinji.

From: Shinji Sumimoto <s-sumi ＠ bd6.so-net.ne.jp>
Subject: Re: [SCore-users] Races inside SCore(?)
Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST)
Message-ID: <20021205.000325.74756171.s-sumi ＠ bd6.so-net.ne.jp>

s-sumi> Hi.
s-sumi> 
s-sumi> From: Richard Guenther <rguenth ＠ tat.physik.uni-tuebingen.de>
s-sumi> Subject: [SCore-users] Races inside SCore(?)
s-sumi> Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET)
s-sumi> Message-ID: <Pine.LNX.4.33.0212031214090.19216-100000 ＠ bellatrix.tat.physik.uni-tuebingen.de>
s-sumi> 
s-sumi> rguenth> I experience problems using SCore (version 4.2.1 with 100MBit
s-sumi> rguenth> and 3.3.1 with Myrinet) in
s-sumi> rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA.
s-sumi> rguenth> The problem appears if I use a nx2 processor setup and does
s-sumi> rguenth> not appear in nx1 mode. The problem is all processes spinning
s-sumi> rguenth> in kernel space (>90% system time) and no progress achieved
s-sumi> rguenth> anymore. Does this sound familiar to anyone?
s-sumi> 
s-sumi> rguenth> Now to elaborate some more. Cheetah presents sort of one-sided
s-sumi> rguenth> communication interface to the user and at certain points polls
s-sumi> rguenth> for messages with a construct like (very simplified)
s-sumi> rguenth> 
s-sumi> rguenth>  do {
s-sumi> rguenth>     MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status);
s-sumi> rguenth>  } while (!flag);
s-sumi> rguenth> 
s-sumi> rguenth> now, if I insert a sched_yield() or a usleep(100) after the
s-sumi> rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but
s-sumi> rguenth> it is a lot harder to reproduce). SCore usually does not
s-sumi> rguenth> detect any sort of deadlock, but ocasionally it does.
s-sumi> rguenth> 
s-sumi> rguenth> Now the question, may this be a race condition somewhere in the
s-sumi> rguenth> SCore code that handles multiple processors on one node? Where
s-sumi> rguenth> should I start to look at to fix the problem?
s-sumi> 
s-sumi> We have not been seen such situation. Some race condition or
s-sumi> scheduling problem may occur.  MPI_Iprobe does only check message
s-sumi> queue. When user program is in MPI infinite loop, SCore detects the
s-sumi> loop as deadlock. However, in your case, program seems to be working
s-sumi> well.
s-sumi> 
s-sumi> When the deadlock has occurred, the other process is also running or
s-sumi> sleeping?  Could you attatch and test the program using gdb with
s-sumi> process number?  
s-sumi> 
s-sumi> such as
s-sumi> 
s-sumi> % gdb your-program-binary process-number
s-sumi> 
s-sumi> and test the program using backtrace and step execution.
s-sumi> 
s-sumi> Shinji.
s-sumi> 
s-sumi> rguenth> Thanks for any hints,
s-sumi> rguenth>    Richard.
s-sumi> rguenth> 
s-sumi> rguenth> PS: please CC me, I'm not on the list.
s-sumi> rguenth> 
s-sumi> rguenth> --
s-sumi> rguenth> Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
s-sumi> rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
s-sumi> rguenth> 
s-sumi> rguenth> 
s-sumi> rguenth> _______________________________________________
s-sumi> rguenth> SCore-users mailing list
s-sumi> rguenth> SCore-users ＠ pccluster.org
s-sumi> rguenth> http://www.pccluster.org/mailman/listinfo/score-users
s-sumi> rguenth> 
s-sumi> -----
s-sumi> Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
s-sumi> 
s-sumi> _______________________________________________
s-sumi> SCore-users mailing list
s-sumi> SCore-users ＠ pccluster.org
s-sumi> http://www.pccluster.org/mailman/listinfo/score-users
s-sumi> 
-----
Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From nrcb ＠ streamline-computing.com  Sun Dec  8 23:53:09 2002
From: nrcb ＠ streamline-computing.com (Nick Birkett)
Date: Sun, 8 Dec 2002 14:53:09 +0000
Subject: [SCore-users-jp] [SCore-users] SCore 5.2 source build problems
Message-ID: <200212081453.gB8Er9814304@zeralda.streamline.com>

mpif90 under SCore 5.2 is broken.

I have applied Mr Kameyama's patch to the f90modules/configure in the
source code.

I have used these source tar files:

score-5.2.0.score.tar.gz
score-5.2.0.build.tar.gz
score-5.2.0.mpi.tar.gz

and applied this patch successfully
-------------------------------------------------------------------------------------
Index: configure
===================================================================
RCS file: /develop/cvsroot/score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure,v
retrieving revision 1.1.1.1
diff -u -r1.1.1.1 configure
--- configure   19 Sep 2002 00:49:17 -0000      1.1.1.1
+++ configure   29 Nov 2002 03:26:25 -0000
@@ -1438,9 +1438,9 @@
 echo $ac_n "checking whether Fortran 90 is compatible with Fortran 77""... $ac_c" 1>&6
 echo "configure:1440: checking whether Fortran 90 is compatible with Fortran 77" >&5
 if { (eval echo configure:1441: \"$ac_f90compile\") 1>&5; (eval $ac_f90compile) 2>&5; } ; then-    f77test='$F77 -c conftest1.f'
+    f77test='$F77 $FFLAGS -c conftest1.f'
     if { (eval echo configure:1443: \"$f77test\") 1>&5; (eval $f77test) 2>&5; } ; then
-        f90_f77link='$F90 -o conftest conftest.o conftest1.o'
+        f90_f77link='$F90 $F90FLAGS -o conftest conftest.o conftest1.o'
         if { (eval echo configure:1445: \"$f90_f77link\") 1>&5; (eval $f90_f77link) 2>&5; } ;
then
            pac_cv_prog_f90_and_f77=yes
        fi
-------------------------------------------------------------------------------------------

There was a typo in the original patch and I think this is the correct one.

In /opt./score/score-src I did ./configure and make

Please find attached the scoreconflog and scorebuildlog  showing outputs of ./configure
and make (gzipped ascii files).

I am compiling on a freshly installed RedHat 7.3 system with PGI 4.0-2 and Intel V7.0 compilers installed.

This is my /opt/score/etc/compilers/site

mpicc    gnu=gcc intel=icc pgi=pgcc
mpic++   gnu=g++ intel=icc pgi=pgCC
mpif77   gnu=g77 intel=ifc pgi=pgf77
mpif90   intel=ifc pgi=pgf90
mpc++    gnu=g++   intel=ifc pgi=pgCC
omcc     intel=icc gnu=egcs
omf77    intel=icc gnu=egcs
scorecc  gnu=gcc intel=icc pgi=pgcc
scorec++ gnu=g++ intel=icc pgi=pgCC
scoref77 gnu=g77 intel=ifc pgi=pgf77
scoref90 intel=ifc pgi=pgf90


I hope that is enough info to figure out what is going wrong here.

Many thanks.

Nick

-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: scoreconflog.gz
型:         application/x-gzip
サイズ:     22 バイト
説明:       無し
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021208/af8e9a4d/attachment.gz>

-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: scorebuildlog.gz
型:         application/x-gzip
サイズ:     23 バイト
説明:       無し
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021208/af8e9a4d/attachment-0001.gz>

From emile.carcamo ＠ nec.fr  Sat Dec  7 00:12:28 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Fri, 06 Dec 2002 16:12:28 +0100
Subject: [SCore-users-jp] [SCore-users] pm versus gm on SCore 5.2.0
Message-ID: <200212061512.gB6FCSM08835@emilepc.ess.nec.fr>


Dear All,

	Once installing SCore 5.2.0 , I wanted to try GM-1.6.3 instead of PM
	to see if the transfert rate (224 Mbytes/sec. on Myrinet2k) was get-
	ting better.

	So I installed kernel-source-score under /usr/src and I was able to
	build a "gm" module (insmod runs okay). Problem is that PM is ALREADY
	part of the SCore 5.2.0 as a in-kernel feature. How to disable it and
	then work with GM ?

	I tried building a 2.4.18-3SCORE-custom by doing a make oldconfig and
	answer 'N' to questions related to 'PM/*'. But then the make fails as
	shown in the script output enclosed. I understand it could be feasible
	with _older_ SCore versions since PM modules could be insmod/rmmod'ed
	but what about today's situation ? I'm REALLY stuck :-((

	Thanks for your support, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /


-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: typescript.gz
型:         application/x-gzip
サイズ:     30879 バイト
説明:       typescript.gz
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021206/9cd019f4/attachment.gz>

From kameyama ＠ pccluster.org  Mon Dec  9 10:05:23 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 09 Dec 2002 10:05:23 +0900
Subject: [SCore-users-jp] [SCore-users] SCore 5.2 source build problems
In-Reply-To: Your message of "Sun, 08 Dec 2002 14:53:09 JST."
             <200212081453.gB8Er9814304@zeralda.streamline.com>
Message-ID: <20021209010523.6A95320042@neal.il.is.s.u-tokyo.ac.jp>

In article <200212081453.gB8Er9814304 ＠ zeralda.streamline.com> Nick Birkett <nrcb ＠ streamline-computing.com> wrotes:
> Index: configure

Sorry, there are more bugs.
Please use this patch (from original) instead.

Kameyama Toyohisa
---------------------------------------cut here---------------------------------
Index: configure
===================================================================
RCS file: /develop/cvsroot/score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure,v
retrieving revision 1.1
retrieving revision 1.4
diff -u -r1.1 -r1.4
--- configure	19 Sep 2002 00:49:17 -0000	1.1
+++ configure	4 Dec 2002 00:28:29 -0000	1.4
@@ -1284,7 +1284,7 @@
 # SGI and absoft compilers generates module name in upper case!
 testname="conftest"
 modcase="lower"
-if $F90 -c conftest.f > conftest.out 2>&1 ; then
+if $F90 $F90FLAGS -c conftest.f > conftest.out 2>&1 ; then
     MOD=`ls conftest* | grep -v conftest.f | grep -v conftest.o`
     MOD=`echo "$MOD" | sed -e 's/conftest\.//g'`
     if test -z "$MOD" ; then
@@ -1344,15 +1344,15 @@
 EOF
 F90_WORK_FILES_ARG=""
 F90MODINCSPEC=""
-if $F90 -c -Iconf conftest1.f > conftest.out 2>&1 ; then
+if $F90 $F90FLAGS -c -Iconf conftest1.f > conftest.out 2>&1 ; then
     MODDIRFLAG="-I"
     F90MODINCSPEC="-I<dir>"
     echo "$ac_t""-I" 1>&6
-elif $F90 -c -Mconf conftest1.f >> conftest.out 2>&1 ; then
+elif $F90 $F90FLAGS -c -Mconf conftest1.f >> conftest.out 2>&1 ; then
     MODDIRFLAG="-M"
     F90MODINCSPEC="-M<dir>"
     echo "$ac_t""-M" 1>&6
-elif $F90 -c -pconf conftest1.f >> conftest.out 2>&1 ; then
+elif $F90 $F90FLAGS -c -pconf conftest1.f >> conftest.out 2>&1 ; then
     MODDIRFLAG="-p"
     F90MODINCSPEC="-p<dir>"
     echo "$ac_t""-p" 1>&6
@@ -1360,7 +1360,7 @@
      cp work.pc conf/mpimod.pc
      echo "mpimod.pc" > conf/mpimod.pcl
      echo "`pwd`/conf/mpimod.pc" >> conf/mpimod.pcl
-     if $F90 -c -cl,conf/mpimod.pcl conftest1.f >>conftest.out 2>&1 ; then
+     if $F90$F90FLAGS  -c -cl,conf/mpimod.pcl conftest1.f >>conftest.out 2>&1 ; then
          MODDIRFLAG='-cl,mpimod.pcl'
          echo "$ac_t""-cl,filename where filename contains a list of files and directories" 1>&6
 	 F90_WORK_FILES_ARG="-cl,mpimod.pcl"
@@ -1394,7 +1394,7 @@
         integer (kind=MPI_ADDRESS_KIND) b
         end
 EOF
-    if $F90 -I$MPIINCDIR -c conftest.f > conftest.out 2>&1 ; then
+    if $F90 $F90FLAGS -I$MPIINCDIR -c conftest.f > conftest.out 2>&1 ; then
         echo "$ac_t""yes" 1>&6
 	F90INC="-I"
     else
@@ -1438,9 +1438,9 @@
 echo $ac_n "checking whether Fortran 90 is compatible with Fortran 77""... $ac_c" 1>&6
 echo "configure:1440: checking whether Fortran 90 is compatible with Fortran 77" >&5
 if { (eval echo configure:1441: \"$ac_f90compile\") 1>&5; (eval $ac_f90compile) 2>&5; } ; then
-    f77test='$F77 -c conftest1.f'
+    f77test='$F77 $FFLAGS -c conftest1.f'
     if { (eval echo configure:1443: \"$f77test\") 1>&5; (eval $f77test) 2>&5; } ; then
-        f90_f77link='$F90 -o conftest conftest.o conftest1.o'
+        f90_f77link='$F90 $F90FLAGS -o conftest conftest.o conftest1.o'
         if { (eval echo configure:1445: \"$f90_f77link\") 1>&5; (eval $f90_f77link) 2>&5; } ; then 
 	    pac_cv_prog_f90_and_f77=yes
 	fi
---------------------------------------cut here---------------------------------

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From emile.carcamo ＠ nec.fr  Mon Dec  9 20:18:50 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Mon, 09 Dec 2002 12:18:50 +0100
Subject: [SCore-users-jp] Re: [SCore-users] pm versus gm on SCore 5.2.0
In-Reply-To: Your message of "Fri, 06 Dec 2002 20:13:51 GMT."
             <200212062013.gB6KDqb01841@zeralda.streamline.com> 
Message-ID: <200212091118.gB9BIos02075@emilepc.ess.nec.fr>



nrcb ＠ streamline-computing.com said:
> In the character device section select to build all the PM stuff as
> modules:

>  Watchdog Cards  --->
>  
>  <M> RWCP PM/Myrinet (Myricom Myrinet PCI) support
>       
>  <M> RWCP PM/Ethernet support                                   (4)
> Max Units                            [*]    Interrupt-Reaping
>      
>  <M> RWCP PM/Shmem (Shared Memory) support         

> You will need a startup script to load modules - see attached.

> You need to edit the gm startup for the MAPPER_NODE and path to
> GM_HOME 


Hello Nick & All,

	Well I tried what you suggested, but no luck as well :-( When trying
	to describe all PM/* stuff as modules, I got tons of error messages
	since the /usr/src/linux/include seems REALLY full of bugs !! Please
	can someone provide me with a /usr/src/linux-2.4.18score bug free ??

	I'm working on an Express5800 120RC1 NEC machine (2 x 2.4Ghz Intel
	Xéon box). I've enclosed my .config file just in case ;-) Thanks to
	anyone would could help, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /



-------------- next part --------------
文字コード指定の無い添付文書を保管しました...
名前: compile.log
URL:  <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021209/132a9f37/attachment.ksh>

-------------- next part --------------
文字コード指定の無い添付文書を保管しました...
名前: Dot_config
URL:  <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021209/132a9f37/attachment-0001.ksh>

From kameyama ＠ pccluster.org  Mon Dec  9 20:37:52 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 09 Dec 2002 20:37:52 +0900
Subject: [SCore-users-jp] Re: [SCore-users] pm versus gm on SCore 5.2.0
In-Reply-To: Your message of "Mon, 09 Dec 2002 12:18:50 JST."
             <200212091118.gB9BIos02075@emilepc.ess.nec.fr>
Message-ID: <20021209113752.AE65220042@neal.il.is.s.u-tokyo.ac.jp>

In article <200212091118.gB9BIos02075 ＠ emilepc.ess.nec.fr> Emile CARCAMO <emile.carcamo ＠ nec.fr> wrotes:
> In file included from /work/linux-2.4.18score/include/linux/spinlock.h:39=
> ,
>                  from /work/linux-2.4.18score/include/linux/module.h:11,
>                  from pm_myrinet.c:66:
> /work/linux-2.4.18score/include/asm/spinlock.h:10: nondigits in number an=
> d not hexadecimal

Please try:
    make distclean
after:
    make *config

You can want to compiie same configuration, please exec following commands:
   cp .config config.save
   make distclean
   cp config.save .config
   make oldconfig
   make dep
   make bzImage
   make modules
   make install
   make modules_install

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From rguenth ＠ tat.physik.uni-tuebingen.de  Tue Dec 10 00:52:09 2002
From: rguenth ＠ tat.physik.uni-tuebingen.de (Richard Guenther)
Date: Mon, 9 Dec 2002 16:52:09 +0100 (CET)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp>
Message-ID: <Pine.LNX.4.33.0212091645500.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>

Looking into /opt/score/include/pm_lock.h it seems you should
consider using spinlock versions as implemented in the linux
kernel instead. I'm not exactly an expert for intel hardware, but
at least the kernel ones look smaller and have gotten more testing.

Richard.

--
Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
The GLAME Project: http://www.glame.de/

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From rguenth ＠ tat.physik.uni-tuebingen.de  Tue Dec 10 00:36:44 2002
From: rguenth ＠ tat.physik.uni-tuebingen.de (Richard Guenther)
Date: Mon, 9 Dec 2002 16:36:44 +0100 (CET)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp>
Message-ID: <Pine.LNX.4.33.0212091617450.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>

On Sun, 8 Dec 2002, Shinji Sumimoto wrote:

> Hi.
>
> Have you tried to execute the program with mpi_zerocopy=on option?
> It it works, we have to some workaround to MPI_Iprobe.

Maybe related, I get (sometimes, cannot easily check if its correlated)
the following messages from kernel:
pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
ctx=0xf76c0000) err 0x0
pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0,
ctx=0xf7700000) err 0x0

To answer your question, we use mpi_zerocopy as argument to scrun,
exchanging that for mpi_zerocopy=on doesnt change things, but specifying
mpi_zerocopy=off leads to immediate failure (but again, the failure is
only with Nx2 setups, not with Nx1, also 1x2 seems to be ok).

Is there a option to SCore to allow tracing/logging of the MPI functions
called? Maybe we can see a pattern to the problem.

If I change the computation/communication order in my program I cannot
reproduce the failures. But in this mode requests never accumulate so
its just a lot less hammering on the MPI backend.

> Shinji.
>
> From: Shinji Sumimoto <s-sumi ＠ bd6.so-net.ne.jp>
> Subject: Re: [SCore-users] Races inside SCore(?)
> Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST)
> Message-ID: <20021205.000325.74756171.s-sumi ＠ bd6.so-net.ne.jp>
>
> s-sumi> Hi.
> s-sumi>
> s-sumi> From: Richard Guenther <rguenth ＠ tat.physik.uni-tuebingen.de>
> s-sumi> Subject: [SCore-users] Races inside SCore(?)
> s-sumi> Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET)
> s-sumi> Message-ID: <Pine.LNX.4.33.0212031214090.19216-100000 ＠ bellatrix.tat.physik.uni-tuebingen.de>
> s-sumi>
> s-sumi> rguenth> I experience problems using SCore (version 4.2.1 with 100MBit
> s-sumi> rguenth> and 3.3.1 with Myrinet) in
> s-sumi> rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA.
> s-sumi> rguenth> The problem appears if I use a nx2 processor setup and does
> s-sumi> rguenth> not appear in nx1 mode. The problem is all processes spinning
> s-sumi> rguenth> in kernel space (>90% system time) and no progress achieved
> s-sumi> rguenth> anymore. Does this sound familiar to anyone?
> s-sumi>
> s-sumi> rguenth> Now to elaborate some more. Cheetah presents sort of one-sided
> s-sumi> rguenth> communication interface to the user and at certain points polls
> s-sumi> rguenth> for messages with a construct like (very simplified)
> s-sumi> rguenth>
> s-sumi> rguenth>  do {
> s-sumi> rguenth>     MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status);
> s-sumi> rguenth>  } while (!flag);
> s-sumi> rguenth>
> s-sumi> rguenth> now, if I insert a sched_yield() or a usleep(100) after the
> s-sumi> rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but
> s-sumi> rguenth> it is a lot harder to reproduce). SCore usually does not
> s-sumi> rguenth> detect any sort of deadlock, but ocasionally it does.
> s-sumi> rguenth>
> s-sumi> rguenth> Now the question, may this be a race condition somewhere in the
> s-sumi> rguenth> SCore code that handles multiple processors on one node? Where
> s-sumi> rguenth> should I start to look at to fix the problem?
> s-sumi>
> s-sumi> We have not been seen such situation. Some race condition or
> s-sumi> scheduling problem may occur.  MPI_Iprobe does only check message
> s-sumi> queue. When user program is in MPI infinite loop, SCore detects the
> s-sumi> loop as deadlock. However, in your case, program seems to be working
> s-sumi> well.
> s-sumi>
> s-sumi> When the deadlock has occurred, the other process is also running or
> s-sumi> sleeping?  Could you attatch and test the program using gdb with
> s-sumi> process number?
> s-sumi>
> s-sumi> such as
> s-sumi>
> s-sumi> % gdb your-program-binary process-number
> s-sumi>
> s-sumi> and test the program using backtrace and step execution.
> s-sumi>
> s-sumi> Shinji.
> s-sumi>
> s-sumi> rguenth> Thanks for any hints,
> s-sumi> rguenth>    Richard.
> s-sumi> rguenth>
> s-sumi> rguenth> PS: please CC me, I'm not on the list.
> s-sumi> rguenth>
> s-sumi> rguenth> --
> s-sumi> rguenth> Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
> s-sumi> rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
> s-sumi> rguenth>
> s-sumi> rguenth>
> s-sumi> rguenth> _______________________________________________
> s-sumi> rguenth> SCore-users mailing list
> s-sumi> rguenth> SCore-users ＠ pccluster.org
> s-sumi> rguenth> http://www.pccluster.org/mailman/listinfo/score-users
> s-sumi> rguenth>
> s-sumi> -----
> s-sumi> Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
> s-sumi>
> s-sumi> _______________________________________________
> s-sumi> SCore-users mailing list
> s-sumi> SCore-users ＠ pccluster.org
> s-sumi> http://www.pccluster.org/mailman/listinfo/score-users
> s-sumi>
> -----
> Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
>

--
Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
The GLAME Project: http://www.glame.de/

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ bd6.so-net.ne.jp  Tue Dec 10 01:19:05 2002
From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto)
Date: Tue, 10 Dec 2002 01:19:05 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <Pine.LNX.4.33.0212091617450.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>
References: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp>
	<Pine.LNX.4.33.0212091617450.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>
Message-ID: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp>

Hi.

Thank you for your information.

From: Richard Guenther <rguenth ＠ tat.physik.uni-tuebingen.de>
Subject: Re: [SCore-users] Races inside SCore(?)
Date: Mon, 9 Dec 2002 16:36:44 +0100 (CET)
Message-ID: <Pine.LNX.4.33.0212091617450.10722-100000 ＠ bellatrix.tat.physik.uni-tuebingen.de>

rguenth> On Sun, 8 Dec 2002, Shinji Sumimoto wrote:
rguenth> 
rguenth> > Hi.
rguenth> >
rguenth> > Have you tried to execute the program with mpi_zerocopy=on option?
rguenth> > It it works, we have to some workaround to MPI_Iprobe.
rguenth> 
rguenth> Maybe related, I get (sometimes, cannot easily check if its correlated)
rguenth> the following messages from kernel:
rguenth> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
rguenth> ctx=0xf76c0000) err 0x0
rguenth> pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0,
rguenth> ctx=0xf7700000) err 0x0

Which network are you using now?

This message 

pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
ctx=0xf76c0000) err 0x0

seems to be output from PM/Ethernet with mpi_zerocopy=on. Is this true?
The message says PM/Ethernet failed to read data from user memory.

In PM/Ethernet case, SCore 4.2 has problem with mpi_zerocopy=on, and
sometimes occurred on newer version of SCore. Now, I am re-writing the
feature.

How about PM/Myrinet case? 

scrun -network=myrinet,,,,,

rguenth> To answer your question, we use mpi_zerocopy as argument to scrun,
rguenth> exchanging that for mpi_zerocopy=on doesnt change things, but specifying
rguenth> mpi_zerocopy=off leads to immediate failure (but again, the failure is
rguenth> only with Nx2 setups, not with Nx1, also 1x2 seems to be ok).
rguenth> 
rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions
rguenth> called? Maybe we can see a pattern to the problem.

MPICH/SCore also has -mpi_log option like MPICH.  But, if the program
runs a couple of minuites, logs becomes huge and difficult to analize.

rguenth> If I change the computation/communication order in my program I cannot
rguenth> reproduce the failures. But in this mode requests never accumulate so
rguenth> its just a lot less hammering on the MPI backend.

Could you let us know your runtime environment more?
PM/Myrinet problems or PM/Ethernet problems?

Shinji.

rguenth> > Shinji.
rguenth> >
rguenth> > From: Shinji Sumimoto <s-sumi ＠ bd6.so-net.ne.jp>
rguenth> > Subject: Re: [SCore-users] Races inside SCore(?)
rguenth> > Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST)
rguenth> > Message-ID: <20021205.000325.74756171.s-sumi ＠ bd6.so-net.ne.jp>
rguenth> >
rguenth> > s-sumi> Hi.
rguenth> > s-sumi>
rguenth> > s-sumi> From: Richard Guenther <rguenth ＠ tat.physik.uni-tuebingen.de>
rguenth> > s-sumi> Subject: [SCore-users] Races inside SCore(?)
rguenth> > s-sumi> Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET)
rguenth> > s-sumi> Message-ID: <Pine.LNX.4.33.0212031214090.19216-100000 ＠ bellatrix.tat.physik.uni-tuebingen.de>
rguenth> > s-sumi>
rguenth> > s-sumi> rguenth> I experience problems using SCore (version 4.2.1 with 100MBit
rguenth> > s-sumi> rguenth> and 3.3.1 with Myrinet) in
rguenth> > s-sumi> rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA.
rguenth> > s-sumi> rguenth> The problem appears if I use a nx2 processor setup and does
rguenth> > s-sumi> rguenth> not appear in nx1 mode. The problem is all processes spinning
rguenth> > s-sumi> rguenth> in kernel space (>90% system time) and no progress achieved
rguenth> > s-sumi> rguenth> anymore. Does this sound familiar to anyone?
rguenth> > s-sumi>
rguenth> > s-sumi> rguenth> Now to elaborate some more. Cheetah presents sort of one-sided
rguenth> > s-sumi> rguenth> communication interface to the user and at certain points polls
rguenth> > s-sumi> rguenth> for messages with a construct like (very simplified)
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth>  do {
rguenth> > s-sumi> rguenth>     MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status);
rguenth> > s-sumi> rguenth>  } while (!flag);
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth> now, if I insert a sched_yield() or a usleep(100) after the
rguenth> > s-sumi> rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but
rguenth> > s-sumi> rguenth> it is a lot harder to reproduce). SCore usually does not
rguenth> > s-sumi> rguenth> detect any sort of deadlock, but ocasionally it does.
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth> Now the question, may this be a race condition somewhere in the
rguenth> > s-sumi> rguenth> SCore code that handles multiple processors on one node? Where
rguenth> > s-sumi> rguenth> should I start to look at to fix the problem?
rguenth> > s-sumi>
rguenth> > s-sumi> We have not been seen such situation. Some race condition or
rguenth> > s-sumi> scheduling problem may occur.  MPI_Iprobe does only check message
rguenth> > s-sumi> queue. When user program is in MPI infinite loop, SCore detects the
rguenth> > s-sumi> loop as deadlock. However, in your case, program seems to be working
rguenth> > s-sumi> well.
rguenth> > s-sumi>
rguenth> > s-sumi> When the deadlock has occurred, the other process is also running or
rguenth> > s-sumi> sleeping?  Could you attatch and test the program using gdb with
rguenth> > s-sumi> process number?
rguenth> > s-sumi>
rguenth> > s-sumi> such as
rguenth> > s-sumi>
rguenth> > s-sumi> % gdb your-program-binary process-number
rguenth> > s-sumi>
rguenth> > s-sumi> and test the program using backtrace and step execution.
rguenth> > s-sumi>
rguenth> > s-sumi> Shinji.
rguenth> > s-sumi>
rguenth> > s-sumi> rguenth> Thanks for any hints,
rguenth> > s-sumi> rguenth>    Richard.
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth> PS: please CC me, I'm not on the list.
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth> --
rguenth> > s-sumi> rguenth> Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
rguenth> > s-sumi> rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> rguenth> _______________________________________________
rguenth> > s-sumi> rguenth> SCore-users mailing list
rguenth> > s-sumi> rguenth> SCore-users ＠ pccluster.org
rguenth> > s-sumi> rguenth> http://www.pccluster.org/mailman/listinfo/score-users
rguenth> > s-sumi> rguenth>
rguenth> > s-sumi> -----
rguenth> > s-sumi> Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
rguenth> > s-sumi>
rguenth> > s-sumi> _______________________________________________
rguenth> > s-sumi> SCore-users mailing list
rguenth> > s-sumi> SCore-users ＠ pccluster.org
rguenth> > s-sumi> http://www.pccluster.org/mailman/listinfo/score-users
rguenth> > s-sumi>
rguenth> > -----
rguenth> > Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
rguenth> >
rguenth> 
rguenth> --
rguenth> Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/
rguenth> The GLAME Project: http://www.glame.de/
rguenth> 
rguenth> _______________________________________________
rguenth> SCore-users mailing list
rguenth> SCore-users ＠ pccluster.org
rguenth> http://www.pccluster.org/mailman/listinfo/score-users
rguenth> 
-----
Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From rguenth ＠ tat.physik.uni-tuebingen.de  Tue Dec 10 01:28:04 2002
From: rguenth ＠ tat.physik.uni-tuebingen.de (Richard Guenther)
Date: Mon, 9 Dec 2002 17:28:04 +0100 (CET)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp>
Message-ID: <Pine.LNX.4.33.0212091721050.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>

On Tue, 10 Dec 2002, Shinji Sumimoto wrote:

> rguenth> Maybe related, I get (sometimes, cannot easily check if its correlated)
> rguenth> the following messages from kernel:
> rguenth> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
> rguenth> ctx=0xf76c0000) err 0x0
> rguenth> pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0,
> rguenth> ctx=0xf7700000) err 0x0
>
> Which network are you using now?

This is with two EEPRO 100 cards. Note that this is a different cluster
that doesnt have Myrinet.

> This message
>
> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
> ctx=0xf76c0000) err 0x0
>
> seems to be output from PM/Ethernet with mpi_zerocopy=on. Is this true?

Its from PM/Ethernet with mpi_zerocopy (which is equal to
mpi_zerocopy=on?).

> The message says PM/Ethernet failed to read data from user memory.

Can this cause problems?

> In PM/Ethernet case, SCore 4.2 has problem with mpi_zerocopy=on, and
> sometimes occurred on newer version of SCore. Now, I am re-writing the
> feature.
>
> How about PM/Myrinet case?

I dont see the above kernel messages in the myrinet case. But the main
problem (lockup with x2 setup) is there with Myrinet, too.

> scrun -network=myrinet,,,,,
>
> rguenth> To answer your question, we use mpi_zerocopy as argument to scrun,
> rguenth> exchanging that for mpi_zerocopy=on doesnt change things, but specifying
> rguenth> mpi_zerocopy=off leads to immediate failure (but again, the failure is
> rguenth> only with Nx2 setups, not with Nx1, also 1x2 seems to be ok).
> rguenth>
> rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions
> rguenth> called? Maybe we can see a pattern to the problem.
>
> MPICH/SCore also has -mpi_log option like MPICH.  But, if the program
> runs a couple of minuites, logs becomes huge and difficult to analize.

I can reproduce the failure within seconds, so this is probably not a
problem. I will experiment with this later this week.

> rguenth> If I change the computation/communication order in my program I cannot
> rguenth> reproduce the failures. But in this mode requests never accumulate so
> rguenth> its just a lot less hammering on the MPI backend.
>
> Could you let us know your runtime environment more?
> PM/Myrinet problems or PM/Ethernet problems?

Its both, myrinet and ethernet problems (the myrinet is on a dual PIII
cluster with score V3.3.1 running kernel 2.2.16, the ethernet on a dual
Athlon cluster with score V4.2.1 running kernel 2.4.18-rc4).

Richard.

--
Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ bd6.so-net.ne.jp  Tue Dec 10 01:36:53 2002
From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto)
Date: Tue, 10 Dec 2002 01:36:53 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <Pine.LNX.4.33.0212091721050.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>
References: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp>
	<Pine.LNX.4.33.0212091721050.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>
Message-ID: <20021210.013653.41632102.s-sumi@bd6.so-net.ne.jp>

Hi.

Sorry, I understand your environment.

Both of your clusters with myrinet and ethernet have problems.

I will also investigate your problems.

Shinji.

From: Richard Guenther <rguenth ＠ tat.physik.uni-tuebingen.de>
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
Date: Mon, 9 Dec 2002 17:28:04 +0100 (CET)
Message-ID: <Pine.LNX.4.33.0212091721050.10722-100000 ＠ bellatrix.tat.physik.uni-tuebingen.de>

rguenth> On Tue, 10 Dec 2002, Shinji Sumimoto wrote:
rguenth> 
rguenth> > rguenth> Maybe related, I get (sometimes, cannot easily check if its correlated)
rguenth> > rguenth> the following messages from kernel:
rguenth> > rguenth> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
rguenth> > rguenth> ctx=0xf76c0000) err 0x0
rguenth> > rguenth> pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0,
rguenth> > rguenth> ctx=0xf7700000) err 0x0
rguenth> >
rguenth> > Which network are you using now?
rguenth> 
rguenth> This is with two EEPRO 100 cards. Note that this is a different cluster
rguenth> that doesnt have Myrinet.
rguenth> 
rguenth> > This message
rguenth> >
rguenth> > pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30,
rguenth> > ctx=0xf76c0000) err 0x0
rguenth> >
rguenth> > seems to be output from PM/Ethernet with mpi_zerocopy=on. Is this true?
rguenth> 
rguenth> Its from PM/Ethernet with mpi_zerocopy (which is equal to
rguenth> mpi_zerocopy=on?).
rguenth> 
rguenth> > The message says PM/Ethernet failed to read data from user memory.
rguenth> 
rguenth> Can this cause problems?
rguenth> 
rguenth> > In PM/Ethernet case, SCore 4.2 has problem with mpi_zerocopy=on, and
rguenth> > sometimes occurred on newer version of SCore. Now, I am re-writing the
rguenth> > feature.
rguenth> >
rguenth> > How about PM/Myrinet case?
rguenth> 
rguenth> I dont see the above kernel messages in the myrinet case. But the main
rguenth> problem (lockup with x2 setup) is there with Myrinet, too.
rguenth> 
rguenth> > scrun -network=myrinet,,,,,
rguenth> >
rguenth> > rguenth> To answer your question, we use mpi_zerocopy as argument to scrun,
rguenth> > rguenth> exchanging that for mpi_zerocopy=on doesnt change things, but specifying
rguenth> > rguenth> mpi_zerocopy=off leads to immediate failure (but again, the failure is
rguenth> > rguenth> only with Nx2 setups, not with Nx1, also 1x2 seems to be ok).
rguenth> > rguenth>
rguenth> > rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions
rguenth> > rguenth> called? Maybe we can see a pattern to the problem.
rguenth> >
rguenth> > MPICH/SCore also has -mpi_log option like MPICH.  But, if the program
rguenth> > runs a couple of minuites, logs becomes huge and difficult to analize.
rguenth> 
rguenth> I can reproduce the failure within seconds, so this is probably not a
rguenth> problem. I will experiment with this later this week.
rguenth> 
rguenth> > rguenth> If I change the computation/communication order in my program I cannot
rguenth> > rguenth> reproduce the failures. But in this mode requests never accumulate so
rguenth> > rguenth> its just a lot less hammering on the MPI backend.
rguenth> >
rguenth> > Could you let us know your runtime environment more?
rguenth> > PM/Myrinet problems or PM/Ethernet problems?
rguenth> 
rguenth> Its both, myrinet and ethernet problems (the myrinet is on a dual PIII
rguenth> cluster with score V3.3.1 running kernel 2.2.16, the ethernet on a dual
rguenth> Athlon cluster with score V4.2.1 running kernel 2.4.18-rc4).

-----
Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From nrcb ＠ streamline-computing.com  Tue Dec 10 01:27:34 2002
From: nrcb ＠ streamline-computing.com (Nick Birkett)
Date: Mon, 9 Dec 2002 16:27:34 +0000
Subject: [SCore-users-jp] [SCore-users] pbs_mom
Message-ID: <200212091627.gB9GRYg15348@zeralda.streamline.com>

Does anyone have the problem that the pbs_mom on the front end
server dies from time to time (and hence score mpi jobs remain in
the queue).

I think this is a problem on all the recent version of SCore PBS (5.0.1, 5.2 
?).

Is there a fix ?

Thanks,

Nick
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From nrcb ＠ streamline-computing.com  Tue Dec 10 09:31:00 2002
From: nrcb ＠ streamline-computing.com (Nick Birkett)
Date: Tue, 10 Dec 2002 00:31:00 +0000
Subject: [SCore-users-jp] [SCore-users] SCore 5.2
Message-ID: <200212100031.gBA0V0103727@zeralda.streamline.com>

Dear Score users, we are currently using SCore 5.0.1 which is proving a very 
reliable and excellent product, and we recommend this currently.

Hopefully we will have an mpich 1.2.4 addition thanks to Mr Kameyama.

We are thinking of moving to SCore 5.2 but there seem to be some bugs
as yet.

There is a problem with mpif90 which we are hoping to fix soon with the help
of SCore developers.

Also I am having trouble compiling SCore 5.2 from source under RedHat 7.3.

For RedHat 7.2 the SCore 5.2 source code compiles fine. 

However under RedHat 7.3 there are errors : 

In file included from /usr/include/stdio.h:65,^M
                 from /usr/include/resolv.h:63,^M
                 from internals.h:23,^M
                 from attr.c:23:^M
/usr/include/libio.h:334: parse error before `attribute_hidden'^M
/usr/include/libio.h:334: warning: data definition has no type or storage 
class^M
/usr/include/libio.h:335: parse error before `attribute_hidden'^M
/usr/include/libio.h:335: warning: data definition has no type or storage 
class^M
/usr/include/libio.h:336: parse error before `attribute_hidden'^M
/usr/include/libio.h:336: warning: data definition has no type or storage 
class^M
make[6]: *** [attr.o] Error 1^M
@

It may be I have some packages missing from RedHat, or may be a
bug with RedHat 7.3 .If anyone can advise I would be very grateful.

Many thanks,

Nick





_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Tue Dec 10 11:21:00 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Tue, 10 Dec 2002 11:21:00 +0900
Subject: [SCore-users-jp] Re: [SCore-users] SCore 5.2
In-Reply-To: Your message of "Tue, 10 Dec 2002 00:31:00 JST."
             <200212100031.gBA0V0103727@zeralda.streamline.com>
Message-ID: <20021210022100.4C9A620042@neal.il.is.s.u-tokyo.ac.jp>

In article <200212100031.gBA0V0103727 ＠ zeralda.streamline.com> Nick Birkett <nrcb ＠ streamline-computing.com> wrotes:
> In file included from /usr/include/stdio.h:65,^M
>                  from /usr/include/resolv.h:63,^M
>                  from internals.h:23,^M
>                  from attr.c:23:^M
> /usr/include/libio.h:334: parse error before `attribute_hidden'^M
> /usr/include/libio.h:334: warning: data definition has no type or storage 
> class^M

Sorry.
Please apply following patch:
---------------------------------------cut here---------------------------------
Index: score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h
===================================================================
RCS file: /develop/cvsroot/score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h,v
retrieving revision 1.1.1.1
retrieving revision 1.2
diff -u -r1.1.1.1 -r1.2
--- score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h	2 Aug 2001 10:14:28 -0000	1.1.1.1
+++ score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h	12 Nov 2002 11:05:33 -0000	1.2
@@ -321,4 +321,5 @@
   strong_alias(real, name)
 #endif
 
+# define attribute_hidden
 #endif /* libc-symbols.h */
---------------------------------------cut here---------------------------------

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From msato ＠ is.tsukuba.ac.jp  Tue Dec 10 12:22:11 2002
From: msato ＠ is.tsukuba.ac.jp (Mitsuhisa Sato)
Date: Tue, 10 Dec 2002 12:22:11 +0900
Subject: [SCore-users-jp] Giga-bit ether and Althon
In-Reply-To: <20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp>
References: <3DD9F34C.80107@tobata.isc.kyutech.ac.jp>
	<20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <20021210122211R.msato@is.tsukuba.ac.jp>

SCoreな皆様、

gigabit ethernetもだいぶ安くなってきたので、100Baseを1000baseTXに入れ
換えようと考えています。

ノードはAlthon MP で、motherはTyanのTigerMPXです。
このmotherでPMに相性がいい、gigabitカードをおしえてください。

また、このgigabit etherでのSCoreの経験のお持ちの方はご紹介いただければ
幸いです。

さとう＠筑波大


From s-sumi ＠ flab.fujitsu.co.jp  Tue Dec 10 20:44:58 2002
From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto)
Date: Tue, 10 Dec 2002 20:44:58 +0900 (JST)
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
In-Reply-To: <3DEEF1B9.CA822316@sse.co.jp>
References: <3DEEBE5F.FA3CFA92@sse.co.jp>
	<20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp>
	<3DEEF1B9.CA822316@sse.co.jp>
Message-ID: <20021210.204458.108741987.s-sumi@flab.fujitsu.co.jp>

住元です。

返事が遅れました。

設定上は正しいように思えます。

scorehosts.dbから不要なエントリを削除しても動作は変わらないでしょうか？

From: "Sugano, Mitsukuni" <suga ＠ sse.co.jp>
Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened
Date: Thu, 05 Dec 2002 15:27:05 +0900
Message-ID: <3DEEF1B9.CA822316 ＠ sse.co.jp>

suga> 住元様：
suga> 
suga> 菅野です。
suga> ご回答ありがとうございます。
suga> 
suga> master:/opt/score/etc/pm-ethernet-1.conf
suga> master:/opt/score/etc/pm-ethernet-0.conf
suga> 
suga> slave01:/etc/init.d/pm_ethernet
suga> slave23:/etc/init.d/pm_ethernet
suga> slave24:/etc/init.d/pm_ethernet
suga> 
suga> を添付します。
suga> もし、これらから推測されることがございましたら、
suga> 教えていただけますでしょうか。
suga> 
suga> 以上、よろしくお願いいたします。
suga> 
suga> Shinji Sumimoto wrote:
suga> > 
suga> > 富士通研の住元です。
suga> > 
suga> > ノードの設定のエントリから、eth1と不要なエントリ(ethold)を外してください。
suga> > これだと問題があります。
suga> > 
suga> > でも、slave23を除くと動くと言うのは、変です。エラーではunit 番号 １の
suga> > ネットワークが問題のようです。
suga> > 
suga> > /opt/score/etc/pm-ethernet-1.conf
suga> > /opt/score/etc/pm-ethernet-0.conf
suga> > /opt/score/etc/pm-ethernet.conf
suga> > 
suga> > と、/etc/init.d/pm_ethernet
suga> > 
suga> > での unit番号の指定はどうなっていますでしょうか？
suga> > 
suga> > ===================================================================
suga> > /* PM/Ethernet */
suga> > ethernet  type=ethernet \
suga> >         -config:file=/opt/score/etc/pm-ethernet-1.conf \
suga> >         -trunk0:file=/opt/score/etc/pm-ethernet-0.conf
suga> > 
suga> > eth0            type=ethernet \
suga> >                 -config:file=/opt/score/etc/pm-ethernet-0.conf
suga> > 
suga> > eth1            type=ethernet \
suga> >                 -config:file=/opt/score/etc/pm-ethernet-1.conf
suga> > 
suga> > ethold  type=ethernet \
suga> >                 -config:file=/opt/score/etc/pm-ethernet.conf
suga> > 
suga> > slave01.pccluster.org   HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave02.pccluster.org   HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave03.pccluster.org   HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave04.pccluster.org   HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave05.pccluster.org   HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave06.pccluster.org   HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave07.pccluster.org   HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave08.pccluster.org   HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV
suga> > slave09.pccluster.org   HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV
suga> > ===================================================================
------
Shinji Sumimoto, Fujitsu Labs


From s-sumi ＠ flab.fujitsu.co.jp  Tue Dec 10 20:47:46 2002
From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto)
Date: Tue, 10 Dec 2002 20:47:46 +0900 (JST)
Subject: [SCore-users-jp] Giga-bit ether and Althon
In-Reply-To: <20021210122211R.msato@is.tsukuba.ac.jp>
References: <3DD9F34C.80107@tobata.isc.kyutech.ac.jp>
	<20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp>
	<20021210122211R.msato@is.tsukuba.ac.jp>
Message-ID: <20021210.204746.71086924.s-sumi@flab.fujitsu.co.jp>

富士通研の住元です。

From: Mitsuhisa Sato <msato ＠ is.tsukuba.ac.jp>
Subject: [SCore-users-jp] Giga-bit ether and Althon
Date: Tue, 10 Dec 2002 12:22:11 +0900
Message-ID: <20021210122211R.msato ＠ is.tsukuba.ac.jp>

msato> SCoreな皆様、
msato> 
msato> gigabit ethernetもだいぶ安くなってきたので、100Baseを1000baseTXに入れ
msato> 換えようと考えています。
msato> 
msato> ノードはAlthon MP で、motherはTyanのTigerMPXです。
msato> このmotherでPMに相性がいい、gigabitカードをおしえてください。
msato> 
msato> また、このgigabit etherでのSCoreの経験のお持ちの方はご紹介いただければ
msato> 幸いです。

Athlon MPXとの組合せでは良く分かりませんが、

http://www.pccluster.org/score/dist/score/html/ja/overview/pm-perf.html

に実績のあるNICについてはリストと通信性能のデータがあります。

msato> さとう＠筑波大
msato> _______________________________________________
msato> SCore-users-jp mailing list
msato> SCore-users-jp ＠ pccluster.org
msato> http://www.pccluster.org/mailman/listinfo/score-users-jp
msato> 
------
Shinji Sumimoto, Fujitsu Labs


From lsimard ＠ allegrasolutions.com  Wed Dec 11 06:07:01 2002
From: lsimard ＠ allegrasolutions.com (Luc Simard)
Date: Tue, 10 Dec 2002 16:07:01 -0500
Subject: [SCore-users-jp] [SCore-users] EIT Never starts Cloning my CLuster Nodes
Message-ID: <4869374B8C43AC408B7469F050F8AC2E0D0944@tsunami-1.allegrasolution.allegrasolutions.com>

Hello all,

As i am testing a small 2 nodes (ether100) cluster before installing 5.2 on our 128nodes. I seem to be stuck.

0) Disk are partitioned according to the specs on the website.
1) I installed Linux 7.3 , stock. I installed everything.
2) Once done,  the netwoek is one a non-routable IP set , e.i. 192.168.0.* .
3) I entered my host and cluster nodes in both /etc/hosts and /etc/hosts.allow files.
4) I modified /etc/xinet.d/rsh, turned rsh disable off
5) I modified /etc/securetty by doing echo rsh >> /etc/securetty
6) I've setup NIS. When I type in ypwhich, I get the hostname of my master node. FQHN , aka karate.clumeq.mcgill.ca
7) When I type in : 
% ypmatch karate.clumeq.mcgill.ca hosts | awk '{print $2}' 

- I get the right answer, which is my hostname. This command is erronous in the  documentation, there is a part missing. The part refering to the NIS map, aka 'hosts' .

8) mount /mnt/cdrom
9) /mnt/cdrom/Install
10) /opt/score/bin/configNIS
11) /opt/score/bin/eit -nisonly
12) Configuration of my hosts and nodes in eit's menus and dialogs. Ether100 selected with SHMEM 'on' and all hosts.
13) Creation of boot floppy.
14) waiting for discovery of a MAC.
15) Boot up of node 1 with floppy in drive ...
16) daemons all started and green, all systems go.
17) discovery of MAC, eit assigns it as Host0 , 192.168.0.1. I didn't start at zero in eit hosts config. I decided to offset by 1 to 1.
18) I wait.
19) waited some more. I opened another shell, tried to ping 192.168.0.1 (first node that booted with floppy), it replies from the pings.
20) 15 Min. have past. What am i doing wrong ?


I really want to move to 5.2 , but I also have to test it first .

please advise.

ls

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From nakata ＠ bestsystems.co.jp  Wed Dec 11 10:49:59 2002
From: nakata ＠ bestsystems.co.jp (Hisaho Nakata)
Date: Wed, 11 Dec 2002 10:49:59 +0900
Subject: [SCore-users-jp] Giga-bit ether and Althon
In-Reply-To: <20021210.204746.71086924.s-sumi@flab.fujitsu.co.jp>
References: <3DD9F34C.80107@tobata.isc.kyutech.ac.jp>
	<20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp>
	<20021210122211R.msato@is.tsukuba.ac.jp>
	<20021210.204746.71086924.s-sumi@flab.fujitsu.co.jp>
Message-ID: <20021211104959.49659309.nakata@bestsystems.co.jp>

中田＠ベストシステムズです。

SCore-5.0.1 + TigerMPX+ Intel Pro/1000-XT での実績はあります。

> msato> SCoreな皆様、
> msato> 
> msato> gigabit ethernetもだいぶ安くなってきたので、100Baseを1000baseTXに入れ
> msato> 換えようと考えています。
> msato> 
> msato> ノードはAlthon MP で、motherはTyanのTigerMPXです。
> msato> このmotherでPMに相性がいい、gigabitカードをおしえてください。
> msato> 
> msato> また、このgigabit etherでのSCoreの経験のお持ちの方はご紹介いただければ
> msato> 幸いです

========================================================================
株式会社 ベストシステムズ
システムソリューション事業部テクニカルサポート
中田 寿穗 (nakata ＠ bestsystems.co.jp)

〒110-0016 
東京都台東区台東2-18-8 台東K-1ビル 2,3F
Tel: 03-5812-1350
Fax: 03-5812-1351
========================================================================


From hori ＠ swimmy-soft.com  Wed Dec 11 10:50:53 2002
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Wed, 11 Dec 2002 10:50:53 +0900
Subject: [SCore-users-jp] Re: [SCore-users] EIT Never starts Cloning my CLuster Nodes
Message-ID: <3122448653.hori0000@swimmy-soft.com>

Hi.

>19) waited some more. I opened another shell, tried to ping 
>192.168.0.1 (first node that booted with floppy), it replies from the 
>pings.
>20) 15 Min. have past. What am i doing wrong ?

Does the 192.168.0.1 host have a VGA ? If so, connect a video and see 
what happnes on the host.

I guess NFS setting on the EIT server host is wrong, since 
192.l68.0.1 host answers the ping.

----
Atsushi HORI
Swimmy Software, Inc.

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From suga ＠ sse.co.jp  Wed Dec 11 11:34:04 2002
From: suga ＠ sse.co.jp (Sugano, Mitsukuni)
Date: Wed, 11 Dec 2002 11:34:04 +0900
Subject: [SCore-users-jp] Compiler
Message-ID: <3DF6A41C.7BB25394@sse.co.jp>

住商エレクトロニクスの菅野と申します。
お世話になります。

SCoreで、GNU以外のコンパイラを使用する場合、どのような手順
を踏めばよろしいのでしょうか？

SCoreのバージョンは、5.0.1または、5.2.0です。

１．コンパイラのインストール

各コンパイラを通常どおりインストール後、

以下の2通りありそうなのですが．．．

（１）

「/opt/score/etc/compilers/site」に、各コンパイラ（intelなら
「intel」）を追加

        # cd /opt/score
        # for tarfile in /mnt/cdrom/source.source/*.tar.gz
        # do
        # tar xzf $tarfile
        # done
        # cd /opt/score/score-src/runtime/mpi
        # smake
        # smake install


（２）

インテル、PGI、富士通コンパイラのいずれかを一つだけ追加する場合は
 /opt/score/etc/compilers/site.example.* を
/opt/score/etc/compilers/site
 にコピーするだけですむかもしれません。さらにこの 3 つのコンパイラ
についてはバイナリ rpm を用意しています。コンパイラをインストール
したあとで、SCore CD-ROM をマウントして 

        # cd /mnt/cdrom/score.rpm
        # rpm -Uvh *compiler*



また、例えば、Intelコンパイラのバージョンを6から7へ上げた場合の
手順はどうなりますでしょうか？


２．コンパイル

コンパイルは、
mpicc --compiler=intel myprog.c
などとすればよろしいでしょうか？
また、デフォルト指定変更はどうすればよろしいでしょうか?


３．実行

mpirun、scrunの実行は、コンパイラ指定オプションはありますか？
また、デフォルトはどこを参照するのでしょうか？


以上、基本的な質問で申し訳ございませんが、よろしくお願いいたします。


From kameyama ＠ pccluster.org  Wed Dec 11 12:12:44 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 11 Dec 2002 12:12:44 +0900
Subject: [SCore-users-jp] Compiler
In-Reply-To: Your message of "Wed, 11 Dec 2002 11:34:04 JST."
             <3DF6A41C.7BB25394@sse.co.jp>
Message-ID: <20021211031245.134F920042@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <3DF6A41C.7BB25394 ＠ sse.co.jp> "Sugano, Mitsukuni" <suga ＠ sse.co.jp> wrotes:
> SCoreで、GNU以外のコンパイラを使用する場合、どのような手順
> を踏めばよろしいのでしょうか？
> 
> SCoreのバージョンは、5.0.1または、5.2.0です。

コンパイラの扱いは 5.0.1 と 5.2.0 で異なります.

> １．コンパイラのインストール
> 
> 各コンパイラを通常どおりインストール後、
> 
> 以下の2通りありそうなのですが．．．
> 
> （１）
> 
> 「/opt/score/etc/compilers/site」に、各コンパイラ（intelなら
> 「intel」）を追加
> 
>         # cd /opt/score
>         # for tarfile in /mnt/cdrom/source.source/*.tar.gz
>         # do
>         # tar xzf $tarfile
>         # done
>         # cd /opt/score/score-src/runtime/mpi
>         # smake
>         # smake install

SCore 5.0.1 もしくは SCore 5.2.0 でも下記のコンパイラ以外の場合は
こちらを行ってください.
(下記のコンパイラでもコンパイラの version によっては再コンパイル
する必要があるかも知れません.)

> インテル、PGI、富士通コンパイラのいずれかを一つだけ追加する場合は
>  /opt/score/etc/compilers/site.example.* を
> /opt/score/etc/compilers/site
>  にコピーするだけですむかもしれません。さらにこの 3 つのコンパイラ
> についてはバイナリ rpm を用意しています。コンパイラをインストール
> したあとで、SCore CD-ROM をマウントして 
> 
>         # cd /mnt/cdrom/score.rpm
>         # rpm -Uvh *compiler*

SCore 5.2.0 かつ上記ののコンパイラの場合はこちらを行ってください.

> また、例えば、Intelコンパイラのバージョンを6から7へ上げた場合の
> 手順はどうなりますでしょうか？

Intel compiler としての設定を行っていて, binary の互換性があれば,
そのままで動きます.
(site ファイルに full path を指定した場合は site ファイルを変更する必要が
ありますが...)
version 6 と Version 7 の両方を install していて使いわけたい場合は
    % mpicc -compiler intel -compiler-path /opt/intel/compiler70/ia32/bin/icc ...
のように指定します.

SCore 5.2.0 の場合は
    /opt/score/etc/compilers/alias
に
    intel7 intel
と書いておいて, site ファイルに
    mpicc intel=icc intel7=/opt/intel/compiler70/ia32/bin/icc ...
のように記述しておけば,
    mpicc -compiler intel7 ...
で version 7 のほうを使用することができます.

ただ, Intel C++ コンパイラのリリースノートに
6 と 7 でのバイナリの互換性が無いと書かれていましたので,
MPI の再コンパイルが必要になる可能性があります.
(cpi は問題無く動きましたので, 多分, C なら大丈夫かも知れません.)

> ２．コンパイル
> 
> コンパイルは、
> mpicc --compiler=intel myprog.c
> などとすればよろしいでしょうか？

はい.

> また、デフォルト指定変更はどうすればよろしいでしょうか?

SCore 5.0.1 の場合は変更できません.
SCore 5.2.0 の場合は site ファイルの先頭にあるのが
default になります.
また, 環境変数 SCORE_COMPILER に
    mpicc=intel,mpif77=intel
などと設定してあれば, mpicc, mpif77 の default compiler が
intel になります.

> ３．実行
> 
> mpirun、scrunの実行は、コンパイラ指定オプションはありますか？
> また、デフォルトはどこを参照するのでしょうか？

実行時にはコンパイラは使用しないので,
実行時のコンパイラの指定は無意味です.

                       from Kameyama Toyohisa


From suga ＠ sse.co.jp  Wed Dec 11 13:11:49 2002
From: suga ＠ sse.co.jp (Sugano, Mitsukuni)
Date: Wed, 11 Dec 2002 13:11:49 +0900
Subject: [SCore-users-jp] Compiler
References: <20021211031245.134F920042@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <3DF6BB05.9DA21769@sse.co.jp>

亀山様：

菅野です。
ご回答ありがとうございました。

今後とも、よろしくお願いいたします。


kameyama ＠ pccluster.org wrote:
> 
> 亀山です.
> 
> In article <3DF6A41C.7BB25394 ＠ sse.co.jp> "Sugano, Mitsukuni" <suga ＠ sse.co.jp> wrotes:
> > SCoreで、GNU以外のコンパイラを使用する場合、どのような手順
> > を踏めばよろしいのでしょうか？
> >
> > SCoreのバージョンは、5.0.1または、5.2.0です。
> 
> コンパイラの扱いは 5.0.1 と 5.2.0 で異なります.
> 
> > １．コンパイラのインストール
> >
> > 各コンパイラを通常どおりインストール後、
> >
> > 以下の2通りありそうなのですが．．．
> >
> > （１）
> >
> > 「/opt/score/etc/compilers/site」に、各コンパイラ（intelなら
> > 「intel」）を追加
> >
> >         # cd /opt/score
> >         # for tarfile in /mnt/cdrom/source.source/*.tar.gz
> >         # do
> >         # tar xzf $tarfile
> >         # done
> >         # cd /opt/score/score-src/runtime/mpi
> >         # smake
> >         # smake install
> 
> SCore 5.0.1 もしくは SCore 5.2.0 でも下記のコンパイラ以外の場合は
> こちらを行ってください.
> (下記のコンパイラでもコンパイラの version によっては再コンパイル
> する必要があるかも知れません.)
> 
> > インテル、PGI、富士通コンパイラのいずれかを一つだけ追加する場合は
> >  /opt/score/etc/compilers/site.example.* を
> > /opt/score/etc/compilers/site
> >  にコピーするだけですむかもしれません。さらにこの 3 つのコンパイラ
> > についてはバイナリ rpm を用意しています。コンパイラをインストール
> > したあとで、SCore CD-ROM をマウントして
> >
> >         # cd /mnt/cdrom/score.rpm
> >         # rpm -Uvh *compiler*
> 
> SCore 5.2.0 かつ上記ののコンパイラの場合はこちらを行ってください.
> 
> > また、例えば、Intelコンパイラのバージョンを6から7へ上げた場合の
> > 手順はどうなりますでしょうか？
> 
> Intel compiler としての設定を行っていて, binary の互換性があれば,
> そのままで動きます.
> (site ファイルに full path を指定した場合は site ファイルを変更する必要が
> ありますが...)
> version 6 と Version 7 の両方を install していて使いわけたい場合は
>     % mpicc -compiler intel -compiler-path /opt/intel/compiler70/ia32/bin/icc ...
> のように指定します.
> 
> SCore 5.2.0 の場合は
>     /opt/score/etc/compilers/alias
> に
>     intel7 intel
> と書いておいて, site ファイルに
>     mpicc intel=icc intel7=/opt/intel/compiler70/ia32/bin/icc ...
> のように記述しておけば,
>     mpicc -compiler intel7 ...
> で version 7 のほうを使用することができます.
> 
> ただ, Intel C++ コンパイラのリリースノートに
> 6 と 7 でのバイナリの互換性が無いと書かれていましたので,
> MPI の再コンパイルが必要になる可能性があります.
> (cpi は問題無く動きましたので, 多分, C なら大丈夫かも知れません.)
> 
> > ２．コンパイル
> >
> > コンパイルは、
> > mpicc --compiler=intel myprog.c
> > などとすればよろしいでしょうか？
> 
> はい.
> 
> > また、デフォルト指定変更はどうすればよろしいでしょうか?
> 
> SCore 5.0.1 の場合は変更できません.
> SCore 5.2.0 の場合は site ファイルの先頭にあるのが
> default になります.
> また, 環境変数 SCORE_COMPILER に
>     mpicc=intel,mpif77=intel
> などと設定してあれば, mpicc, mpif77 の default compiler が
> intel になります.
> 
> > ３．実行
> >
> > mpirun、scrunの実行は、コンパイラ指定オプションはありますか？
> > また、デフォルトはどこを参照するのでしょうか？
> 
> 実行時にはコンパイラは使用しないので,
> 実行時のコンパイラの指定は無意味です.
> 
>                        from Kameyama Toyohisa


From kouchi ＠ fasol.fujitsu.com  Wed Dec 11 14:35:20 2002
From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI)
Date: Wed, 11 Dec 2002 14:35:20 +0900
Subject: [SCore-users-jp] scoredについて
Message-ID: <200212110535.AA00116@kouchi01.fasol.fujitsu.com>

メーリングリスト一同様

いつもお世話になっております。
富士通アドバンストソリューションズの幸地です。


PC Clusterにつきまして、以下の現象が生じております。
どなたか現象の調査方法についてご存知の方が
いらっしゃいましたらお願い致します。

現象：scoredを走らせると、各ノードからの応答がない。
マシンがフリーズするのではなく、シェルの反応がなくなり、
telnetやsshでアクセスすると、loginやpassword入力前に反応がないままである。
pingではレスポンスが帰ってくる。

OS(サーバ) RedHat Linux 7.2
Cluster  SCore 5.2.0  EITを使用してインストール
http://www.pccluster.org/のドキュメント内のテストは以下の状況です。
  SCOUT Test Procedure  → 完了 
  PMテスト手順   → 完了

以上、よろしくお願いします。


--------------------------------------------------
Hiroyuki KOUCHI

Systems Engnieering Dept. II
Solutions Systems Business Div.	

FUJITSU ADVANCED SOLUTIONS LIMITED

1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama,
TEL:+81 45-438-2105	FAX:+81 45-438-2318
URL http://www.fasol.fujitsu.com	

E-mail: kouchi ＠ fasol.fujitsu.com
--------------------------------------------------       





From kameyama ＠ pccluster.org  Wed Dec 11 14:55:30 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 11 Dec 2002 14:55:30 +0900
Subject: [SCore-users-jp] scoredについて
In-Reply-To: Your message of "Wed, 11 Dec 2002 14:35:20 JST."
             <200212110535.AA00116@kouchi01.fasol.fujitsu.com>
Message-ID: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <200212110535.AA00116 ＠ kouchi01.fasol.fujitsu.com> Hiroyuki KOUCHI <kouchi ＠ fasol.fujitsu.com> wrotes:
> PC Clusterにつきまして、以下の現象が生じております。
> どなたか現象の調査方法についてご存知の方が
> いらっしゃいましたらお願い致します。
> 
> 現象：scoredを走らせると、各ノードからの応答がない。
> マシンがフリーズするのではなく、シェルの反応がなくなり、
> telnetやsshでアクセスすると、loginやpassword入力前に反応がないままである。
> pingではレスポンスが帰ってくる。

特に Myrinet を使用している場合は compute host で IRQ が
重複していないか確認してください.
PM/Ethernet の場合は NIC に依存する可能性がありますので,
どのような NIC およびドライバを使用しているか教えてください.

                       from Kameyama Toyohisa


From hori ＠ swimmy-soft.com  Wed Dec 11 15:11:37 2002
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Wed, 11 Dec 2002 15:11:37 +0900
Subject: [SCore-users-jp] Resource limit エラーについて
In-Reply-To: <20021205082518.8F2F.EAST@nil.co.jp>
References: <20021205082518.8F2F.EAST@nil.co.jp>
Message-ID: <3122464297.hori0003@swimmy-soft.com>

堀@スイミー・ソフトウェアです．

お返事遅くなりました．

>１． 各エラーメッセージが 表示される条件の詳細
>	・Physical....

プログラム実行に必要な論理アドレス空間の合計（SMPの場合はそれぞれのプ
ロセスの論路空間サイズの和）が実メモリよりも大きくなるとこのメッセージ
がでます．

>	・Memory....

論理アドレス空間の大きさが実メモリ＋スワップの大きさを越えた時にこうな
ります．

>	・SIGNAL EXCEPTION...

例外シグナル（ここではSIGHUP）が発生しています．何故このシグナルが発生
したかは分かりません．

>	・Resorce limit

論理アドレス空間の大きさが実メモリ＋スワップの大きさを越えると
SCore-DがLinuxカーネルに殺される可能性があるため，このような状況になる
とSCore-Dは（自衛のため）ユーザプロセスを殺します．

>２．scrun の -resource オプションにて
>	・要求メモリ量とはなにか．

scrun を実行すると，scrunが実行されたホスト上で（クラスタの計算ホスト
ではない），指定されたユーザプログラムを実行します．この要求メモリとは
その時のメモリ使用量（論理空間の大きさ）です．

----
堀 敦史（ほり あつし）
スイミー・ソフトウェア株式会社



From kouchi ＠ fasol.fujitsu.com  Wed Dec 11 15:50:24 2002
From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI)
Date: Wed, 11 Dec 2002 15:50:24 +0900
Subject: [SCore-users-jp] scoredについて
In-Reply-To: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp>
References: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <200212110650.AA00118@kouchi01.fasol.fujitsu.com>

亀山様

早速のレスポンスありがとうございます。
幸地です。

>特に Myrinet を使用している場合は compute host で IRQ が
>重複していないか確認してください.
>PM/Ethernet の場合は NIC に依存する可能性がありますので,
>どのような NIC およびドライバを使用しているか教えてください.

情報が不足していたので追加して、回答させてください。
宜しくお願い致します。

シングルユーザモードでは、mpiのテストプログラムは、動作します。

# scout -g "クラスタグループ名"
# scrun -nodes="ノード数" "テストプログラム

マルチユーザ環境になることができません。

# scout -g "クラスタグループ名"
# scored 

scoredのコマンドを実行後にコマンドプロンプトが、数秒後でも帰ってきません。

NICは、IntelのEtherExpressPro 100を全ノード使用しております。
ドライバーは、eepro100.oのモジュールが動作しております。

宜しくお願い致します。
以上です。


--------------------------------------------------
Hiroyuki KOUCHI

Systems Engnieering Dept. II
Solutions Systems Business Div.	

FUJITSU ADVANCED SOLUTIONS LIMITED

1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama,
TEL:+81 45-438-2105	FAX:+81 45-438-2318
URL http://www.fasol.fujitsu.com	

E-mail: kouchi ＠ fasol.fujitsu.com
--------------------------------------------------       





From hori ＠ swimmy-soft.com  Wed Dec 11 16:01:32 2002
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Wed, 11 Dec 2002 16:01:32 +0900
Subject: [SCore-users-jp] scoredについて
In-Reply-To: <200212110650.AA00118@kouchi01.fasol.fujitsu.com>
References: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <3122467292.hori0006@swimmy-soft.com>

堀@スイミー・ソフトウェアです．

>マルチユーザ環境になることができません。
>
># scout -g "クラスタグループ名"
># scored 
>
>scoredのコマンドを実行後にコマンドプロンプトが、数秒後でも帰ってきません。

scored コマンドは陽に終了させるまで終わりませんので，これで正常に動い
ていることになります．

----
堀 敦史（ほり あつし）
スイミー・ソフトウェア株式会社



From kouchi ＠ fasol.fujitsu.com  Wed Dec 11 17:08:11 2002
From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI)
Date: Wed, 11 Dec 2002 17:08:11 +0900
Subject: [SCore-users-jp] scoredについて
In-Reply-To: <3122467292.hori0006@swimmy-soft.com>
References: <3122467292.hori0006@swimmy-soft.com>
Message-ID: <200212110808.AA00119@kouchi01.fasol.fujitsu.com>

堀様　亀山様

ご回答いただきありがとうございます。幸地です。

>scored コマンドは陽に終了させるまで終わりませんので，これで正常に動い
>ていることになります．

コマンドを実行した時のログを以下に示します。
正常に動作しているとのことでしたが、scoredコマンド実行後
何のメッセージも出力されません。

# expor SCBDSERV=`hostname`
# export PATH=$PATH:/opt/score/bin:/opt/score/sbin:/opt/score/deploy
# scout -g "クラスタグループ名"
SCOUT: Spawning done.
SCOUT: Session started.
# scored
(以降何も表示されない)

コンピュータホストロッククライアント(msgd)を表示させると、
全ノードは赤色に変わったままです。

$ scrun -scored="クラスタサーバ" ./hello
FEP: Unable to connect with SCore-D 
FEP:ERROR Neither SCOUT environment nor SCore-D server.
$ scrun -scored="クラスタサーバ" ./hello
No such group or hostname 
FEP:ERROR Neither SCOUT environment nor SCore-D server.


# sc_console "クラスタサーバ名" -c shutdown
Unable to connect with "クラスタサーバ名":9991.



9991番ポートが開いていない？？

/var/log/messagesには特に何も出力されていません。

以上、よろしくお願いします。


--------------------------------------------------
Hiroyuki KOUCHI

Systems Engnieering Dept. II
Solutions Systems Business Div.	

FUJITSU ADVANCED SOLUTIONS LIMITED

1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama,
TEL:+81 45-438-2105	FAX:+81 45-438-2318
URL http://www.fasol.fujitsu.com	

E-mail: kouchi ＠ fasol.fujitsu.com
--------------------------------------------------       





From hori ＠ swimmy-soft.com  Wed Dec 11 17:22:47 2002
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Wed, 11 Dec 2002 17:22:47 +0900
Subject: [SCore-users-jp] scoredについて
In-Reply-To: <200212110808.AA00119@kouchi01.fasol.fujitsu.com>
References: <3122467292.hori0006@swimmy-soft.com>
Message-ID: <3122472167.hori0007@swimmy-soft.com>

堀@スイミー・ソフトウェアです．

># expor SCBDSERV=`hostname`
># export PATH=$PATH:/opt/score/bin:/opt/score/sbin:/opt/score/deploy
># scout -g "クラスタグループ名"
>SCOUT: Spawning done.
>SCOUT: Session started.
># scored
>(以降何も表示されない)

ひょっとして，このまましばらく（数十分）待つとメッセージが（ゆっくりと
！）出たりしませんか？

----
堀 敦史（ほり あつし）
スイミー・ソフトウェア株式会社



From kouchi ＠ fasol.fujitsu.com  Wed Dec 11 17:28:37 2002
From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI)
Date: Wed, 11 Dec 2002 17:28:37 +0900
Subject: [SCore-users-jp] scoredについて
In-Reply-To: <3122472627.hori0008@swimmy-soft.com>
References: <3122472627.hori0008@swimmy-soft.com>
Message-ID: <200212110828.AA00120@kouchi01.fasol.fujitsu.com>

堀様

ご迷惑をおかけ致しております。
幸地です。

>堀@スイミー・ソフトウェアです．
>
>>># expor SCBDSERV=`hostname`
>>># export PATH=$PATH:/opt/score/bin:/opt/score/sbin:/opt/score/deploy
>>># scout -g "クラスタグループ名"
>>>SCOUT: Spawning done.
>>>SCOUT: Session started.
>>># scored
>>>(以降何も表示されない)
>>
>>ひょっとして，このまましばらく（数十分）待つとメッセージが（ゆっくりと
>>！）出たりしませんか？

数十分待っていますが、反応がありません。

>もうひとつ．cat /proc/interrupt の出力を送ってください．

/proc/interrupt の出力結果です。
           CPU0       
  0:   52957281          XT-PIC  timer
  1:          3          XT-PIC  keyboard
  2:          0          XT-PIC  cascade
  8:          1          XT-PIC  rtc
 10:     984891          XT-PIC  eth0
 14:     186521          XT-PIC  ide0
 15:         13          XT-PIC  ide1
NMI:          0 
LOC:   52958513 
ERR:          0
MIS:          0


--------------------------------------------------
Hiroyuki KOUCHI

Systems Engnieering Dept. II
Solutions Systems Business Div.	

FUJITSU ADVANCED SOLUTIONS LIMITED

1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama,
TEL:+81 45-438-2105	FAX:+81 45-438-2318
URL http://www.fasol.fujitsu.com	

E-mail: kouchi ＠ fasol.fujitsu.com
--------------------------------------------------       





From shmz ＠ crl.hitachi.co.jp  Wed Dec 11 22:56:07 2002
From: shmz ＠ crl.hitachi.co.jp (masaaki shimizu)
Date: Wed, 11 Dec 2002 22:56:07 +0900
Subject: [SCore-users-jp] SCore ジョブのアカウンティングについて
Message-ID: <200212111358.gBBDwA4n013854@crl.hitachi.co.jp>

お世話になります。日立製作所の清水です。

SCore上で動かしたジョブのアカウンティングについて
お伺いしたく、こちらのメーリングリストに投げさせていただきました。

redhat linuxではpsacctパッケージを使えばacct（プロセスアカウント）
を取れるようになりますが、SCoreクラスタとしてみた際に、
scrunやscoredから並列プログラムを実行した際に、何ノードで何分
どのオーナーのプログラムを実行したというlogは出力させる
ことはできるのでしょうか？

各ノードのacctの結果をマージするという方法もありますが、
ディスパッチする側で取れていればありがたいのですが。

------------------------------------------------------
            （株）日立製作所　中央研究所
    プラットフォームシステム研究部 625研究ユニット
    清水正明 shmz ＠ crl.hitachi.co.jp (042-323-1111)


From east ＠ nil.co.jp  Thu Dec 12 12:10:58 2002
From: east ＠ nil.co.jp (satoshi higashizaki)
Date: Thu, 12 Dec 2002 12:10:58 +0900
Subject: [SCore-users-jp] Resource limit エラーについて
In-Reply-To: <3122464297.hori0003@swimmy-soft.com>
References: <20021205082518.8F2F.EAST@nil.co.jp> <3122464297.hori0003@swimmy-soft.com>
Message-ID: <20021212120326.E735.EAST@nil.co.jp>

堀様；

ありがとうございました． 
教えていただいた内容から，自分が勘違いしていた箇所も確認できました．
これを踏まえて もう少し調べてみます．

これからも，よろしくお願いいたします．


On Wed, 11 Dec 2002 15:11:37 +0900
Atsushi HORI <hori ＠ swimmy-soft.com> wrote:

> 堀@スイミー・ソフトウェアです．
> 
> お返事遅くなりました．
> 
> >１． 各エラーメッセージが 表示される条件の詳細
> >	・Physical....
> 
> プログラム実行に必要な論理アドレス空間の合計（SMPの場合はそれぞれのプ
> ロセスの論路空間サイズの和）が実メモリよりも大きくなるとこのメッセージ
> がでます．
> 
> >	・Memory....
> 
> 論理アドレス空間の大きさが実メモリ＋スワップの大きさを越えた時にこうな
> ります．
> 
> >	・SIGNAL EXCEPTION...
> 
> 例外シグナル（ここではSIGHUP）が発生しています．何故このシグナルが発生
> したかは分かりません．
> 
> >	・Resorce limit
> 
> 論理アドレス空間の大きさが実メモリ＋スワップの大きさを越えると
> SCore-DがLinuxカーネルに殺される可能性があるため，このような状況になる
> とSCore-Dは（自衛のため）ユーザプロセスを殺します．
> 
> >２．scrun の -resource オプションにて
> >	・要求メモリ量とはなにか．
> 
> scrun を実行すると，scrunが実行されたホスト上で（クラスタの計算ホスト
> ではない），指定されたユーザプログラムを実行します．この要求メモリとは
> その時のメモリ使用量（論理空間の大きさ）です．




 Name    :  Satoshi Higashizaki
 E_mail    :   east ＠ nil.co.jp
 Company :  Nil Software corp.



From kameyama ＠ pccluster.org  Thu Dec 12 18:27:35 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 12 Dec 2002 18:27:35 +0900
Subject: [SCore-users-jp] SCore ジョブのアカウンティングについて
In-Reply-To: Your message of "Wed, 11 Dec 2002 22:56:07 JST."
             <200212111358.gBBDwA4n013854@crl.hitachi.co.jp>
Message-ID: <20021212092735.C0DC620042@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <200212111358.gBBDwA4n013854 ＠ crl.hitachi.co.jp> masaaki shimizu <shmz ＠ crl.hitachi.co.jp> wrotes:
> redhat linuxではpsacctパッケージを使えばacct（プロセスアカウント）
> を取れるようになりますが、SCoreクラスタとしてみた際に、
> scrunやscoredから並列プログラムを実行した際に、何ノードで何分
> どのオーナーのプログラムを実行したというlogは出力させる
> ことはできるのでしょうか？

multi user mode であれば, sc_syslog を使用して scored の出力を
ファイルに出力する機能があり,

2/Dec/2002 18:56:36 SYSLOG: Login accepted: kameyama ＠ server.pccluster.org:34160
, JID: 1, Hosts: 8(4x2)@0, Priority: 1, Command: system date
12/Dec/2002 18:56:37 SYSLOG: Logout: kameyama ＠ server.pccluster.org:34160, JOB-ID
: 1, CPU Time: 601.0[m]

というような情報を得ることはできます.
ただ, この 2 行はコマンドの開始と終了に出力されるため, 間に別の行が入る
可能性があります.

なお, sc_syslog の起動のしかたなどは,
    http://www.pccluster.org/score/dist/score/html/ja/reference/scored/scbcast.html
を参照してください.

                       from Kameyama Toyohisa


From rguenth ＠ tat.physik.uni-tuebingen.de  Thu Dec 12 19:15:30 2002
From: rguenth ＠ tat.physik.uni-tuebingen.de (Richard Guenther)
Date: Thu, 12 Dec 2002 11:15:30 +0100 (CET)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp>
Message-ID: <Pine.LNX.4.33.0212121113320.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>

On Tue, 10 Dec 2002, Shinji Sumimoto wrote:

> rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions
> rguenth> called? Maybe we can see a pattern to the problem.
>
> MPICH/SCore also has -mpi_log option like MPICH.  But, if the program
> runs a couple of minuites, logs becomes huge and difficult to analize.

It seems somebody had the great idea of mounting a 64mb /tmp on our
clusters nodes and I cant get mpe to log to /work (it seems to ignore
all attempts to set the TMPDIR environment as it states I should do).

So no progress on debugging the thing.

Oh well, Richard.

--
Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From rguenth ＠ tat.physik.uni-tuebingen.de  Thu Dec 12 23:35:29 2002
From: rguenth ＠ tat.physik.uni-tuebingen.de (Richard Guenther)
Date: Thu, 12 Dec 2002 15:35:29 +0100 (CET)
Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?)
In-Reply-To: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp>
Message-ID: <Pine.LNX.4.33.0212121533430.10722-100000@bellatrix.tat.physik.uni-tuebingen.de>

On Tue, 10 Dec 2002, Shinji Sumimoto wrote:

> rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions
> rguenth> called? Maybe we can see a pattern to the problem.
>
> MPICH/SCore also has -mpi_log option like MPICH.  But, if the program
> runs a couple of minuites, logs becomes huge and difficult to analize.

Got it to work - but I cannot reproduce the problem while
logging, and logviewer chokes on the 400MB logfile for one iteration
(probably the polling logs are just horrible) :/

Richard.

--
Richard Guenther <richard.guenther ＠ uni-tuebingen.de>
WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From mykrol ＠ cyf-kr.edu.pl  Fri Dec 13 01:33:52 2002
From: mykrol ＠ cyf-kr.edu.pl (Marcin Krol)
Date: Thu, 12 Dec 2002 17:33:52 +0100 (MET)
Subject: [SCore-users-jp] [SCore-users] EIT5.2.0 installation problem
Message-ID: <Pine.HPX.4.44.0212121713360.6137-100000@kinga.cyf-kr.edu.pl>

Dear SCore users,

In order to install SCore 5.2.0 with EIT I prepared a server machine as
described, NIS is working, installed SCore on the server, run EIT.
Everything went fine, I just follwed the instructions. Installation floppy
disk was created, I put it into a first working node, the node booted and
wrote an error message:
[...]
USING EIT5 FEATURE
mounting /proc filesystem... done
Testing .............
No dhcp_server specified. Used Broadcast
SIOCSIFADDR: No such device
Try it again
[repeat 3x]
Configure Network fails
done
NFS mount : /mnt/runtime
Cannot mount
exiting
See the documentation for this trouble

As i have different ethernet cards in server and compute nodes
(Realtek|RTL-8139/8139C on the server, Silicon Integrated Systems [SiS]
|SiS900 10/100 Ethernet on the compute nodes), I changed the driver on the
installation floppy as described on www.pccluster.org to sis900, but it
still doesn't work. I don't quite understand why a compute node looks for
dhcp, there is no dhcp server in my sub-network. Shouldn't it just mount
/mnt/cdrom from the server?

I'd be grateful if anyone could help me, as I am stuck at the moment...
Thank you in advance
Marcin



_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From eugenpc2 ＠ bluewin.ch  Fri Dec 13 08:29:13 2002
From: eugenpc2 ＠ bluewin.ch (e.paiuc)
Date: Fri, 13 Dec 2002 00:29:13 +0100
Subject: [SCore-users-jp] [SCore-users] Re: Debian 2.4.18
References: <3DF66AB6.90706@bluewin.ch>
Message-ID: <3DF91BC9.6070100@bluewin.ch>

e.paiuc wrote:


  Dear SCore users,

I'd  like to use  SCore 5.2.0 for debian 3.0r0 (woody)
  -i386-debian-linux2_4-. I have some problems to install it.
  I'm a beginner so I'll appreciate any detailed explanation .

  Thanks for any reply

Cheers,  eugen paiuc




.......................................................................
 >
 >> From hermann.lauer ＠ iwr.uni-heidelberg.de  Mon Nov 11 17:00:33 2002
 >> From: hermann.lauer ＠ iwr.uni-heidelberg.de (Hermann Lauer)
 >> Date: Mon, 11 Nov 2002 18:00:33 +0100
 >> Subject: [SCore-users] sc_watch did'nt recognize crash of scored.exe
 >> on one node
 >> Message-ID: <20021111180033.B12371 ＠ lemon.iwr.uni-heidelberg.de>
 >
 >
 >> Dear Score Users,
 >
 >
 >> score-5.0.1 stopped with the following error in sc_watch:
 >
 >
 >> <194> ULT: Exception Signal (11)
 >
 >
 >> SCOUT: Session done.
 >> [10/Nov/2002,00:37:45] System failure detected.
 >> [10/Nov/2002,00:37:45] System has been shutdown.
 >> [10/Nov/2002,00:37:45] Local Action: /opt/score/etc/replace.sh
 >> [10/Nov/2002,00:37:57] Rebooting System [3 times, second retry]:
 >> /opt/score/deploy/*bin.i386-debian-linux2_4*/scored.exe
 >
 >
 > 
........................................................................................................... 

 >
 >
 >




_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Fri Dec 13 20:37:59 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Fri, 13 Dec 2002 20:37:59 +0900
Subject: [SCore-users-jp] Re: [SCore-users] EIT5.2.0 installation problem
In-Reply-To: Your message of "Thu, 12 Dec 2002 17:33:52 JST."
             <Pine.HPX.4.44.0212121713360.6137-100000@kinga.cyf-kr.edu.pl>
Message-ID: <20021213113759.76C8D20046@neal.il.is.s.u-tokyo.ac.jp>

In article <Pine.HPX.4.44.0212121713360.6137-100000 ＠ kinga.cyf-kr.edu.pl> Marcin Krol <mykrol ＠ cyf-kr.edu.pl> wrotes:
> As i have different ethernet cards in server and compute nodes
> (Realtek|RTL-8139/8139C on the server, Silicon Integrated Systems [SiS]
> |SiS900 10/100 Ethernet on the compute nodes), I changed the driver on the
> installation floppy as described on www.pccluster.org to sis900, but it
> still doesn't work.

Please look at console 3 (CNTL-ALT-F3) and console 4 (CNTL-ALT-F4).
The cionsole 3 shows install log.
If you don't find sis900 in console 3,
Please check pcitable and module-info file
in initrd on the floppy disk.
If you find sis900 in console 3, please look at console 4.
The sonsole 4 shows kernel log.
If sis900 module installation will be fail, you may be find its reason
in console 4 messages.

> I don't quite understand why a compute node looks for
> dhcp, there is no dhcp server in my sub-network. Shouldn't it just mount
> /mnt/cdrom from the server?

EIT use DHCP protocol with poret number 1641.
Please read Overview of Installation in EIT installation guide:
    http://www.pccluster.org/score/dist/score/html/en/installation/eit.html

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From christmas ＠ seekercenter.net  Sun Dec 15 07:07:59 2002
From: christmas ＠ seekercenter.net (=?iso-2022-jp?b?Y2hyaXN0bWFzIBskQiF3GyhCIHNlZWtlcmNlbnRlci5uZXQ=?=)
Date: Sun, 15 Dec 2002 06:07:59 +0800
Subject: [SCore-users-jp] [SCore-users] http://www.pccluster.org/mailman/listinfo/score-users/
Message-ID: <200212142205.gBEM5SS22784@pccluster.org>

Dear Sir/Madam, 
Thanks for your support to SeekerCenter WebPromoter! In the coming Christmas please accept our deep appreciation and warm greetings for your kindly support and understanding!

SeekerCenter has developed and is still working over website promotion services, including its WebPromoter and Traffic Tracker. By using SeekerCenter WebPromoter developed in millenium, you can have your website registered to search engines & directories soon, and expect to see your pageviews increasing quickly and effectively. In return, the increase of pageviews will also improve your rank in search queries. By utilizing Traffic Tracker you can effectively record and analyze the traffic to your website and create a click report for reference. With our website promotion services, you can make the best of great marketing opportunities in today's e-times. 
In the coming Christmas we'd like to offer you SeekerCenter website promotion services for 7 days FREE! In these 7 days our technical professionals will submit your site to big search engines & directories worldwide, and you will see your pageviews increasing instantly. The submission report and click report are ready in the Member Area. We sincerely hope that it can bring more exposure to your business in the New Year!

Should you need more info please visit http://christmas.seekercenter.net or contact support ＠ seekercenter.net. All your advice will be highly appreciated!

Wish you all good luck in your business! Merry Xmas & Happy New Year!

Best wishes,
Albert Shawn
SeekerCenter Inc.

-------------- next part --------------
HTMLの添付ファイルを保管しました...
URL: <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20021215/e266f0fe/attachment.html>

From nrcb ＠ streamline-computing.com  Sun Dec 15 09:24:57 2002
From: nrcb ＠ streamline-computing.com (Nick Birkett)
Date: Sun, 15 Dec 2002 00:24:57 +0000
Subject: [SCore-users-jp] [SCore-users] kernel SCORE
Message-ID: <200212150024.gBF0OwX03739@zeralda.streamline.com>

Is there any reason not to run the 2.4.18-3SCORE kernel  under  SCore 5.0.1 ?

I think the 3SCORE  kernel has newer Intel Gigabit drivers and works much 
better.

Thanks,

Nick


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Mon Dec 16 10:09:10 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 16 Dec 2002 10:09:10 +0900
Subject: [SCore-users-jp] Re: [SCore-users] kernel SCORE
In-Reply-To: Your message of "Sun, 15 Dec 2002 00:24:57 JST."
             <200212150024.gBF0OwX03739@zeralda.streamline.com>
Message-ID: <20021216010910.210CB20046@neal.il.is.s.u-tokyo.ac.jp>

In article <200212150024.gBF0OwX03739 ＠ zeralda.streamline.com> Nick Birkett <nrcb ＠ streamline-computing.com> wrotes:
> Is there any reason not to run the 2.4.18-3SCORE kernel  under  SCore 5.0.1 ?

Because SCore 5.2 kernel change PM/Myrinet memoory map layout
for IA64 (16 KB pagesize).

> I think the 3SCORE  kernel has newer Intel Gigabit drivers and works much 
> better.

You can change that's driver only.

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From mykrol ＠ cyf-kr.edu.pl  Tue Dec 17 01:18:21 2002
From: mykrol ＠ cyf-kr.edu.pl (Marcin Krol)
Date: Mon, 16 Dec 2002 17:18:21 +0100 (MET)
Subject: [SCore-users-jp] Re: [SCore-users] EIT5.2.0 installation problem
In-Reply-To: <20021213113759.76C8D20046@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <Pine.HPX.4.44.0212161717170.5467-100000@kinga.cyf-kr.edu.pl>

> > As i have different ethernet cards in server and compute nodes
> > (Realtek|RTL-8139/8139C on the server, Silicon Integrated Systems [SiS]
> > |SiS900 10/100 Ethernet on the compute nodes), I changed the driver on the
> > installation floppy as described on www.pccluster.org to sis900, but it
> > still doesn't work.
>
> Please look at console 3 (CNTL-ALT-F3) and console 4 (CNTL-ALT-F4).
> The cionsole 3 shows install log.
> If you don't find sis900 in console 3,
> Please check pcitable and module-info file
> in initrd on the floppy disk.
> If you find sis900 in console 3, please look at console 4.
> The sonsole 4 shows kernel log.
> If sis900 module installation will be fail, you may be find its reason
> in console 4 messages.

Thanks! It is working now! The reason was I haven't added the information
about sis900 to the module-info file.
Marcin

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From jcmcknny ＠ uiuc.edu  Tue Dec 17 17:49:25 2002
From: jcmcknny ＠ uiuc.edu (jon)
Date: Tue, 17 Dec 2002 02:49:25 -0600
Subject: [SCore-users-jp] [SCore-users] Will my config work with SCore?
Message-ID: <005401c2a5a9$370bee20$3027fea9@jonxp>

Hi,

I wanted to verify my understanding of SCore.

I (UIUC Astronomy dept.) plan on getting 12 Tyan Tiger i7500 dual-Xeon
MB's with 2.4Ghz Xeon's, with onboard e1000 gigabit, running RH7.3.  We
have a HP Procurve 5308xl switch (stupid with no jumbo frames, but ok).

Why?  Because SCore apparently does pretty well with the e1000, among
other things (latency is a big issue for us).

We'd like to run the Intel Compiler 7.0 for our codes, including icc
(c/c++) and ifc (F90/F95).  Gcc 3.2 support is also necessary for stuff
like Chombo-viz.

What's the issue with compilers?  Is the issue just about how to compile
SCore itself?  Or actual programs of the user?  I'm a bit confused about
what's broken if anything.

I read about certain problems with F90 lately.  Can someone that's
experienced with actual installation tell me about what problems I will
encounter, and anything I'm not thinking about? :)

Thanks!
Jonathan McKinney
UIUC
Center for Theoretical Astrophysics
NCSA


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Tue Dec 17 18:47:00 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Tue, 17 Dec 2002 18:47:00 +0900
Subject: [SCore-users-jp] Re: [SCore-users] Will my config work with SCore?
In-Reply-To: Your message of "Tue, 17 Dec 2002 02:49:25 JST."
             <005401c2a5a9$370bee20$3027fea9@jonxp>
Message-ID: <20021217094701.00C8120046@neal.il.is.s.u-tokyo.ac.jp>

In article <005401c2a5a9$370bee20$3027fea9 ＠ jonxp> "jon" <jcmcknny ＠ uiuc.edu> wrotes:
> We'd like to run the Intel Compiler 7.0 for our codes, including icc
> (c/c++) and ifc (F90/F95).  Gcc 3.2 support is also necessary for stuff
> like Chombo-viz.

> What's the issue with compilers?  Is the issue just about how to compile
> SCore itself?  Or actual programs of the user?  I'm a bit confused about
> what's broken if anything.

In SCore 5.2, Intel compiler binary is included.
But...
1. It's binary compiled by Interl compiler version 6.0.
   But this version is not binary compatibirity between 7.0.
   (Please see /opt/intel/compiler70/docs/C++ReleaseNotes.htm)
2. You cannot use Fortran 90 compiler.
   We cannot compile Fortran 90 module with Intel compiler version 6.0.
   Fortran 90 with mpich 1.2.4/SCore has bug.

Therefor, Please apply patch by:
    http://www.pccluster.org/pipermail/score-users-jp/2002-December/001033.html
And re-compile mpich module.

SCore 5.2 binary is compiled with gcc 2.96 (redhat 7.2 default compiler).
I think, you can use MPI program with gcc 3.2 (mpicc with
-compiler-path option).
But becase C++ standard library is changed, you may not compile C++ programs
with MPI C++ bindings.

You cannot compile SCore with Intel compiler.
SCore source includes gcc depended functions
(for example, include kernel header file.)

You cannot compile SCore 5.2 itself with gcc 3.2.
SCore 5.2 has incompatibirity with gcc 3.2
(for example cpp output format is changed,
"#ifdef not" does not work with C++).

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From emile.carcamo ＠ nec.fr  Wed Dec 18 19:34:16 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Wed, 18 Dec 2002 11:34:16 +0100
Subject: [SCore-users-jp] [SCore-users] GM availability on SCore, when ???
Message-ID: <200212181034.gBIAYG605577@emilepc.ess.nec.fr>

Dear list members,

	When running some MPI benchmarks on Myrinet-2k, we noticed that performance
	is much-much better using 'GM' rather than PM. Problem is that 'GM' is not
	that much integrated with SCore until now (no checkpoint/restart, rcp-all
	won't work, needs a kernel rebuild on nodes, etc... etc...).

	As far as I know, PM is an older version of 'GM' (was maybe GPL licensed at
	that time ?). But GM offers the capability to run TCP/IP on top of it : you
	can do 'ifconfig myri0 up' on each node then do some NFS mounts if you wish
	pretty cool stuff ;-)

	Are there any plans to integrate GM under SCore and to have the capability
	to switch either PM or GM as kernel modules (just doing insmod/rmmod !!).

	Many thanks for your feedback on that important issue, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /

The tar-balls I've downloaded from the Myricom WEB site :
-------------------------------------------------------
-rw-r-----    1 emile    carcamo  12463332 Nov 18 20:09 mpich-1.2.4..8a.tar.gz
-rw-r-----    1 emile    carcamo   5814426 Nov 18 19:42 gm-1.6.3_Linux.tar.gz



_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ flab.fujitsu.co.jp  Wed Dec 18 19:53:52 2002
From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto)
Date: Wed, 18 Dec 2002 19:53:52 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ???
In-Reply-To: <200212181034.gBIAYG605577@emilepc.ess.nec.fr>
References: <200212181034.gBIAYG605577@emilepc.ess.nec.fr>
Message-ID: <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp>

Hi.

Have you used mpi_zerocopy=on on your benchmark?
The default option MPICH/SCore is mpi_zerocopy=off. 

Which benchmark are you using?
Could you show the performance results?

From: Emile CARCAMO <emile.carcamo ＠ nec.fr>
Subject: [SCore-users] GM availability on SCore, when ???
Date: Wed, 18 Dec 2002 11:34:16 +0100
Message-ID: <200212181034.gBIAYG605577 ＠ emilepc.ess.nec.fr>

carcamo> 	When running some MPI benchmarks on Myrinet-2k, we noticed that performance
carcamo> 	is much-much better using 'GM' rather than PM. Problem is that 'GM' is not
carcamo> 	that much integrated with SCore until now (no checkpoint/restart, rcp-all
carcamo> 	won't work, needs a kernel rebuild on nodes, etc... etc...).
carcamo> 
carcamo> 	As far as I know, PM is an older version of 'GM' (was maybe GPL licensed at
carcamo> 	that time ?). But GM offers the capability to run TCP/IP on top of it : you
carcamo> 	can do 'ifconfig myri0 up' on each node then do some NFS mounts if you wish
carcamo> 	pretty cool stuff ;-)

PM is complete different from GM, built from scrach. 
You will know if you see the source code of PM and GM.

Shinji.

carcamo> 	Are there any plans to integrate GM under SCore and to have the capability
carcamo> 	to switch either PM or GM as kernel modules (just doing insmod/rmmod !!).
carcamo> 
carcamo> 	Many thanks for your feedback on that important issue, and best regards.
carcamo> 
carcamo> -- 
carcamo> Emile_CARCAMO           NEC European            http://www.ess.nec.de
carcamo> System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
carcamo>                         Systems France      GSM mailto:emile.carcamo ＠ orange.fr
carcamo> (+33)1-3930-6601   FAX
carcamo> (+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
carcamo> (+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /
carcamo> 
carcamo> The tar-balls I've downloaded from the Myricom WEB site :
carcamo> -------------------------------------------------------
carcamo> -rw-r-----    1 emile    carcamo  12463332 Nov 18 20:09 mpich-1.2.4..8a.tar.gz
carcamo> -rw-r-----    1 emile    carcamo   5814426 Nov 18 19:42 gm-1.6.3_Linux.tar.gz
carcamo> 
carcamo> 
carcamo> 
carcamo> _______________________________________________
carcamo> SCore-users mailing list
carcamo> SCore-users ＠ pccluster.org
carcamo> http://www.pccluster.org/mailman/listinfo/score-users
carcamo> 
------
Shinji Sumimoto, Fujitsu Labs
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From mykrol ＠ cyf-kr.edu.pl  Thu Dec 19 01:15:20 2002
From: mykrol ＠ cyf-kr.edu.pl (Marcin Krol)
Date: Wed, 18 Dec 2002 17:15:20 +0100 (MET)
Subject: [SCore-users-jp] [SCore-users] PM/Ethrnet
Message-ID: <Pine.HPX.4.44.0212181708310.4349-100000@kinga.cyf-kr.edu.pl>

Hello,
I have installed SCore 5.2.0 using EIT on just two nodes - the server is a
compute node as well. The server and the other node have different
ethrenet cards. During the installation I had to add sis900.o driver to
the boot diskette, but the it went smoothly. After the installation all
score programs failed and I noticed that pm_ethernet does not work. When I
wanted to run it on the server node (# /etc/init.d/pm_ethernet start) I
got the error message
etherpmctl: ERROR on unit 0 :"Operation not supported (95)"
On the compute node the error was:
etherpmctl: Error on unit 0: " Device or resource busy (16)"

What's wrong?
Thanks in advance for your answer.
Marcin

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From e973220 ＠ eve.u-ryukyu.ac.jp  Wed Dec 18 22:16:24 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Wed, 18 Dec 2002 22:16:24 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: <200212111358.gBBDwA4n013854@crl.hitachi.co.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNIEKOCCAA.e973220@eve.u-ryukyu.ac.jp>

This is a multi-part message in MIME format.

------=_NextPart_000_0000_01C2A6E3.1A1D25A0
Content-Type: text/plain;
	charset="iso-2022-jp"
Content-Transfer-Encoding: 7bit

こんにちわ。
琉球大の金城です。


今回、PETScのインストール方法についての
質問のためにメールをさせてもらっております。

ご回答を頂く事ができたら非常に幸いです。


【環境】
Red Hat 7.3　（フルインストール）
SCore 5.0.1


【達成したいこと】
PETScのインストール


【設定においてエラーがでてきたところ】

□　ひとつ

[kinjo ＠ scic99 petsc-2.1.3]$ make BOPT=g testexamples >& examples_log

$ cat examples_log
（略）
/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to
`sc_terminate'
/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to
`score_self_node'
collect2: ld returned 1 exit status
make[6]: [ex1] Error 1 (ignored)
（略）






【行った設定の手順】

http://www-fp.mcs.anl.gov/petsc/docs/installation/unix.htm
を参照し設定を行いました。

とりあえず以下に、行った設定を記述します。

＃環境変数の設定
[kinjo ＠ scic99 petsc-2.1.3]$ export PETSC_DIR=/home/kinjo/petsc-2.1.3

＃ petscarch　でアーキテクチャーを調べる。
[kinjo ＠ scic99 kinjo]$ /home/kinjo/petsc-2.1.3/bin/petscarch
linux

＃　アーキテクチャーはlinuxという返事をもらったので、
＃　環境変数を　linuxとする。
[kinjo ＠ scic99 kinjo]$ export PETSC_ARCH=linux
[kinjo ＠ scic99 kinjo]$ echo $PETSC_ARCH
linux

＃　取得したfblaslapack.tar.gzを解凍
[kinjo ＠ scic99 kinjo]$ tar zxvf fblaslapack.tar.gz

＃　解凍後にできたfblaslapackディレクトリでmake
[kinjo ＠ scic99 fblaslapack]$ pwd
/home/kinjo/fblaslapack
[kinjo ＠ scic99 fblaslapack]$ make

＃　/home/kinjo/petsc-2.1.3に libflapack.a libblas.aを格納するための
＃　blaslapackというディレクトリを作成
[kinjo ＠ scic99 petsc-2.1.3]$ mkdir blaslapack

＃　libflapack.a libblas.a　を上のblasalpackディレクトリへ移動
[kinjo ＠ scic99 fblaslapack]$ cp libflapack.a libfblas.a
../petsc-2.1.3/blaslapack/

＃　/home/kinjo/petsc-2.1.3/bmake/linux/packageを編集
$ emacs package

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
＃　packageファイルの以下の記述を編集（抜粋）
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

＃　先ほどのライブラリファイルのディレクトリを指定
#BLASLAPACK_LIB = -L/home/petsc/software/blaslapack/linux -lflapack -lfblas
#BLASLAPACK_LIB
= -L/home/petsc/software/mkl_linux/LIB -lmkl32_lapack -lmkl32_def -lpthre\
ad
BLASLAPACK_LIB = -L/home/kinjo/petsc-2.1.3/blaslapack -lflapack -lfblas

＃　MPIのディレクトリを変更
#MPI_HOME       = /home/petsc/software/mpich-1.2.0/linux
MPI_HOME       = /opt/score5.0.0/mpi/mpich-1.2.0/i386-redhat7-linux2_4
MPI_LIB        = -L${MPI_HOME}/lib -lmpich
MPI_INCLUDE    = -I${MPI_HOME}/include
MPIRUN         =  ${MPI_HOME}/bin/mpirun -machinefile
${PETSC_DIR}/maint/hosts.local

＃　最後の行付近、共有ライブラリは使用しないと思い、コメントアウト
#C_DYLIBPATH     = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
${CLINKER_SLFLAG}/\
home/petsc/software/BlockSolve95/lib/libO/linux
#F_DYLIBPATH     = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
${FLINKER_SLFLAG}/\
home/petsc/software/BlockSolve95/lib/libO/linux

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
＃　packageファイルの編集終わり
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃


＃　http://www-unix.mcs.anl.gov/petsc/petsc-patches.html
＃　で、取得したパッチを当てる。
[kinjo ＠ scic99 petsc-2.1.3]$ patch -Np1 < patchfile



＃　/home/kinjo/petsc-2.1.3で、make
[kinjo ＠ scic99 petsc-2.1.3]$ make BOPT=g all >& make_log


＃　/home/kinjo/petsc-2.1.3で、
＃　make BOPT=g testexamples >& examples_log
＃　ログにエラーが記録されていた。
[kinjo ＠ scic99 petsc-2.1.3]$ make BOPT=g testexamples >& examples_log

━━━━━━━━━━━━━━━━━━━━━━━━
エラー発生（抜粋）
━━━━━━━━━━━━━━━━━━━━━━━━
/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to
`sc_terminate'
/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to
`score_self_node'
collect2: ld returned 1 exit status
make[6]: [ex1] Error 1 (ignored)
━━━━━━━━━━━━━━━━━━━━━━━━
このログファイルを添付させてもらいました。
━━━━━━━━━━━━━━━━━━━━━━━━


SCoreのMLでこのような質問をしていいか
非常に迷いましたが、どうしても自分ひとりでは
解決できそうにない問題なので、思い切って投稿
させてもらいました。

どうかよろしく御願いします。


  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



------=_NextPart_000_0000_01C2A6E3.1A1D25A0
Content-Type: application/octet-stream;
	name="examples_log.gz"
Content-Transfer-Encoding: base64
Content-Disposition: attachment;
	filename="examples_log.gz"

[encoded data, 37422 characters]
+J8DPcF887ZamcnnKr3AafVPdY8P/z9IB/ttObENAA==

------=_NextPart_000_0000_01C2A6E3.1A1D25A0--



From kameyama ＠ pccluster.org  Thu Dec 19 09:40:43 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 19 Dec 2002 09:40:43 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: Your message of "Wed, 18 Dec 2002 22:16:24 JST."
             <JOELIPBDDCMFGIHFCNCNIEKOCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <20021219004044.EF71920046@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

ファイルを眺めただけで, 実際に make はしていませんが...

In article <JOELIPBDDCMFGIHFCNCNIEKOCCAA.e973220 ＠ eve.u-ryukyu.ac.jp> "金城 尚志" <e973220 ＠ eve.u-ryukyu.ac.jp> wrotes:
> $ cat examples_log
> （略）
> /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to
> `sc_terminate'
> /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to
> `score_self_node'

SCore 関係のライブラリがリンクされていないようです.
この library は
    /opt/score/lib/i386-redhat7-linux2_4
あたりにはありますが, 繁雑なのと SCore の vesion によって変わる可能性があるので,
gcc, g77 の変わりに scorecc, scoref77 などを使用することを推奨します.

> ＃　/home/kinjo/petsc-2.1.3/bmake/linux/packageを編集
> $ emacs package

この file に加えて
    bmake/linux/variables
も編集してください.
このファイルの中で gcc, g77, g++ をそれぞれ,
scorecc, scoref77, scorec++ に変更してください.
(C_CC の -fPIC は削除して良いかも...)
gnu 以外のコンパイラを使用したい場合は, score* の引数に
    -compiler
フラグを追加してください.

あと, SCorre program は基本的に static link を行いますので,
shared library を作成しないように
     config/configure_options.linux
に
    --disable-share
を入れておいてください.

                       from Kameyama Toyohisa


From kameyama ＠ pccluster.org  Thu Dec 19 10:05:15 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 19 Dec 2002 10:05:15 +0900
Subject: [SCore-users-jp] Re: [SCore-users] PM/Ethrnet
In-Reply-To: Your message of "Wed, 18 Dec 2002 17:15:20 JST."
             <Pine.HPX.4.44.0212181708310.4349-100000@kinga.cyf-kr.edu.pl>
Message-ID: <20021219010516.0A33B20046@neal.il.is.s.u-tokyo.ac.jp>

In article <Pine.HPX.4.44.0212181708310.4349-100000 ＠ kinga.cyf-kr.edu.pl> Marcin Krol <mykrol ＠ cyf-kr.edu.pl> wrotes:
> I have installed SCore 5.2.0 using EIT on just two nodes - the server is a
> compute node as well. The server and the other node have different
> ethrenet cards. During the installation I had to add sis900.o driver to
> the boot diskette, but the it went smoothly. After the installation all
> score programs failed and I noticed that pm_ethernet does not work. When I
> wanted to run it on the server node (# /etc/init.d/pm_ethernet start) I
> got the error message
> etherpmctl: ERROR on unit 0 :"Operation not supported (95)"

If you want to use PM/ethernet, you must change kernel with PM/ethernet driver.
If you don't reboot server host after end of EIT, please reboot the server host.

> On the compute node the error was:
> etherpmctl: Error on unit 0: " Device or resource busy (16)"

I think the compute host already execute /etc/init.d/pm_ethernet
when the host is booted.
(If you reboot server host, pm_ethernet script is executed
on server host, too.)
Please check:
   % dmesg | grep pm
or
   % cat /proic/p/ethernet/0/info

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From e973220 ＠ eve.u-ryukyu.ac.jp  Thu Dec 19 12:57:14 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Thu, 19 Dec 2002 12:57:14 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: <20021219004044.EF71920046@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNEELFCCAA.e973220@eve.u-ryukyu.ac.jp>

亀山様：　劉さま：


琉球大の金城です。
亀山様、劉様アドバイスありがとうございました。

亀山様、劉様からのアドバイスをそれぞれ反映して
設定を行いました。

しかしながら、どうも上手くインストールがいきません、
やはり
【エラー】
 /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
to
 `score_self_node'
が、発生してしまいます。



亀山様、劉様からのアドバイスをそれぞれ反映して設定したのは、
以下の通りです。
（手法；1、手法：2）

■■■■■■　手法：１  ■■■■■■

【1】
>この file に加えて
>    bmake/linux/variables
>も編集してください.
>このファイルの中で gcc, g77, g++ をそれぞれ,
>scorecc, scoref77, scorec++ に変更してください.

上記の通りに、gcc, g77, g++を変更しました。

【2】
>     config/configure_options.linux
>に
 > --disable-share
>を入れておいてください.

このファイルはなかったので、設定はしていません。
ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package
において、下記の通りにコメントアウトしているので、OKかと思われます。。

＃　最後の行付近、共有ライブラリは使用しないと思い、コメントアウト
#C_DYLIBPATH     = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
${CLINKER_SLFLAG}/\
home/petsc/software/BlockSolve95/lib/libO/linux
#F_DYLIBPATH     = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
${FLINKER_SLFLAG}/\
home/petsc/software/BlockSolve95/lib/libO/linux


【4】
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g all

ここでは、すんなり上手くいっているようです。
エラーメッセージ、警告等はありませんでした。


【5】
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g testexamples >& examples_log
を行うと、先のメールのエラーメッセージと同じ
エラーが発生します。

$ cat examples_log

（略）
 /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
to
 `score_self_node'
（略）




■■■■■■　手法：2  ■■■■■■

【1】
とりあえず、
今まで、使っていたフォルダをすべて
削除し、新たにpetsc-2.1.3フォルダを作成

$ rm -Rf petsc-2.1.3
$ tar zxvf petsc.tar.gz


【2】
手法：1の設定を行う
(make以降の設定はしていない）

【3】
petsc-2.1.3ディレクトリ内の
makefileを編集

以下の行を追加、
LIBSは-lgmodule -lglib -ldl -lXext -lX11 -lXi -lm

【4】
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g all

ここでは、すんなり上手くいっているようです。
エラーメッセージ、警告等はありませんでした。


【5】
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g testexamples >& examples_log
を行うと、先のメールのエラーメッセージと同じ
エラーが発生します。

$ cat examples_log

（略）
 /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
to
 `score_self_node'
（略）


【6】
/opt/score/bin/bin.i386-*/にあるにmpc++.exeとscorec++.exeを編集
staticの値を1から0に変更

【7】
>/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
>はすべてのノードにマウントされているか、あるいは許可を許しているかを確認

[kinjo ＠ scic99 linux]$ ls -l libpetscdm.so
-rwxrwxr-x    1 kinjo    kinjo     1021030 Dec 19 12:24 libpetscdm.so


【8】
>/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
>は標準ライブラリではないので、
>/etc/ld.so.conf
>に上記のライブラリのPATHを追加しなければなりません。
>PATHを追加したら必ずldconfigを実行してください。


# emacs /etc/ld.so.conf
で、/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
を追加記入し、
# ldconfig


【9】
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g all

ここでは、すんなり上手くいっているようです。
エラーメッセージ、警告等はありませんでした。


【10】
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g testexamples >& examples_log
を行うと、先のメールのエラーメッセージと同じ
エラーが発生します。

$ cat examples_log

（略）
 /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
to
 `score_self_node'
（略）



まだ上手くいきません。。。


一生懸命やっていますが、こちらの知識不足で、
僕の設定は亀山さん、劉さんのアドバイスをきれいに反映していないかもしれませ
ん、

どうかよろしく御願いします。




  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛




From kameyama ＠ pccluster.org  Thu Dec 19 13:25:16 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 19 Dec 2002 13:25:16 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: Your message of "Thu, 19 Dec 2002 12:57:14 JST."
             <JOELIPBDDCMFGIHFCNCNEELFCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <20021219042516.A994920046@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <JOELIPBDDCMFGIHFCNCNEELFCCAA.e973220 ＠ eve.u-ryukyu.ac.jp> "金城 尚志" <e973220 ＠ eve.u-ryukyu.ac.jp> wrotes:
> 【エラー】
>  /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference

SCore の library は static link 版のみしか提供していないため, SCore の
関数/変数を使用している library が shared library になっていると
うまく link できないようです...

> >     config/configure_options.linux
> >に
>  > --disable-share
> >を入れておいてください.
> 
> このファイルはなかったので、設定はしていません。

すみません.
一度 make した後にはできるのですが...
作成して中に書き込んでください.

> ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package
> において、下記の通りにコメントアウトしているので、OKかと思われます。。
> 
> ＃　最後の行付近、共有ライブラリは使用しないと思い、コメントアウト
> #C_DYLIBPATH     = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
> ${CLINKER_SLFLAG}/\
> home/petsc/software/BlockSolve95/lib/libO/linux
> #F_DYLIBPATH     = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
> ${FLINKER_SLFLAG}/\
> home/petsc/software/BlockSolve95/lib/libO/linux

実際に使用していて問題になっているのですが...


多分, これとは無関係に confdefs.h の中で
    PETSC_USE_DYNAMIC_LIBRARIES
が #define されているかどうかで決定されていると思います.
(makefile の中で configure を動かしてこのファイルを作成しているようです.
なんかややこしい...)

                       from Kameyama Toyohisa


From 劉学振\  Thu Dec 19 13:26:44 2002
From: 劉学振\ (LIU XUEZHEN) <liu@mpcnet.co.jp>)
Date: Thu, 19 Dec 2002 13:26:44 +0900
Subject: [SCore-users-jp] PETScのインストール方法
References: <JOELIPBDDCMFGIHFCNCNEELFCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <007601c2a716$d6bf3710$6c03c9a0@IWS0098>

金城様

> 【2】
> >     config/configure_options.linux
> >に
>  > --disable-share
> >を入れておいてください.
> 
> このファイルはなかったので、設定はしていません。
> ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package
> において、下記の通りにコメントアウトしているので、OKかと思われます。。
> 
> ＃　最後の行付近、共有ライブラリは使用しないと思い、コメントアウト
> #C_DYLIBPATH     = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
> ${CLINKER_SLFLAG}/\
> home/petsc/software/BlockSolve95/lib/libO/linux
> #F_DYLIBPATH     = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
> ${FLINKER_SLFLAG}/\
> home/petsc/software/BlockSolve95/lib/libO/linux

--disable-share関係のファイルがなかったら，makeのオプションに　-static　を入れたらどうでしょうか．

また，以下を訂正してください：

> 【3】
> petsc-2.1.3ディレクトリ内の
> makefileを編集
> 
> 以下の行を追加、
> LIBSは-lgmodule -lglib -ldl -lXext -lX11 -lXi -lm

これは例を挙げただけで，上記のライブラリが必要がありますでしょうか．なかったら削除してください．

> 
> 【6】
> /opt/score/bin/bin.i386-*/にあるにmpc++.exeとscorec++.exeを編集
> staticの値を1から0に変更
> 

scorecc, scoref77, scorec++ 
のどれかを使っていますか？関係あるコンパイラーのファイルを編集してください．

> 【8】
> # emacs /etc/ld.so.conf
> で、/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
> を追加記入し、
> # ldconfig

もしこれが関係があるなら，ファイル名ではなく，PATH名を追加することです．
（/home/kinjo/petsc-2.1.3/lib/libg/linux　ここまで）

もうちょっと試してみてください．

以上

劉＠三菱プレシジョン（株）


----- Original Message ----- 
From: "金城　尚志" <e973220 ＠ eve.u-ryukyu.ac.jp>
To: <score-users-jp ＠ pccluster.org>
Cc: <kameyama ＠ pccluster.org>; <liu ＠ mpcnet.co.jp>
Sent: Thursday, December 19, 2002 12:57 PM
Subject: RE: [SCore-users-jp] PETScのインストール方法


> 亀山様：　劉さま：
> 
> 
> 琉球大の金城です。
> 亀山様、劉様アドバイスありがとうございました。
> 
> 亀山様、劉様からのアドバイスをそれぞれ反映して
> 設定を行いました。
> 
> しかしながら、どうも上手くインストールがいきません、
> やはり
> 【エラー】
>  /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
> to
>  `score_self_node'
> が、発生してしまいます。
> 
> 
> 
> 亀山様、劉様からのアドバイスをそれぞれ反映して設定したのは、
> 以下の通りです。
> （手法；1、手法：2）
> 
> ■■■■■■　手法：１  ■■■■■■
> 
> 【1】
> >この file に加えて
> >    bmake/linux/variables
> >も編集してください.
> >このファイルの中で gcc, g77, g++ をそれぞれ,
> >scorecc, scoref77, scorec++ に変更してください.
> 
> 上記の通りに、gcc, g77, g++を変更しました。
> 
> 【2】
> >     config/configure_options.linux
> >に
>  > --disable-share
> >を入れておいてください.
> 
> このファイルはなかったので、設定はしていません。
> ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package
> において、下記の通りにコメントアウトしているので、OKかと思われます。。
> 
> ＃　最後の行付近、共有ライブラリは使用しないと思い、コメントアウト
> #C_DYLIBPATH     = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
> ${CLINKER_SLFLAG}/\
> home/petsc/software/BlockSolve95/lib/libO/linux
> #F_DYLIBPATH     = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
> ${FLINKER_SLFLAG}/\
> home/petsc/software/BlockSolve95/lib/libO/linux
> 
> 
> 【4】
> /home/kinjo/petsc-2.1.3
> において、
> $ make BOPT=g all
> 
> ここでは、すんなり上手くいっているようです。
> エラーメッセージ、警告等はありませんでした。
> 
> 
> 【5】
> /home/kinjo/petsc-2.1.3
> において、
> $ make BOPT=g testexamples >& examples_log
> を行うと、先のメールのエラーメッセージと同じ
> エラーが発生します。
> 
> $ cat examples_log
> 
> （略）
>  /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
> to
>  `score_self_node'
> （略）
> 
> 
> 
> 
> ■■■■■■　手法：2  ■■■■■■
> 
> 【1】
> とりあえず、
> 今まで、使っていたフォルダをすべて
> 削除し、新たにpetsc-2.1.3フォルダを作成
> 
> $ rm -Rf petsc-2.1.3
> $ tar zxvf petsc.tar.gz
> 
> 
> 【2】
> 手法：1の設定を行う
> (make以降の設定はしていない）
> 
> 【3】
> petsc-2.1.3ディレクトリ内の
> makefileを編集
> 
> 以下の行を追加、
> LIBSは-lgmodule -lglib -ldl -lXext -lX11 -lXi -lm
> 
> 【4】
> /home/kinjo/petsc-2.1.3
> において、
> $ make BOPT=g all
> 
> ここでは、すんなり上手くいっているようです。
> エラーメッセージ、警告等はありませんでした。
> 
> 
> 【5】
> /home/kinjo/petsc-2.1.3
> において、
> $ make BOPT=g testexamples >& examples_log
> を行うと、先のメールのエラーメッセージと同じ
> エラーが発生します。
> 
> $ cat examples_log
> 
> （略）
>  /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
> to
>  `score_self_node'
> （略）
> 
> 
> 【6】
> /opt/score/bin/bin.i386-*/にあるにmpc++.exeとscorec++.exeを編集
> staticの値を1から0に変更
> 
> 【7】
> >/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
> >はすべてのノードにマウントされているか、あるいは許可を許しているかを確認
> 
> [kinjo ＠ scic99 linux]$ ls -l libpetscdm.so
> -rwxrwxr-x    1 kinjo    kinjo     1021030 Dec 19 12:24 libpetscdm.so
> 
> 
> 【8】
> >/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
> >は標準ライブラリではないので、
> >/etc/ld.so.conf
> >に上記のライブラリのPATHを追加しなければなりません。
> >PATHを追加したら必ずldconfigを実行してください。
> 
> 
> # emacs /etc/ld.so.conf
> で、/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so
> を追加記入し、
> # ldconfig
> 
> 
> 【9】
> /home/kinjo/petsc-2.1.3
> において、
> $ make BOPT=g all
> 
> ここでは、すんなり上手くいっているようです。
> エラーメッセージ、警告等はありませんでした。
> 
> 
> 【10】
> /home/kinjo/petsc-2.1.3
> において、
> $ make BOPT=g testexamples >& examples_log
> を行うと、先のメールのエラーメッセージと同じ
> エラーが発生します。
> 
> $ cat examples_log
> 
> （略）
>  /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference
> to
>  `score_self_node'
> （略）
> 
> 
> 
> まだ上手くいきません。。。
> 
> 
> 一生懸命やっていますが、こちらの知識不足で、
> 僕の設定は亀山さん、劉さんのアドバイスをきれいに反映していないかもしれませ
> ん、
> 
> どうかよろしく御願いします。
> 
> 
> 
> 
>   ━┛━┛━┛━┛━┛━┛━┛━┛━┛
> 　　琉球大学理学部　物質地球科学科
> 　　金城　尚志　（キンジョウヒサシ）
>   ━┛━┛━┛━┛━┛━┛━┛━┛━┛
> 
> 


From e973220 ＠ eve.u-ryukyu.ac.jp  Thu Dec 19 16:20:40 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Thu, 19 Dec 2002 16:20:40 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: <007601c2a716$d6bf3710$6c03c9a0@IWS0098>
Message-ID: <JOELIPBDDCMFGIHFCNCNOELHCCAA.e973220@eve.u-ryukyu.ac.jp>

亀山様：　劉様：


琉球大の金城です。
亀山様、劉様アドバイスありがとうございます！

どうやら、PETSｃのインストールできたようです。
が、、、、、プログラム実行時に問題が残っているようです。。。


、とりあえず、
結局その後、変更した点は以下です。。。

■　config/configure_options.linux
　　--disable-share　を記入

■　/opt/score/bin/bin.i386-*/　にある
　　scorecc.exe , scoref77.exe, scorec++.exe　を編集

■　/home/kinjo/petsc-2.1.3/lib/libg/linux
　　　と、パス名の変更と　# ldconfig


の、以上です。


で、実際にサンプルプログラム
${PETSC_DIR}/src/sles/examples/tutorials　の
中の、ex1 プログラムをコンパイルしたところ、
次のようなメッセージが帰ってきました。
とりあえず、OKだと僕は認識しています。

━━━━コンパイル時のメッセージ━━━━
━━━━　　　　　始まり　　　　　　━━━━
[kinjo ＠ scic99 tutorials]$ make BOPT=g ex1
scorecc -fPIC -c -g -I/home/kinjo/petsc-2.1.3 -I/home/kinjo/petsc-2.1.3/bmak
e/linux -I/home/kinjo/petsc-2.1.3/include -I/opt/score5.0.0/mpi/mpich-1.2.0/
i386-redhat7-linux2_4/include -DPETSC_HAVE_X11 -DPETSC_USE_DEBUG -DPETSC_USE
_LOG -DPETSC_USE_BOPT_g -DPETSC_USE_STACK -D__SDIR__="src/sles/examples/tuto
rials/" ex1.c
scorecc -g  -Wl,-rpath,/home/kinjo/petsc-2.1.3/lib/libg/linux  -o ex1
x1.o  -L/home/kinjo/petsc-2.1.3/lib/libg/linux -lpetscsles -lpetscdm -lpetsc
mat -lpetscvec -lpetsc                                                      
             -L/usr/X11R6/lib -lX11                                         
                                                                            
                            -L/home/kinjo/petsc-2.1.3/blaslapack -lflapack -
lfblas -L/opt/score5.0.0/mpi/mpich-1.2.0/i386-redhat7-linux2_4/lib -lmpich -
ldl -lc -lg2c -lm
rm -f ex1.o
━━━━　　　　　終わり　　　　　　━━━━
━━━━コンパイル時のメッセージ━━━━





次に、コンパイルしたプログラム(ex1)を実行してみました。

$ mpirun -np 8 ./ex1

SCore-D 5.0.1 connected.
<0:0> SCORE: 8 nodes (8x1) ready.
<0:0> SCORE: 8 nodes (8x1) ready.
<4:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<5:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<1:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<2:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<3:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<6:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<4:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<4:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<4:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<4:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<4:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<4:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
<7:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<5:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<5:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<5:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<5:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<5:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<5:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
<1:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<1:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<1:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<1:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<1:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<1:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
<2:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<2:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<2:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<2:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<2:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<2:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
<3:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<3:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<3:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<3:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<3:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<3:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
<6:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<6:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<6:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<6:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<6:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<6:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
<7:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<7:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0
<7:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<7:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<7:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<7:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0):
Exception signal (SIGSEGV)
SCORE: Program aborted.





なにか、Xの設定に問題があるようです。
一応、設定として、
$ xhost +
$ export DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0
は、やっています。




とりあえず、報告まで。

これから、
/home/kinjo/petsc-2.1.3/bmake/linux/package
などのXの設定について調べてみます。



  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From kameyama ＠ pccluster.org  Thu Dec 19 16:26:48 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 19 Dec 2002 16:26:48 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: Your message of "Thu, 19 Dec 2002 16:20:40 JST."
             <JOELIPBDDCMFGIHFCNCNOELHCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <20021219072648.C094520040@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <JOELIPBDDCMFGIHFCNCNOELHCCAA.e973220 ＠ eve.u-ryukyu.ac.jp> "金城 尚志" <e973220 ＠ eve.u-ryukyu.ac.jp> wrotes:
> 次に、コンパイルしたプログラム(ex1)を実行してみました。
> 
> $ mpirun -np 8 ./ex1

エラーのとき gdb を起動させるには
    $ mpirun -np 8 -score debug ./ex1
のように, -score debug オプションをつけてください.

                       from Kameyama Toyohisa


From e973220 ＠ eve.u-ryukyu.ac.jp  Thu Dec 19 17:09:08 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Thu, 19 Dec 2002 17:09:08 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: <20021219072648.C094520040@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNMELICCAA.e973220@eve.u-ryukyu.ac.jp>

亀山様：


琉球大の金城です。
アドバイスありがとうございます。


しかし、恥ずかしながら僕にはdebug　の知識がなく、
どうしていいのかわからない状況です。

一応、
$ mpirun -np 8 -score debug ./ex1 >& ex1-debug.log
としました。

申し訳ありませんが、どうかアドバイスを御願いします。。。


$ cat ex1-debug.log

SCore-D 5.0.1 connected.
<0:0> SCORE: 8 nodes (8x1) ready.
<0:0> SCORE: 8 nodes (8x1) ready.
<4:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<5:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<1:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<2:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<3:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<6:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<7:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x       0 ***
<4:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<4:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<4:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<4:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<4:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<4:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<5:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<5:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<5:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<5:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<5:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<5:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<1:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<1:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<1:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<1:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<1:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<1:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<0:0> No debug option.
<2:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<2:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<2:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<2:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<2:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<2:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<3:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<3:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<3:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<3:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<3:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<3:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<6:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<6:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<6:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<6:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<6:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<6:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<7:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b
<7:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0
<7:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000
<7:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023
<7:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000,
cr2=0x00000000
<7:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal
(SIGSEGV)
<1:0> GDB invoked by SCore (xterm)
<2:0> GDB invoked by SCore (xterm)
<3:0> GDB invoked by SCore (xterm)
<4:0> GDB invoked by SCore (xterm)
<5:0> Number of attached debuggers reaches the limit.
<6:0> Number of attached debuggers reaches the limit.
<7:0> Number of attached debuggers reaches the limit.



あと、当然かもしれませんが、
他のサンプルプログラムを実行しても、
SCORE: Program aborted.
と、なり中断しているようです。


  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From e973220 ＠ eve.u-ryukyu.ac.jp  Thu Dec 19 18:37:13 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Thu, 19 Dec 2002 18:37:13 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: <JOELIPBDDCMFGIHFCNCNMELICCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNEELJCCAA.e973220@eve.u-ryukyu.ac.jp>

琉球大の金城です。



すみません、設定をひとつ間違えていました。

>■　/opt/score/bin/bin.i386-*/　にある
>　　scorecc.exe , scoref77.exe, scorec++.exe　を編集

ここがまだ、0ではなく、1になっていました。


雰囲気的に、うまくいきそうです。
報告まで。失礼します。



  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From e973220 ＠ eve.u-ryukyu.ac.jp  Thu Dec 19 19:23:39 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Thu, 19 Dec 2002 19:23:39 +0900
Subject: [SCore-users-jp] PETScのインストール方法
In-Reply-To: <JOELIPBDDCMFGIHFCNCNEELJCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNIELKCCAA.e973220@eve.u-ryukyu.ac.jp>

琉球大の金城です。



PETSｃのインストールができたようです。
（使い方がまだわからないので、確認できないのです）

先ほどまででていた、プログラム実行時のエラーが
発生しなくなりました。

亀山様、劉様、本当にありがとうございました。
アドバイスがなかったら、僕には設定が
できなかったと思います。

-----------------------------------------
1週間前からしこしこと取り組んでいましたが、
僕はまったくインストールの設定ができなかったのです。
-----------------------------------------


以下に、PETScのインストール手順をまとめておきます。
（インストールがうまくできているかどうか自信はありませんが。。。）





(1/14)━━━━━━━━━━━━━━━━
http://www-fp.mcs.anl.gov/petsc/docs/installation/unix.htm
を参照する。


(2/14)━━━━━━━━━━━━━━━━
petsc.tar.gz , fblaslapack.tar.gz、パッチファイルを取得し、
それぞれ展開しておく。


(3/14)━━━━━━━━━━━━━━━━
環境変数を設定する
$ export PETSC_DIR=/home/kinjo/petsc-2.1.3
$ export PETSC_ARCH=linux


(4/14)━━━━━━━━━━━━━━━━
取得したパッチファイルをpetscディレクトリ内で当てる。
$ patch -Np1 < patchfile


(5/14)━━━━━━━━━━━━━━━━
fblaslapackディレクトリで、make し
libfblas.a , libflapack.aを　作成する。


(6/14)━━━━━━━━━━━━━━━━
＃　/home/kinjo/petsc-2.1.3に libflapack.a libblas.aを格納するための
＃　blaslapackというディレクトリを作成
[kinjo ＠ scic99 petsc-2.1.3]$ mkdir blaslapack


(7/14)━━━━━━━━━━━━━━━━
＃　libflapack.a libblas.a　を上のblasalpackディレクトリへ移動
[kinjo ＠ scic99 fblaslapack]$ cp libflapack.a libfblas.a
../petsc-2.1.3/blaslapack/


(8/14)━━━━━━━━━━━━━━━━
＃　/home/kinjo/petsc-2.1.3/bmake/linux/packageを編集
$ emacs package

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
＃　packageファイルの以下の記述を編集（抜粋）
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

＃　先ほどのライブラリファイルのディレクトリを指定
#BLASLAPACK_LIB = -L/home/petsc/software/blaslapack/linux -lflapack -lfblas
#BLASLAPACK_LIB
= -L/home/petsc/software/mkl_linux/LIB -lmkl32_lapack -lmkl32_def -lpthre\
ad
BLASLAPACK_LIB = -L/home/kinjo/petsc-2.1.3/blaslapack -lflapack -lfblas

＃　MPIのディレクトリを変更
#MPI_HOME       = /home/petsc/software/mpich-1.2.0/linux
MPI_HOME       = /opt/score5.0.0/mpi/mpich-1.2.0/i386-redhat7-linux2_4
MPI_LIB        = -L${MPI_HOME}/lib -lmpich
MPI_INCLUDE    = -I${MPI_HOME}/include
MPIRUN         =  ${MPI_HOME}/bin/mpirun -machinefile
${PETSC_DIR}/maint/hosts.local

＃　最後の行付近、共有ライブラリは使用しないと思い、コメントアウト
#C_DYLIBPATH     = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
${CLINKER_SLFLAG}/\
home/petsc/software/BlockSolve95/lib/libO/linux
#F_DYLIBPATH     = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib
${FLINKER_SLFLAG}/\
home/petsc/software/BlockSolve95/lib/libO/linux




(9/14)━━━━━━━━━━━━━━━━
bmake/linux/variablesの編集
このファイルの中にある gcc, g77, g++ をそれぞれ,
scorecc, scoref77, scorec++ に変更する


(10/14)━━━━━━━━━━━━━━━━
/opt/score/bin/bin.i386-*/にあるに
scorecc.exe, scoref77.exe, scorec++.exeを編集
staticの値を1から0に変更


(11/14)━━━━━━━━━━━━━━━━
# emacs /etc/ld.so.conf
で、/home/kinjo/petsc-2.1.3/lib/libg/linux
を追加記入し、
# ldconfig


(12/14)━━━━━━━━━━━━━━━━
/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g all


(13/14)━━━━━━━━━━━━━━━━
config/configure_options.linux
に
--disable-share
を入れる。


(14/14)━━━━━━━━━━━━━━━━
$ msgb -group almond &
$ scout -g almond
＃( alomond = グループ名 )

/home/kinjo/petsc-2.1.3
において、
$ make BOPT=g testexamples >& examples_log


以上の設定で、【おそらく】　大丈夫かも。。。



  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From emile.carcamo ＠ nec.fr  Thu Dec 19 23:53:46 2002
From: emile.carcamo ＠ nec.fr (Emile CARCAMO)
Date: Thu, 19 Dec 2002 15:53:46 +0100
Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ???
In-Reply-To: Your message of "Wed, 18 Dec 2002 19:53:52 +0900."
             <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp> 
Message-ID: <200212191453.gBJErkY07276@emilepc.ess.nec.fr>


s-sumi ＠ flab.fujitsu.co.jp said:
> Have you used mpi_zerocopy=on on your benchmark? The default option
> MPICH/SCore is mpi_zerocopy=off. 
>
> Which benchmark are you using? Could you show the performance results?
> 

Dear Shinji-san,

	Sorry for not replying earlier ... Yes we have used the
	option "mpi_zerocopy=on" when issuing the scrun command
	within a SCore scout session :

	     scrun -nodes=2x1,mpi_zerocopy=on ./sendrecv

	With this sample benchmark, we noticed a peak transfer
	rate looking like this :

			405 Mbytes/sec with GM/Myrinet
			325 Mbytes/sec with PM/Myrinet

	Here is the URL of another test we've also ran on our
	Myrinet-2k cluster :

		   http://www.hlrs.de/mpi/b_eff

	and we noticed in that case about 100 Mbytes/sec with
	PM/Myrinet and two times faster using GM/Myrinet ...

	Please let us know if you need more inputs. I'll be glad
	to hear from anybody who already performed such kind of
	tests ... Thanks for your help, and best regards.

-- 
Emile_CARCAMO           NEC European            http://www.ess.nec.de
System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
                        Systems France      GSM mailto:emile.carcamo ＠ orange.fr
(+33)1-3930-6601   FAX
(+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
(+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /



_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ bd6.so-net.ne.jp  Fri Dec 20 00:21:57 2002
From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto)
Date: Fri, 20 Dec 2002 00:21:57 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore,
 when ???
In-Reply-To: <200212191453.gBJErkY07276@emilepc.ess.nec.fr>
References: <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp>
	<200212191453.gBJErkY07276@emilepc.ess.nec.fr>
Message-ID: <20021220.002157.74750815.s-sumi@bd6.so-net.ne.jp>

Hi.

Thank you for the information.

I will invesitigate the performance.

Shinji.

From: Emile CARCAMO <emile.carcamo ＠ nec.fr>
Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ???
Date: Thu, 19 Dec 2002 15:53:46 +0100
Message-ID: <200212191453.gBJErkY07276 ＠ emilepc.ess.nec.fr>

emile.carcamo> 
emile.carcamo> 
emile.carcamo> s-sumi ＠ flab.fujitsu.co.jp said:
emile.carcamo> > Have you used mpi_zerocopy=on on your benchmark? The default option
emile.carcamo> > MPICH/SCore is mpi_zerocopy=off. 
emile.carcamo> >
emile.carcamo> > Which benchmark are you using? Could you show the performance results?
emile.carcamo> > 
emile.carcamo> 
emile.carcamo> Dear Shinji-san,
emile.carcamo> 
emile.carcamo> 	Sorry for not replying earlier ... Yes we have used the
emile.carcamo> 	option "mpi_zerocopy=on" when issuing the scrun command
emile.carcamo> 	within a SCore scout session :
emile.carcamo> 
emile.carcamo> 	     scrun -nodes=2x1,mpi_zerocopy=on ./sendrecv
emile.carcamo> 
emile.carcamo> 	With this sample benchmark, we noticed a peak transfer
emile.carcamo> 	rate looking like this :
emile.carcamo> 
emile.carcamo> 			405 Mbytes/sec with GM/Myrinet
emile.carcamo> 			325 Mbytes/sec with PM/Myrinet
emile.carcamo> 
emile.carcamo> 	Here is the URL of another test we've also ran on our
emile.carcamo> 	Myrinet-2k cluster :
emile.carcamo> 
emile.carcamo> 		   http://www.hlrs.de/mpi/b_eff
emile.carcamo> 
emile.carcamo> 	and we noticed in that case about 100 Mbytes/sec with
emile.carcamo> 	PM/Myrinet and two times faster using GM/Myrinet ...
emile.carcamo> 
emile.carcamo> 	Please let us know if you need more inputs. I'll be glad
emile.carcamo> 	to hear from anybody who already performed such kind of
emile.carcamo> 	tests ... Thanks for your help, and best regards.
emile.carcamo> 
emile.carcamo> -- 
emile.carcamo> Emile_CARCAMO           NEC European            http://www.ess.nec.de
emile.carcamo> System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
emile.carcamo>                         Systems France      GSM mailto:emile.carcamo ＠ orange.fr
emile.carcamo> (+33)1-3930-6601   FAX
emile.carcamo> (+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
emile.carcamo> (+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /
emile.carcamo> 
emile.carcamo> 
emile.carcamo> 
emile.carcamo> _______________________________________________
emile.carcamo> SCore-users mailing list
emile.carcamo> SCore-users ＠ pccluster.org
emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users
emile.carcamo> _______________________________________________
emile.carcamo> SCore-users-jp mailing list
emile.carcamo> SCore-users-jp ＠ pccluster.org
emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users-jp
emile.carcamo> 
-----
Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From mykrol ＠ cyf-kr.edu.pl  Fri Dec 20 22:22:29 2002
From: mykrol ＠ cyf-kr.edu.pl (Marcin Krol)
Date: Fri, 20 Dec 2002 14:22:29 +0100 (MET)
Subject: [SCore-users-jp] [SCore-users] IRQ
Message-ID: <Pine.HPX.4.44.0212201346480.18989-100000@kinga.cyf-kr.edu.pl>

Thank you for the PM/ethernet answer, the problem was that EIT didn't
change the grub.conf file and after reboot the server machine startes with
the old kernel.
Unfortunately I have another problem - when I run all mpic++ applications
except for hello.cc (found in examples directory), either in single-, or
multi-user environment, the server machine hungs and I have to switch the
power off to reboot it. hello.cc works, but it takes about 1 min to
execyte it. A compute node writes out a message:
spurious 8259A interrupt in IRQ7
I checked /proc/interrupts on the server and the compute nodes and they
look like:
Server:

marcin ＠ node6 marcin]$ more /proc/interrupts
	   CPU0
     0:     104979          XT-PIC  timer
     1:        440          XT-PIC  keyboard
     2:          0          XT-PIC  cascade
     4:       4554          XT-PIC  serial
     8:          1          XT-PIC  rtc
     10:       2051          XT-PIC  usb-uhci, eth0
     11:          0          XT-PIC  usb-uhci
     12:          0          XT-PIC  usb-uhci, via82cxxx
     14:      12039          XT-PIC  ide0
     NMI:          0
	 LOC:     104941
	 ERR:         14
	 MIS:          0
[marcin ＠ node6 marcin]$

and the compute node
           CPU0
	     0:      57890          XT-PIC  timer
	       1:       2307          XT-PIC  keyboard
		 2:          0          XT-PIC  cascade
		   5:          0          XT-PIC  usb-ohci
		     8:          1          XT-PIC  rtc
		      12:        389          XT-PIC  usb-ohci, eth0, PS/2 Mouse
		       14:      19309          XT-PIC  ide0
		       NMI:          0
		       LOC:      57853
		       ERR:          1
		       MIS:          0


How can I find and fix any overlapping?
Thank you in advance for your help
Marcin


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From s-sumi ＠ bd6.so-net.ne.jp  Sat Dec 21 15:37:34 2002
From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto)
Date: Sat, 21 Dec 2002 15:37:34 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] IRQ
In-Reply-To: <Pine.HPX.4.44.0212201346480.18989-100000@kinga.cyf-kr.edu.pl>
References: <Pine.HPX.4.44.0212201346480.18989-100000@kinga.cyf-kr.edu.pl>
Message-ID: <20021221.153734.41631492.s-sumi@bd6.so-net.ne.jp>

Hi.

Are you using sis900.o for PM/Ethernet?

If so, could you add the follwing patch and re-build your sis900.o
modules? Some NIC devices cause dead lock on PM/Ethernet because of
their spin-lock use in device driver.

Index: sis900.c
===================================================================
RCS file: /develop/cvsroot/score-src/kernel/linux2.4.18/drivers/net/sis900.c,v
retrieving revision 1.2
diff -u -r1.2 sis900.c
--- sis900.c	18 Feb 2002 11:40:11 -0000	1.2
+++ sis900.c	21 Dec 2002 06:34:42 -0000
@@ -1584,7 +1584,9 @@
 			skb = sis_priv->rx_skbuff[entry];
 			skb_put(skb, rx_size);
 			skb->protocol = eth_type_trans(skb, net_dev);
+			spin_unlock (&sis_priv->lock);
 			netif_rx(skb);
+			spin_lock (&sis_priv->lock);
 
 			/* some network statistics */
 			if ((rx_status & BCAST) == MCAST)
===================================================================

Shinji.

From: Marcin Krol <mykrol ＠ cyf-kr.edu.pl>
Subject: [SCore-users] IRQ
Date: Fri, 20 Dec 2002 14:22:29 +0100 (MET)
Message-ID: <Pine.HPX.4.44.0212201346480.18989-100000 ＠ kinga.cyf-kr.edu.pl>

mykrol> Thank you for the PM/ethernet answer, the problem was that EIT didn't
mykrol> change the grub.conf file and after reboot the server machine startes with
mykrol> the old kernel.
mykrol> Unfortunately I have another problem - when I run all mpic++ applications
mykrol> except for hello.cc (found in examples directory), either in single-, or
mykrol> multi-user environment, the server machine hungs and I have to switch the
mykrol> power off to reboot it. hello.cc works, but it takes about 1 min to
mykrol> execyte it. A compute node writes out a message:
mykrol> spurious 8259A interrupt in IRQ7
mykrol> I checked /proc/interrupts on the server and the compute nodes and they
mykrol> look like:
mykrol> Server:
mykrol> 
mykrol> marcin ＠ node6 marcin]$ more /proc/interrupts
mykrol> 	   CPU0
mykrol>      0:     104979          XT-PIC  timer
mykrol>      1:        440          XT-PIC  keyboard
mykrol>      2:          0          XT-PIC  cascade
mykrol>      4:       4554          XT-PIC  serial
mykrol>      8:          1          XT-PIC  rtc
mykrol>      10:       2051          XT-PIC  usb-uhci, eth0
mykrol>      11:          0          XT-PIC  usb-uhci
mykrol>      12:          0          XT-PIC  usb-uhci, via82cxxx
mykrol>      14:      12039          XT-PIC  ide0
mykrol>      NMI:          0
mykrol> 	 LOC:     104941
mykrol> 	 ERR:         14
mykrol> 	 MIS:          0
mykrol> [marcin ＠ node6 marcin]$
mykrol> 
mykrol> and the compute node
mykrol>            CPU0
mykrol> 	     0:      57890          XT-PIC  timer
mykrol> 	       1:       2307          XT-PIC  keyboard
mykrol> 		 2:          0          XT-PIC  cascade
mykrol> 		   5:          0          XT-PIC  usb-ohci
mykrol> 		     8:          1          XT-PIC  rtc
mykrol> 		      12:        389          XT-PIC  usb-ohci, eth0, PS/2 Mouse
mykrol> 		       14:      19309          XT-PIC  ide0
mykrol> 		       NMI:          0
mykrol> 		       LOC:      57853
mykrol> 		       ERR:          1
mykrol> 		       MIS:          0
mykrol> 
mykrol> 
mykrol> How can I find and fix any overlapping?
mykrol> Thank you in advance for your help
mykrol> Marcin
mykrol> 
mykrol> 
mykrol> _______________________________________________
mykrol> SCore-users mailing list
mykrol> SCore-users ＠ pccluster.org
mykrol> http://www.pccluster.org/mailman/listinfo/score-users
mykrol> 
-----
Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From ishikawa ＠ is.s.u-tokyo.ac.jp  Mon Dec 23 23:40:55 2002
From: ishikawa ＠ is.s.u-tokyo.ac.jp (Yutaka Ishikawa)
Date: Mon, 23 Dec 2002 23:40:55 +0900 (JST)
Subject: [SCore-users-jp] Preliminary Announcement of the second PC Cluster Consortium
Message-ID: <20021223.234055.607955242.ishikawa@is.s.u-tokyo.ac.jp>

SCoreユーザの皆様、

本メールの末尾に添付しました通り、来年2月20日〜21日に第二回PCクラスタ
シンポジウムを開催致します。
WEB登録のためのページは現在準備中で、準備が整い次第、また、御連絡致し
ます。まずは、概要のアナウンスをさせていただきました。

石川＠コンソーシアム会長
-------------------------------------------------------------------------------
[シンポジウム概要]
会期：2003年2月20日(木) 〜21日（金） 　※2月20日は会員のみ対象のワークショップ
会場：日本科学未来館７階　みらいCANホール
　　　　（ゆりかもめ 船の科学館下車徒歩5分）　
　　　　2/20には会員向けの懇親会を未来館内で行います。
参加費：無料（懇親会参加者：3000円）
定員：300名
登録：http://www.pccluster.orgの登録ページから事前登録して下さい。
備考：併設して企業展示があります。

プログラム概要（予定）：
 (1) ワークショップ ２月２０日（木）
１０：００		受付開始
１０：３０〜１１：００　オープニング（年次報告）
１１：００〜１２：００　招待講演：Myrinetの先端技術とロードマップ（仮）
１２：００〜１３：３０　昼食および企業展示見学
１３：３０〜１７：００　部会活動報告＆コンソーシアムの今後の活動について
		     　 合同部会／パネル討論
１７：３０〜		懇親会

(2) シンポジウム ２月２１日（金）
１０：００		受付開始
１０：３０〜１１：００　オープニング・コンソーシアム活動紹介
１１：００〜１２：００　基調講演：研究グリッドNaReGI（仮）
１２：００〜１４：００　昼食および企業展示見学
１４：００〜１５：２０　SCoreクラスタ導入事例・応用事例・今後の取り組み
１５：３０〜１６：３０　招待講演：ロードマップ、ＰＣＩ　Ｅｘｐｒｅｓｓ（仮）


※プログラム詳細は追って、ホームページにも掲載し、ご連絡致します。



From suga ＠ sse.co.jp  Tue Dec 24 09:44:48 2002
From: suga ＠ sse.co.jp (Sugano, Mitsukuni)
Date: Tue, 24 Dec 2002 09:44:48 +0900
Subject: [SCore-users-jp] PM ethernet/ethernet device already opened
References: <3DEEBE5F.FA3CFA92@sse.co.jp>
		<20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp>
		<3DEEF1B9.CA822316@sse.co.jp> <20021210.204458.108741987.s-sumi@flab.fujitsu.co.jp>
Message-ID: <3E07AE00.E5CD7E4C@sse.co.jp>

住元様：
亀山様：

住商エレクトロニクスの菅野です。
いつもお世話になっております。

先日来、ご質問させていただいておりました内容に関しまして、無事
解決することができましたので、ご報告させていただきます。


１．ddで丸ごとコピー

再度、正常なノードのHDをddで丸ごとコピーしたHDの以下のファイル
を編集したところ、今回は、正常動作しました。

・/etc/hosts
・/etc/sysconfig/network
・/etc/sysconfig/network-scripts/ifcfg-eth0
・/etc/sysconfig/network-scripts/ifcfg-eth1

２．一般ユーザでのscrun

一般ユーザでのscrunが動作しない不具合に関して、/varパーティショ
ンがフルであるため、scrunの際、/var/scored/singleuser/<UserID>
を作成することができずに起こっていたものと確認できました。


お手数をおかけして、すみませんでしたが、おかげさまで、解決する
ことができました。

今後とも、よろしくお願いいたします。


From masa ＠ nssnet.co.jp  Tue Dec 24 18:39:23 2002
From: masa ＠ nssnet.co.jp (MASA(tm))
Date: Tue, 24 Dec 2002 18:39:23 +0900
Subject: [SCore-users-jp] SCore での ifc7 および icc7
Message-ID: <200212240946.SAA02572@nss-ntsv4.nssnet.co.jp>

菊池です。こんにちは。

　SCore5.2.0 + RedHat7.3 の環境に ifc/icc7 を載せるべく調査
をしています。

　元々は ifc6/gcc2.96 のつもりだったのですが、
　・ifc6 (BUILD 020312Z) では実行時エラーを起こすソースがあ
　　る。
　　　module 内で allocatable な変数を定義、よそで allocate 
　　すると SEGV。
　・ifc6 の最新版や ifc7 では上記が解決している（らしい）
　　（最小限の問題コードが提示できますが、既知の問題でしょう
　　か？google のキャッシュに情報があったのですが、今は検索
　　できません。XLSoft によると、最新版では確認できない問題
　　のようです。）
　・ifc6 は gcc2.96 の C++ 生成コードととバイナリ互換が無い。
　・i?c6/7 は混在利用できない。
　・ifc6 の最新版が（短期的には）入手しづらい。
とのことで上記環境を調査しています。

　手をつけ始めたばかりですが、
　・ifc6 から ifc7 で、モジュールの拡張子と *.pc, *.pcl の扱
　　いが変更になっており、mpif90 が内部的に付加する -cl 等が
　　無効となる。
　・依存関係まで追えていないが、make 毎に全てのファイルをコ
　　ンパイルしているように見える。
などいくつか問題点があるようです。

　SCore 側の対応状況などを教えていただければと思い投稿しまし
た。よろしくお願いいたします。

以上です。
-- 
----------------------------
  菊池　匡洋
  mailto:masa ＠ nssnet.co.jp
----------------------------


From h995011b ＠ mbox.media.nagoya-u.ac.jp  Tue Dec 24 20:28:26 2002
From: h995011b ＠ mbox.media.nagoya-u.ac.jp (Naoshi Ueda)
Date: Tue, 24 Dec 2002 20:28:26 +0900
Subject: [SCore-users-jp] (no subject)
Message-ID: <200212242028.JEB93058.96902IC2@mbox.media.nagoya-u.ac.jp>

　名古屋大学の上田です．

　DIMENSIONの大きさ(コンパイラのメモリ制限？)についての疑問及び
質問があります．以下の内容についての御回答よろしくお願いします
　
　条件
　OS　：Red Hut Linux
  言語：FORTRAN77＋MPI
　
　大きな配列を宣言する時，ある程度大きく宣言するとコンパイラ時に
エラーが出てしまいます．これは，恐らくコンパイラ自身にメモリの制
限（静的確保の上限?)があると思うのですがどうでしょうか？仮にそう
であるならば，積んであるメモリに関係ないという事なので，PCにいく
らメモリを積んでもあまり用を成さないように思われます．
　また，何らかの操作を行えば制限の上限を変えることができるような
ことを一度聞いたことがあるのですが，それはどのように行えばいいの
でしょうか？FORTRAN90なら動的確保でどうかなるようなことも聞いた
ことがありますが，F77を使用しているために残念ながら参考にするこ
とが出来ません．
　
　なお，私はメモリやOS，システムなどについての知識がほとんど無い
ので，恐縮でありますができる限り詳しく教えていただきたいです．
　
=＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
名古屋大学工学部　コンクリート構造研究室
上田　尚史
E-mail：h995011b ＠ mbox.media.nagoya-u.ac.jp
=＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝


From kameyama ＠ pccluster.org  Tue Dec 24 21:41:12 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Tue, 24 Dec 2002 21:41:12 +0900
Subject: [SCore-users-jp] (no subject)
In-Reply-To: Your message of "Tue, 24 Dec 2002 20:28:26 JST."
             <200212242028.JEB93058.96902IC2@mbox.media.nagoya-u.ac.jp>
Message-ID: <20021224124112.52E312003E@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <200212242028.JEB93058.96902IC2 ＠ mbox.media.nagoya-u.ac.jp> Naoshi Ueda <h995011b ＠ mbox.media.nagoya-u.ac.jp> wrotes:
> 　DIMENSIONの大きさ(コンパイラのメモリ制限？)についての疑問及び
> 質問があります．以下の内容についての御回答よろしくお願いします
> 　
> 　条件
> 　OS　：Red Hut Linux
>   言語：FORTRAN77＋MPI
> 　
> 　大きな配列を宣言する時，ある程度大きく宣言するとコンパイラ時に
> エラーが出てしまいます．これは，恐らくコンパイラ自身にメモリの制
> 限（静的確保の上限?)があると思うのですがどうでしょうか？仮にそう

まず, 大前提として, x86 系の CPU を扱うコンパイラは pointer は 32 bit
として扱っており, 4 GB が理論上の上限となります.

更に, linux ではそのうちの 1 GB を kernel が使用しますので,
user が使用できるのは 3 GB までです.
(これは code 部分などを含むので, データとして配列にとる場合は
これより小さくなります.)

ただ, x86 系でも, kernel の設定によってはそれ以上の memory (64 GB まで) を
認識できます.
(最大は 64 GB になります.)

しかし, 一つのプロセスが使用可能なメモリの上限は 4 GB のままです.

> であるならば，積んであるメモリに関係ないという事なので，PCにいく
> らメモリを積んでもあまり用を成さないように思われます．

4 GB 以上つんでいても process が複数あれば, それ以上の memory を
使用することになります.
(しかし, 現在の version の SCore では, myrinet で zerocopy 通信を行う場合,
4 GB 以上のアドレス空間にアクセスできません.
    http://www.pccluster.org/pipermail/score-users-jp/2002-November/000942.html
を参照してください.)

ここまでがハードな限界です.
そのほかに soft 的な上限が設定できます.
bash なら ulimmit, csh なら limit コマンドで制御できます.
もし, 配列全体の大きさが 3 GB 以下ならば limit コマンドを変更すれば
なんとかなるかも知れません.

                       from Kameyama Toyohisa


From kameyama ＠ pccluster.org  Tue Dec 24 21:49:39 2002
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Tue, 24 Dec 2002 21:49:39 +0900
Subject: [SCore-users-jp] SCore での ifc7 および icc7
In-Reply-To: Your message of "Tue, 24 Dec 2002 18:39:23 JST."
             <200212240946.SAA02572@nss-ntsv4.nssnet.co.jp>
Message-ID: <20021224124939.C5F0E2003E@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <200212240946.SAA02572 ＠ nss-ntsv4.nssnet.co.jp> "MASA(tm)" <masa ＠ nssnet.co.jp> wrotes:
> 　・ifc6 は gcc2.96 の C++ 生成コードととバイナリ互換が無い。

SCore では gcc と intel compiler は別々の mpi library を作成しているので,
これは問題にはなりません.

> 　SCore 側の対応状況などを教えていただければと思い投稿しまし
> た。よろしくお願いいたします。

少なくても, source から compile する場合に関しては version 7 特有の
問題はありませんでした.
ただ, mpich 1.2.4 で Fortran 90 を使用する場合は, SCore に bug がありました.
    http://www.pccluster.org/pipermail/score-users/2002-December/000384.html
の oatch をあててください.
これでコンパイル/リンクできなければお知らせください.

なお, version 6 では fortran 90 の module が作成できませんでしたが,
version 7 では生成できました.

                       from Kameyama Toyohisa


From s-sumi ＠ flab.fujitsu.co.jp  Wed Dec 25 18:29:37 2002
From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto)
Date: Wed, 25 Dec 2002 18:29:37 +0900 (JST)
Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore,
 when ???
In-Reply-To: <20021220.002157.74750815.s-sumi@bd6.so-net.ne.jp>
References: <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp>
	<200212191453.gBJErkY07276@emilepc.ess.nec.fr>
	<20021220.002157.74750815.s-sumi@bd6.so-net.ne.jp>
Message-ID: <20021225.182937.41640146.s-sumi@flab.fujitsu.co.jp>

Hi.

Could you let me know your measurement envinronment?

  1) Which Myrinet Cards are you using, PCI64B or PCI64C?
  2) How about your host environment, CPU, chipset and memory?

Shinji.

From: Shinji Sumimoto <s-sumi ＠ bd6.so-net.ne.jp>
Subject: Re: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ???
Date: Fri, 20 Dec 2002 00:21:57 +0900 (JST)
Message-ID: <20021220.002157.74750815.s-sumi ＠ bd6.so-net.ne.jp>

s-sumi> Hi.
s-sumi> 
s-sumi> Thank you for the information.
s-sumi> 
s-sumi> I will invesitigate the performance.
s-sumi> 
s-sumi> Shinji.
s-sumi> 
s-sumi> From: Emile CARCAMO <emile.carcamo ＠ nec.fr>
s-sumi> Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ???
s-sumi> Date: Thu, 19 Dec 2002 15:53:46 +0100
s-sumi> Message-ID: <200212191453.gBJErkY07276 ＠ emilepc.ess.nec.fr>
s-sumi> 
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> s-sumi ＠ flab.fujitsu.co.jp said:
s-sumi> emile.carcamo> > Have you used mpi_zerocopy=on on your benchmark? The default option
s-sumi> emile.carcamo> > MPICH/SCore is mpi_zerocopy=off. 
s-sumi> emile.carcamo> >
s-sumi> emile.carcamo> > Which benchmark are you using? Could you show the performance results?
s-sumi> emile.carcamo> > 
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> Dear Shinji-san,
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 	Sorry for not replying earlier ... Yes we have used the
s-sumi> emile.carcamo> 	option "mpi_zerocopy=on" when issuing the scrun command
s-sumi> emile.carcamo> 	within a SCore scout session :
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 	     scrun -nodes=2x1,mpi_zerocopy=on ./sendrecv
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 	With this sample benchmark, we noticed a peak transfer
s-sumi> emile.carcamo> 	rate looking like this :
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 			405 Mbytes/sec with GM/Myrinet
s-sumi> emile.carcamo> 			325 Mbytes/sec with PM/Myrinet
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 	Here is the URL of another test we've also ran on our
s-sumi> emile.carcamo> 	Myrinet-2k cluster :
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 		   http://www.hlrs.de/mpi/b_eff
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 	and we noticed in that case about 100 Mbytes/sec with
s-sumi> emile.carcamo> 	PM/Myrinet and two times faster using GM/Myrinet ...
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 	Please let us know if you need more inputs. I'll be glad
s-sumi> emile.carcamo> 	to hear from anybody who already performed such kind of
s-sumi> emile.carcamo> 	tests ... Thanks for your help, and best regards.
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> -- 
s-sumi> emile.carcamo> Emile_CARCAMO           NEC European            http://www.ess.nec.de
s-sumi> emile.carcamo> System Engineer         Supercomputer           mailto:emile.carcamo ＠ nec.fr
s-sumi> emile.carcamo>                         Systems France      GSM mailto:emile.carcamo ＠ orange.fr
s-sumi> emile.carcamo> (+33)1-3930-6601   FAX
s-sumi> emile.carcamo> (+33)1-3930-6613  PHONE  / Your mouse has moved. Windows NT must be restarted \
s-sumi> emile.carcamo> (+33)6-8063-7003   GSM   \ for the change to take effect. Reboot now?  [ OK ] /
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> 
s-sumi> emile.carcamo> _______________________________________________
s-sumi> emile.carcamo> SCore-users mailing list
s-sumi> emile.carcamo> SCore-users ＠ pccluster.org
s-sumi> emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users
s-sumi> emile.carcamo> _______________________________________________
s-sumi> emile.carcamo> SCore-users-jp mailing list
s-sumi> emile.carcamo> SCore-users-jp ＠ pccluster.org
s-sumi> emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users-jp
s-sumi> emile.carcamo> 
s-sumi> -----
s-sumi> Shinji Sumimoto    E-Mail: s-sumi ＠ bd6.so-net.ne.jp
s-sumi> _______________________________________________
s-sumi> SCore-users mailing list
s-sumi> SCore-users ＠ pccluster.org
s-sumi> http://www.pccluster.org/mailman/listinfo/score-users
s-sumi> 
s-sumi> 
------
Shinji Sumimoto, Fujitsu Labs
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From masa ＠ nssnet.co.jp  Wed Dec 25 21:41:37 2002
From: masa ＠ nssnet.co.jp (MASA(tm))
Date: Wed, 25 Dec 2002 21:41:37 +0900
Subject: [SCore-users-jp] SCore での ifc7 および icc7
In-Reply-To: <20021224124939.C5F0E2003E@neal.il.is.s.u-tokyo.ac.jp>
References: <200212240946.SAA02572@nss-ntsv4.nssnet.co.jp>
	<20021224124939.C5F0E2003E@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <200212251249.VAA03046@nss-ntsv4.nssnet.co.jp>

菊池です。こんにちは。

　ご回答ありがとうございます。特に問題があるわけではないので
すね。＞ i[fc]c7 on SCore5.2

kameyama ＠ pccluster.org wrote in <20021224124939.C5F0E2003E ＠ neal.il.is.s.u-tokyo.ac.jp>
  at Tue, 24 Dec 2002 21:49:39 +0900
> > 　・ifc6 は gcc2.96 の C++ 生成コードととバイナリ互換が無い。
> 
> SCore では gcc と intel compiler は別々の mpi library を作成しているので,
> これは問題にはなりません.
　記述が足りませんでした。
　　既存 Fortran ソース → C の API → C/C++ 等
や、dlopen() 等を使用するため Fortran/C/C++ 混在である必要が
あるのでした。

> ただ, mpich 1.2.4 で Fortran 90 を使用する場合は, SCore に bug がありました.
>     http://www.pccluster.org/pipermail/score-users/2002-December/000384.html
> の oatch をあててください.
> これでコンパイル/リンクできなければお知らせください.
　上記のパッチを当てて、
　　# cd /opt/score/score-src; ./configure; make;
しました。ちらほらとエラーが出ているようでしたが、アプリケー
ションのビルドは正常なようです。

　先のメイルに書いた、
MASA(tm) wrote in <200212240946.SAA02572 ＠ nss-ntsv4.nssnet.co.jp>
  at Tue, 24 Dec 2002 18:39:23 +0900
> 　・依存関係まで追えていないが、make 毎に全てのファイルをコ
> 　　ンパイルしているように見える。
については、モジュールファイルの出力形式が
　　{大文字のモジュール名}.mod
となったようで、Makefile の内容と齟齬がありました。
# pgi では {小文字のモジュール名}.mod, ifc6 で{小文字モジュ
# ール名}.d 。うーん。
　適宜修正して収まりました。

　ありがとうございました。
-- 
----------------------------
  菊池　匡洋
  mailto:masa ＠ nssnet.co.jp
----------------------------


From e973220 ＠ eve.u-ryukyu.ac.jp  Sat Dec 28 15:47:03 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Sat, 28 Dec 2002 15:47:03 +0900
Subject: [SCore-users-jp] 【エラー】クラスタセットアップ
In-Reply-To: <3DB3BD19.4030008@st.cs.kumamoto-u.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNAEPKCCAA.e973220@eve.u-ryukyu.ac.jp>

琉球大の金城です。



今回質問があってメールさせてもらいました。
アドバイスを頂けたら非常に幸いです。


【問題点】
8台のうち1台の計算ホストのインストールができない。


【具体的な問題点】
SCoreブートディスクを利用して、
計算ホスト(ホスト名：comp0〜comp7)のインストールを試みたが、
comp6の画面において、次のエラーメッセージが出てインストールができない。

(略）
Code : 8b 40 28 85 c0 74 04 56 ff d0 59 80 a6 ae 00 00 00 fd 8d 86
/usr/bin/anaconda-sh: line3:	44 Segmentation fault	/usr/bin/anaconda $@


また、ホストサーバの画面においては、comp6のみインストール開始画面ウィンドウ
（青色）の
ままです。


これだけでは情報不足かもしれませんが、
アドバイスをよろしくおねがいします。。。


【環境】
SCore 5.0.1
Red Hat 7.3（フルインストール）
ホストサーバ（Celleron）
計算ホスト（Pentium4)


  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From ishikawa ＠ is.s.u-tokyo.ac.jp  Sat Dec 28 16:32:04 2002
From: ishikawa ＠ is.s.u-tokyo.ac.jp (Yutaka Ishikawa)
Date: Sat, 28 Dec 2002 16:32:04 +0900 (JST)
Subject: [SCore-users-jp] 【エラー】クラスタセットアップ
In-Reply-To: <JOELIPBDDCMFGIHFCNCNAEPKCCAA.e973220@eve.u-ryukyu.ac.jp>
References: <3DB3BD19.4030008@st.cs.kumamoto-u.ac.jp>
	<JOELIPBDDCMFGIHFCNCNAEPKCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <20021228.163204.596521946.ishikawa@is.s.u-tokyo.ac.jp>

> SCoreブートディスクを利用して、
> 計算ホスト(ホスト名：comp0〜comp7)のインストールを試みたが、
> comp6の画面において、次のエラーメッセージが出てインストールができない。
> 
> (略）
> Code : 8b 40 28 85 c0 74 04 56 ff d0 59 80 a6 ae 00 00 00 fd 8d 86
> /usr/bin/anaconda-sh: line3:	44 Segmentation fault	/usr/bin/anaconda $@
> また、ホストサーバの画面においては、comp6のみインストール開始画面ウィンドウ
> （青色）の
> ままです。

/usr/bin/anaconda実行中にanacondaがどうも死んだように思えます。
インストールしているマシン（この場合comp6）上の/usr/binは、サーバの
/opt/score/RedHat/instimage/usr/binをmountしています。
（正確には、/opt/score/RedHat/instimage/をmountしてchrootした上で、動か
しています。）

そのような状況で、comp6だけが死ぬと言うことは、
１）comp6のハードウエアがそもそも不安定
２）サーバ側のNFSが腐った
位しか思いつきません。

石川


From e973220 ＠ eve.u-ryukyu.ac.jp  Sat Dec 28 16:52:37 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Sat, 28 Dec 2002 16:52:37 +0900
Subject: [SCore-users-jp] 【エラー】クラスタセットアップ
In-Reply-To: <20021228.163204.596521946.ishikawa@is.s.u-tokyo.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNKEPMCCAA.e973220@eve.u-ryukyu.ac.jp>

琉球大の金城です。



石川様アドバイスありがとうございます！

>１）comp6のハードウエアがそもそも不安定
>２）サーバ側のNFSが腐った



とのことですが、実はその後
サーバホストにSCore5.2.0をインストールして、
同じ計算ホストを利用して、クラスタセットアップを試みました。

そうすると、
SCore5.0.1で問題のあったcomp6は正常に動作しますが、
comp5に問題が発生します。
ホストサーバ側の【Cluster Setup】画面で次のような表示になります。

（略）
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX
（略）


Host5(comp5)においてうまくサーバとネットワークが繋がらないようなのです。



つまり、SCore5.2.0においては、comp6は正常に動作しているようなので、
comp6はハードウェア的には大丈夫だと思います。

また、この現象はホストサーバを変更しても同じように
エラーが発生しています。




お手数を掛けますが、なにかアドバイスがあればよろしくおねがいします。。。。




  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From ishikawa ＠ is.s.u-tokyo.ac.jp  Sat Dec 28 17:21:02 2002
From: ishikawa ＠ is.s.u-tokyo.ac.jp (Yutaka Ishikawa)
Date: Sat, 28 Dec 2002 17:21:02 +0900 (JST)
Subject: [SCore-users-jp] 【エラー】クラスタセットアップ
In-Reply-To: <JOELIPBDDCMFGIHFCNCNKEPMCCAA.e973220@eve.u-ryukyu.ac.jp>
References: <20021228.163204.596521946.ishikawa@is.s.u-tokyo.ac.jp>
	<JOELIPBDDCMFGIHFCNCNKEPMCCAA.e973220@eve.u-ryukyu.ac.jp>
Message-ID: <20021228.172102.971164869.ishikawa@is.s.u-tokyo.ac.jp>

> SCore5.0.1で問題のあったcomp6は正常に動作しますが、
> comp5に問題が発生します。
> ホストサーバ側の【Cluster Setup】画面で次のような表示になります。
> （略）
> Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX

インストール計算機側からDHCPのDISCOVER要求が来て、サーバ側が、その
マシンをホスト番号５に設定して、IPアドレスをアサインし、
DHCPのOFFERパケットを出したことを意味します。

このメッセージが連続して出ていると言うことは、インストール計算機側は、
サーバからのOFFERパケットを取れていない、ということになります。

ネットワーク周り、
	ケーブルあるいはスイッチ
に問題がありませんか？
あるいは、IPアドレス的にサブネットマスクなどがおかしいとか。

石川



From e973220 ＠ eve.u-ryukyu.ac.jp  Sat Dec 28 21:01:31 2002
From: e973220 ＠ eve.u-ryukyu.ac.jp (金城　尚志)
Date: Sat, 28 Dec 2002 21:01:31 +0900
Subject: [SCore-users-jp] 【エラー】クラスタセットアップ
In-Reply-To: <20021228.172102.971164869.ishikawa@is.s.u-tokyo.ac.jp>
Message-ID: <JOELIPBDDCMFGIHFCNCNEEPOCCAA.e973220@eve.u-ryukyu.ac.jp>

琉球大の金城です。


石川様、本当にアドバイスありがとうございます。
SCore5.0.1についての問題のみ【解決】しました。
原因は、石川様のアドバイスにあったネットワーク関連でした。


【問題の原因】
PCIバスの一番上にIEEExxxxのアダプタがささっていたこと。

IEEExxxxのアダプタを一番下のPCIバスに接続して、使用するLANアダプタ
を一番上のPCIバスに接続したところ問題は解決しました。
（すみません初歩的なミスでしょうか。。。？）


SCore5.2.0の問題については謎です。
ネットワーク関連（スイッチング・ケーブルなど）は問題ないようですし、、、、
またサブネットマスクなどにも問題はないようです。。。。



でもとりあえず、一段落着きました。ありがとうございます。


  ━┛━┛━┛━┛━┛━┛━┛━┛━┛
　　琉球大学理学部　物質地球科学科
　　金城　尚志　（キンジョウヒサシ）
  ━┛━┛━┛━┛━┛━┛━┛━┛━┛



From biggumane ＠ hotmail.com  Mon Dec 30 04:17:25 2002
From: biggumane ＠ hotmail.com (=?iso-2022-jp?b?YmlnZ3VtYW5lIBskQiF3GyhCIGhvdG1haWwuY29t?=)
Date: Mon, 30 Dec 2002 04:17:25 +0900
Subject: [SCore-users-jp] 生涯権利収入の極密情報---未承認広告
Message-ID: <510742115420023@hotmail.com>

This is a multi-part message in MIME format.

------_NextPart_843861546629781
Content-Type: text/plain; charset="ISO-2022-JP"
Content-Transfer-Encoding: QUOTED-PRINTABLE

LIFE  CHANGE-NET
=8A=94=82=E2=95=F3=82=AD=82=B6=82=C5=82=A8=8B=E0=82=F0=8E=CC=82=C4=82=C4=82=A2=82=DC=82=B9=82=F1=82=A9=81H=82=A8=82=A9=82=B5=82=A2=98b=82=C8=82=F1=82=C4=82=C8=82=A2=81I=82=C6=8Ev=82=A2=82=DC=82=B7=82=A9=81H 
=82=B1=82=CCHP=82=F0=82=B2=97=97=82=CC=95=FB=82=BE=82=AF=82=C9=8C=A0=97=98=8E=FB=93=FC=82=C6=8C=BE=82=A4=96{=93=96=82=CC=83r=83W=83l=83X=82=F0=8B=B3=82=A6=82=DC=82=B7=81B 
=8D=A1=82=B7=82=AE=82=A0=82=C8=82=BD=82=CC=90l=90=B6=82=F0=95=CF=82=A6=82=DC=82=B5=82=E5=82=A4=81I=8E=91=97=BF=90=BF=8B=81=82=CD=8D=A1=82=B7=82=AE=89=BA=82=CC=83=8A=83=93=83N=82=A9=82=E7=81B
=83p=83\=83R=83=93=97p=81Fhttp://www.geocities.co.jp/WallStreet/8239
=8Cg=91=D1=81@=81@=97p=81Fhttp://www.i-paradise2.jp/~getch/ch.html 
(=92=8D=81F=83=8A=83=93=83N=82=C5=82=AB=82=C8=82=A2=8F=EA=8D=87=82=CD=83A=83h=83=8C=83X=82=F0=83A=83h=83=8C=83X=97=93=82=C9=83R=83s=81[=82=B5=82=C4=83=8A=83=93=83N=82=B5=82=C4=82=AD=82=BE=82=B3=82=A2=81j


------_NextPart_843861546629781
Content-Type: text/html; charset="ISO-2022-JP"
Content-Transfer-Encoding: QUOTED-PRINTABLE

<HTML>
<HEAD>
<META NAME=3D"GENERATOR" Content=3D"Microsoft DHTML Editing Control">
<TITLE></TITLE>
</HEAD>
<BODY>
<P><STRONG><FONT color=3D#ff0000>LIFE&nbsp; CHANGE-NET</FONT></STRONG></P>
<P><FONT color=3D#0000ff>=8A=94=82=E2=95=F3=82=AD=82=B6=82=C5=82=A8=8B=E0=82=F0=8E=CC=82=C4=82=C4=82=A2=82=DC=82=B9=82=F1=82=A9=81H=82=A8=82=A9=82=B5=82=A2=98b=82=C8=82=F1=82=C4=82=C8=82=A2=81I=82=C6=8Ev=82=A2=82=DC=82=B7=82=A9=81H</FONT> </P>
<P><FONT color=3D#0000ff>=82=B1=82=CCHP=82=F0=82=B2=97=97=82=CC=95=FB=82=BE=82=AF=82=C9=8C=A0=97=98=8E=FB=93=FC=82=C6=8C=BE=82=A4=96{=93=96=82=CC=83r=83W=83l=83X=82=F0=8B=B3=82=A6=82=DC=82=B7=81B</FONT> </P>
<P><FONT color=3D#0000ff>=8D=A1=82=B7=82=AE=82=A0=82=C8=82=BD=82=CC=90l=90=B6=82=F0=95=CF=82=A6=82=DC=82=B5=82=E5=82=A4=81I=8E=91=97=BF=90=BF=8B=81=82=CD=8D=A1=82=B7=82=AE=89=BA=82=CC=83=8A=83=93=83N=82=A9=82=E7=81B</FONT></P>
<P><FONT color=3D#0000ff>=83p=83\=83R=83=93=97p=81F<A 
href=3D"http://www.geocities.co.jp/WallStreet/8239" 
target=3D_blank>http://www.geocities.co.jp/WallStreet/8239</A></FONT></P>
<P><FONT color=3D#0000ff>=8Cg=91=D1=81@=81@=97p=81F<A href=3D"http://www.i-paradise2.jp/~getch/ch.html " 
target=3D_blank>http://www.i-paradise2.jp/~getch/ch.html </A></FONT></P>
<P><FONT color=3D#0000ff size=3D2>(=92=8D=81F=83=8A=83=93=83N=82=C5=82=AB=82=C8=82=A2=8F=EA=8D=87=82=CD=83A=83h=83=8C=83X=82=F0<FONT color=3D#0000ff 
size=3D2>=83A=83h=83=8C=83X=97=93=82=C9=83R=83s=81[=82=B5=82=C4=83=8A=83=93=83N=82=B5=82=C4=82=AD=82=BE=82=B3=82=A2=81j</FONT></FONT></P>
</BODY>
</HTML>


------_NextPart_843861546629781--



