From tachi @ mickey.ai.kyutech.ac.jp Sun Dec 1 15:21:49 2002 From: tachi @ mickey.ai.kyutech.ac.jp (立川 純) Date: Sun, 1 Dec 2002 15:21:49 +0900 Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー Message-ID: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp> 九州工業大学 立川と申します. よろしくお願いいたします. SCore5.2.0に含まれるOmni/SCASHをインストールし,laplace.ompサンプルを コンパイルした段階で以下のようなライブラリ関連のエラーがでました. [root @ ohnishi laplace.omp]# cd /opt/score/example/scash/laplace.omp/ [root @ ohnishi laplace.omp]# ls Makefile laplace.h laplace_omp.c laplace_omp.o second.c second.o [root @ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm Compiling 'laplace_omp.c'... Compiling 'second.c'... /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_in': ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc' /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_out': ompsm_scash.o(.text+0x1188): undefined reference to `atomic_dec' ompsm_scash.o(.text+0x11cc): undefined reference to `atomic_inc' collect2: ld returned 1 exit status Error 1 同じ環境で,/opt/score/example/scash/laplace.c/ 以下の SCASHサンプルは コンパイル,実行共にできております. どなたか,考えられる問題点やその解決策または,コメント等いただけると幸いです. -- _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ _/ 立川 純 /_/ _/ 九州工業大学大学院情報工学研究科 佐藤研究室所属 /_/ _/ tachi @ mickey.ai.kyutech.ac.jp /_/ _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ From msato @ is.tsukuba.ac.jp Mon Dec 2 01:32:03 2002 From: msato @ is.tsukuba.ac.jp (Mitsuhisa Sato) Date: Mon, 02 Dec 2002 01:32:03 +0900 Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー In-Reply-To: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp> References: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp> Message-ID: <20021202013203Z.msato@is.tsukuba.ac.jp> 立川 様、 pgi用の関数が呼ばれているようです。少し、しらべてみますので、お待ちく ださい。 さとう。 From: 立川 純 Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー Date: Sun, 1 Dec 2002 15:21:49 +0900 > > 九州工業大学 立川と申します. > よろしくお願いいたします. > > SCore5.2.0に含まれるOmni/SCASHをインストールし,laplace.ompサンプルを > コンパイルした段階で以下のようなライブラリ関連のエラーがでました. > > [root @ ohnishi laplace.omp]# cd /opt/score/example/scash/laplace.omp/ > [root @ ohnishi laplace.omp]# ls > Makefile laplace.h laplace_omp.c laplace_omp.o second.c second.o > [root @ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm > Compiling 'laplace_omp.c'... > Compiling 'second.c'... > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_in': > ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc' > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In function `_ompsm_scash_lib_out': > ompsm_scash.o(.text+0x1188): undefined reference to `atomic_dec' > ompsm_scash.o(.text+0x11cc): undefined reference to `atomic_inc' > collect2: ld returned 1 exit status > Error 1 > > 同じ環境で,/opt/score/example/scash/laplace.c/ 以下の SCASHサンプルは > コンパイル,実行共にできております. > > どなたか,考えられる問題点やその解決策または,コメント等いただけると幸いです. > > > -- > _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ > _/ 立川 純 /_/ > _/ 九州工業大学大学院情報工学研究科 佐藤研究室所属 /_/ > _/ tachi @ mickey.ai.kyutech.ac.jp /_/ > _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ > > _______________________________________________ > SCore-users-jp mailing list > SCore-users-jp @ pccluster.org > http://www.pccluster.org/mailman/listinfo/score-users-jp From kameyama @ pccluster.org Mon Dec 2 09:45:53 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Mon, 02 Dec 2002 09:45:53 +0900 Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー In-Reply-To: Your message of "Sun, 01 Dec 2002 15:21:49 JST." <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp> Message-ID: <20021202004553.682EB20024@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <20021201152149.5598cbe6.tachi @ mickey.ai.kyutech.ac.jp> 立川 純 wrotes: > コンパイルした段階で以下のようなライブラリ関連のエラーがでました. > > [root @ ohnishi laplace.omp]# cd /opt/score/example/scash/laplace.omp/ > [root @ ohnishi laplace.omp]# ls > Makefile laplace.h laplace_omp.c laplace_omp.o second.c second.o > [root @ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm > Compiling 'laplace_omp.c'... > Compiling 'second.c'... > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In > function `_ompsm_scash_lib_in': > ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc' (中略) > どなたか,考えられる問題点やその解決策または,コメント等いただけると幸いです. atomic_inc()/atomic_dec() は kernel の header で inline 定義されている関数です. redhat 7.2 では /usr/include/asm/atomic.h で見えていたのですが, redhat 7.3 以降は user 関数は kernel header を 使うべきでないと考えたようで, ここに install しなくなりました. kernnel-source を入れれば /usr/src/linux-2.4/include/asm/atomic.h では見えますので, SCore の compile driver でば redhat 7.3 であれば こちらを見るようにしています. ということで, その host で上記ファイルがあるかどうか確認して, 無ければ kernel-source パッケージを install してください. from Kameyama Toyohisa From hori @ swimmy-soft.com Mon Dec 2 10:28:10 2002 From: hori @ swimmy-soft.com (Atsushi HORI) Date: Mon, 2 Dec 2002 10:28:10 +0900 Subject: [SCore-users-jp] Re: [SCore-users] Best way to increase the stacksize limit on MPI jobs? In-Reply-To: <200211280650.gAS6ohL13248@zeralda.streamline.com> References: <200211280650.gAS6ohL13248@zeralda.streamline.com> Message-ID: <3121669690.hori0002@swimmy-soft.com> hi, all, >Does anyone know if it is possible for an mpi processes to increase >the stack >size limits ? > > >I had this query from one of our users: > > >>It appears that one of our users is having problems with stacksize >>limits in his SCore MPI program (VASP). >> >>The command >>ulimit -s unlimited >>works in a shell on the server, including within the shell script >>submitted to qsub. What is the best way to have this command executed on >>the relevant compute nodes (or somehow increase the stacksize to a >>larger value like 256 MB if unlimited is not possible)? > >ulimit sets the stack size for a shell, so is not probably not what is >wanted. Probably this is a general programming problem not related to >Score mpi. Add "ulimit" in the file /etc/rc.d/init.d/scoutd to increase the stack limit. ---- Atsushi HORI SCore Developer Swimmy Software, Inc. _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kouchi @ fasol.fujitsu.com Mon Dec 2 10:31:39 2002 From: kouchi @ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Mon, 02 Dec 2002 10:31:39 +0900 Subject: [SCore-users-jp] monitorオプションについて In-Reply-To: <20021129090909.604E220024@neal.il.is.s.u-tokyo.ac.jp> References: <20021129090909.604E220024@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <200212020131.AA00103@kouchi01.fasol.fujitsu.com> 亀山様 ご回答いただきありがとうございました。幸地です。 結果を報告させていただきます。 宜しくお願い致します。 >結局, 以下の方法しか無いような気がします. >1. /usr/lib/libGL.so* を redhat 7.2 のものに置き換えてしまう. >2. Mesa library を install して loadmonitor3d を作成し直す. 上記の番号で"1"を実行し、monitorオプションを追加してscrunを実行 しました。 SCore-5.0.0の時と同様のGUIが表示されました。 強制的にインストールしたパッケージは、以下の通りです。 Mesa-3.4.2-7.i386.rpm Mesa-demos-3.4.2-7.i386.rpm Mesa-devel-3.4.2-7.i386.rpm 以上です。 -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi @ fasol.fujitsu.com -------------------------------------------------- From msato @ is.tsukuba.ac.jp Mon Dec 2 13:53:03 2002 From: msato @ is.tsukuba.ac.jp (Mitsuhisa Sato) Date: Mon, 02 Dec 2002 13:53:03 +0900 Subject: [SCore-users-jp] is there free() func for ompsm_galloc()? In-Reply-To: References: Message-ID: <20021202135303J.msato@is.tsukuba.ac.jp> 宮城様、 現在、ありません。というのは、gallocの方は、特定のマッピングをいれて allocationするのですが、これをfreeしても、あとで変更するのが、現在の実 装ではむずかしいのでということで、freeはつくっておりません。 必要ならば、個別にご相談ということで。 さとう。 From: Masato Miyagi Subject: [SCore-users-jp] is there free() func for ompsm_galloc()? Date: Fri, 29 Nov 2002 13:13:50 +0900 > はじめまして、立命館大学の宮城と申します。 > > 現在、既存の逐次プログラムを SCoreのOpenMP環境へ移植する > ということをしています。 > > 分散共有メモリを動的に確保するのに、ompsm_galloc() > という関数をmalloc()の代わりに使用するということですが、 > このompsm_galloc()で確保したメモリをfree()する関数は > 用意されていますでしょうか? > > 一通り調べてみても分からなかったのでお尋ねします。 > よろしくお願いします。 > > -- > 宮城雅人 > 立命館大学理工学部情報学科 高性能計算研究室 > _______________________________________________ > SCore-users-jp mailing list > SCore-users-jp @ pccluster.org > http://www.pccluster.org/mailman/listinfo/score-users-jp From fujiwara @ abmail.elec.ryukoku.ac.jp Tue Dec 3 19:15:33 2002 From: fujiwara @ abmail.elec.ryukoku.ac.jp (Fujiwara Shinji) Date: Tue, 03 Dec 2002 19:15:33 +0900 Subject: [SCore-users-jp] SCoreのインストールトラブルに関して Message-ID: <3DEC8445.1040100@abmail.elec.ryukoku.ac.jp> 龍谷大学の藤原と申します。初心者ですのでよろしくお教え下さい。 システム構成は2台のIntel PCを1000baseTでネットワークを組んで います。OSはRedHat7.3をインストールしています。SCore5.2.0を RPMでインストールを始めたところ、以下のようなエラーメッセージ: # /etc/rc.d/init.d/pm_ethernet start modprobe: Can't open dependencies file /lib/modules/2.4.18-3smp/modules.dep (No such file or directory) n Starting PM/Ethernet: device: eth0 etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!! を出力したので残りのインストールが不可能となりました。 原因と対処方法をお教え下さい。 From kameyama @ pccluster.org Tue Dec 3 19:23:35 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Tue, 03 Dec 2002 19:23:35 +0900 Subject: [SCore-users-jp] SCoreのインストールトラブルに関して In-Reply-To: Your message of "Tue, 03 Dec 2002 19:15:33 JST." <3DEC8445.1040100@abmail.elec.ryukoku.ac.jp> Message-ID: <20021203102335.1579420024@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <3DEC8445.1040100 @ abmail.elec.ryukoku.ac.jp> Fujiwara Shinji wrotes: > 龍谷大学の藤原と申します。初心者ですのでよろしくお教え下さい。 > システム構成は2台のIntel PCを1000baseTでネットワークを組んで > います。OSはRedHat7.3をインストールしています。SCore5.2.0を > RPMでインストールを始めたところ、以下のようなエラーメッセージ: > > # /etc/rc.d/init.d/pm_ethernet start > modprobe: Can't open dependencies file > /lib/modules/2.4.18-3smp/modules.dep (No > such file or directory) > n Starting PM/Ethernet: > device: eth0 > etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!! SCore を動かすためには compute host の kernel を変更する必要があります. /opt/score/doc/html/ja/installation/kernel-binary.html に書かれている kernel の install を行ってください. なお, kernel-headers および kernel-source rpm はありませんので. kernel-doc と kernel, kernel-smp のみを入れ換えてください. from Kameyama Toyohisa From rguenth @ tat.physik.uni-tuebingen.de Tue Dec 3 20:23:18 2002 From: rguenth @ tat.physik.uni-tuebingen.de (Richard Guenther) Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET) Subject: [SCore-users-jp] [SCore-users] Races inside SCore(?) Message-ID: Hi! I experience problems using SCore (version 4.2.1 with 100MBit and 3.3.1 with Myrinet) in conjunction with the cheetah (v1.1.4) library used by POOMA. The problem appears if I use a nx2 processor setup and does not appear in nx1 mode. The problem is all processes spinning in kernel space (>90% system time) and no progress achieved anymore. Does this sound familiar to anyone? Now to elaborate some more. Cheetah presents sort of one-sided communication interface to the user and at certain points polls for messages with a construct like (very simplified) do { MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status); } while (!flag); now, if I insert a sched_yield() or a usleep(100) after the MPI_Iprobe(), the problem goes away (well, not completely, but it is a lot harder to reproduce). SCore usually does not detect any sort of deadlock, but ocasionally it does. Now the question, may this be a race condition somewhere in the SCore code that handles multiple processors on one node? Where should I start to look at to fix the problem? Thanks for any hints, Richard. PS: please CC me, I'm not on the list. -- Richard Guenther WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From emile.carcamo @ nec.fr Wed Dec 4 19:54:28 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Wed, 04 Dec 2002 11:54:28 +0100 Subject: [SCore-users-jp] [SCore-users] troubles with gm-1.6.3 port on SCore 5.2.0 Message-ID: <200212041054.gB4AsSM05460@emilepc.ess.nec.fr> Dear List Members, Now that my topology problem with Myrinet-2k has been solved ... I'd like to give a try to gm-1.6.3 port on a SCore 5.2.0 cluster. On one node, I installed what's required for gcc/make etc... and the kernel-source-score-2.4.18-3SCORE as well. I did not forget the "kernel-source-score.efi" patch provided by Kameyama-San. I'm a little puzzled about how to proceed for the next step : re- compile a 2.4.18-3SCORE kernel WITHOUT PM at all, boot on that one and start porting gm-1.6.3. Right ?? If I try "./configure && make" directly without building any kernel here are the errors I got : [gm-1.6.3_Linux]<317>pwd /work/ecarcamo/gm-1.6.3_Linux [gm-1.6.3_Linux]<318>uname -a Linux node01.ess.nec.fr 2.4.18-3SCOREsmp #1 SMP Fri Oct 11 12:23:22 JST 2002 i686 unknown [gm-1.6.3_Linux]<319>make gcc -c -Idrivers/linux/gm -Iinclude -I./include -DGM_BUILDING_GM=1 -Decarcamo=1 -DGM_DEBUG=0 -DGM_BUILDING_INTERNALS=1 -DGM_SIZEOF_UP_T=4 -DGM_KERNEL=1 -DGM_BUILDING_INTERNALS=1 -Idrivers -I./drivers -Izlib -I./zlib -Idrivers/linux -I./drivers/linux -Idrivers/linux/gm -I./drivers/linux/gm -DMODULE -D__KERNEL__ -I\/usr/src/linux-2.4.18score/include -D__SMP__ -DMODVERSIONS -include /usr/src/linux-2.4.18score/include/linux/modversions.h -DGM_DEBUG_SETJMP=0 -O2 drivers/linux/gm/gm_arch_fork.c.c -o drivers/linux/gm/gm_arch_fork_k.o drivers/linux/gm/gm_arch_fork.c:102:42: macro "copy_user_page" requires 4 arguments, but only 3 given make: *** [drivers/linux/gm/gm_arch_fork_k.o] Error 1 [gm-1.6.3_Linux]<320> This macro from "highmem.h" is totally different if you examine /usr/ include/linux (RedHat origin) or /usr/src/linux/include/linux (2.4.18-3 SCore kernel origin). Who should I believe ?? Has anyone already worked on that Myrinet2K-GM issue ?? Thanks for your inputs, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kameyama @ pccluster.org Wed Dec 4 20:24:48 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Wed, 04 Dec 2002 20:24:48 +0900 Subject: [SCore-users-jp] [SCore-users] troubles with gm-1.6.3 port on SCore 5.2.0 In-Reply-To: Your message of "Wed, 04 Dec 2002 11:54:28 JST." <200212041054.gB4AsSM05460@emilepc.ess.nec.fr> Message-ID: <20021204112448.88F5120042@neal.il.is.s.u-tokyo.ac.jp> In article <200212041054.gB4AsSM05460 @ emilepc.ess.nec.fr> Emile CARCAMO wrotes: > [gm-1.6.3_Linux]<317>pwd > /work/ecarcamo/gm-1.6.3_Linux > [gm-1.6.3_Linux]<318>uname -a > Linux node01.ess.nec.fr 2.4.18-3SCOREsmp #1 SMP Fri Oct 11 12:23:22 JST 2002 > i686 unknown > [gm-1.6.3_Linux]<319>make > gcc -c -Idrivers/linux/gm -Iinclude -I./include -DGM_BUILDING_GM=1 > -Decarcamo=1 -DGM_DEBUG=0 -DGM_BUILDING_INTERNALS=1 -DGM_SIZEOF_UP_T=4 > -DGM_KERNEL=1 -DGM_BUILDING_INTERNALS=1 -Idrivers -I./drivers -Izlib -I./zlib > > -Idrivers/linux -I./drivers/linux -Idrivers/linux/gm -I./drivers/linux/gm > -DMODULE -D__KERNEL__ -I\/usr/src/linux-2.4.18score/include -D__SMP__ > -DMODVERSIONS -include /usr/src/linux-2.4.18score/include/linux/modversions.h > > -DGM_DEBUG_SETJMP=0 -O2 drivers/linux/gm/gm_arch_fork.c.c -o > drivers/linux/gm/gm_arch_fork_k.o > drivers/linux/gm/gm_arch_fork.c:102:42: macro "copy_user_page" requires 4 > arguments, but only 3 given > make: *** [drivers/linux/gm/gm_arch_fork_k.o] Error 1 There is the probrem for IA64 patch. Please move following line to out of #endif: #define copy_user_page(new,old,addr) copy_page(new,old) from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ bd6.so-net.ne.jp Thu Dec 5 00:03:25 2002 From: s-sumi @ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: References: Message-ID: <20021205.000325.74756171.s-sumi@bd6.so-net.ne.jp> Hi. From: Richard Guenther Subject: [SCore-users] Races inside SCore(?) Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET) Message-ID: rguenth> I experience problems using SCore (version 4.2.1 with 100MBit rguenth> and 3.3.1 with Myrinet) in rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA. rguenth> The problem appears if I use a nx2 processor setup and does rguenth> not appear in nx1 mode. The problem is all processes spinning rguenth> in kernel space (>90% system time) and no progress achieved rguenth> anymore. Does this sound familiar to anyone? rguenth> Now to elaborate some more. Cheetah presents sort of one-sided rguenth> communication interface to the user and at certain points polls rguenth> for messages with a construct like (very simplified) rguenth> rguenth> do { rguenth> MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status); rguenth> } while (!flag); rguenth> rguenth> now, if I insert a sched_yield() or a usleep(100) after the rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but rguenth> it is a lot harder to reproduce). SCore usually does not rguenth> detect any sort of deadlock, but ocasionally it does. rguenth> rguenth> Now the question, may this be a race condition somewhere in the rguenth> SCore code that handles multiple processors on one node? Where rguenth> should I start to look at to fix the problem? We have not been seen such situation. Some race condition or scheduling problem may occur. MPI_Iprobe does only check message queue. When user program is in MPI infinite loop, SCore detects the loop as deadlock. However, in your case, program seems to be working well. When the deadlock has occurred, the other process is also running or sleeping? Could you attatch and test the program using gdb with process number? such as % gdb your-program-binary process-number and test the program using backtrace and step execution. Shinji. rguenth> Thanks for any hints, rguenth> Richard. rguenth> rguenth> PS: please CC me, I'm not on the list. rguenth> rguenth> -- rguenth> Richard Guenther rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ rguenth> rguenth> rguenth> _______________________________________________ rguenth> SCore-users mailing list rguenth> SCore-users @ pccluster.org rguenth> http://www.pccluster.org/mailman/listinfo/score-users rguenth> ----- Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From emile.carcamo @ nec.fr Thu Dec 5 00:32:18 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Wed, 04 Dec 2002 16:32:18 +0100 Subject: [SCore-users-jp] [SCore-users] troubles with gm-1.6.3 port on SCore 5.2.0 In-Reply-To: Your message of "Wed, 04 Dec 2002 20:24:48 +0900." <20021204112448.88F5120042@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <200212041532.gB4FWIM08108@emilepc.ess.nec.fr> kameyama @ pccluster.org said: > There is the probrem for IA64 patch. > Please move following line to out of #endif: > #define copy_user_page(new,old,addr) copy_page(new,old) Hi All, As suggested by Kameyama-San, I commented this line 102 in the source file of the "gm-1.6.3" drivers/linux/gm/gm_arch_fork.c and then all the install process for Myrinet/GM went fine : ./configure --with-linux=/usr/src/linux make cd binary ./GM_INSTALL rsh-all -g group /sbin/gm_install_drivers rsh-all -g group /etc/init.d/gm start Thanks again for the help, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From tachi @ mickey.ai.kyutech.ac.jp Thu Dec 5 03:04:01 2002 From: tachi @ mickey.ai.kyutech.ac.jp (立川 純) Date: Thu, 5 Dec 2002 03:04:01 +0900 Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー In-Reply-To: <20021202004553.682EB20024@neal.il.is.s.u-tokyo.ac.jp> References: <20021201152149.5598cbe6.tachi@mickey.ai.kyutech.ac.jp> <20021202004553.682EB20024@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <20021205030401.6bca9303.tachi@mickey.ai.kyutech.ac.jp> さとう様,亀山様,ご回答ありがとうございます. > > [root @ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c -lm > > Compiling 'laplace_omp.c'... > > Compiling 'second.c'... > > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o): In > > function `_ompsm_scash_lib_in': > > ompsm_scash.o(.text+0x1163): undefined reference to `atomic_inc' > atomic_inc()/atomic_dec() は kernel の header で inline 定義されている関数です. > redhat 7.2 では > /usr/include/asm/atomic.h > で見えていたのですが, redhat 7.3 以降は user 関数は kernel header を > 使うべきでないと考えたようで, ここに install しなくなりました. > kernnel-source を入れれば > /usr/src/linux-2.4/include/asm/atomic.h > では見えますので, SCore の compile driver でば redhat 7.3 であれば > こちらを見るようにしています. > > ということで, その host で上記ファイルがあるかどうか確認して, 無ければ > kernel-source > パッケージを install してください. ご指摘されたファイルですが,kernel-sourceパッケージが インストールされた状況で上記のようなエラーがでているようです. (両方ともファイルが存在している状況です.) [root @ ohnishi scash]# ls /usr/src/linux-2.4/include/asm/atomic.h /usr/src/linux-2.4/include/asm/atomic.h [root @ ohnishi scash]# ls /usr/include/asm/atomic.h /usr/include/asm/atomic.h [root @ ohnishi scash]# rpm -qa|grep kernel kernel-debug-2.4.18-3 kernel-pcmcia-cs-3.1.27-18 kernel-2.4.18-3 kernel-utils-2.4-7.4 kernel-source-2.4.18-3 kernel-doc-2.4.18-3 どちらかのファイルを消す,またはどちらも消して,コンパイルしてみましたが, いずれもコンパイル自体も成功し,アプリケーションのコンパイル(omcc --omniconfig=scash ...) で最初のエラーが出力されます. これは,確認ですが,両方消してもコンパイルが成功するようなことはあり得るでしょうか? 以上,よろしくお願いします. -- _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ _/ 立川 純 /_/ _/ 九州工業大学大学院情報工学研究科 佐藤研究室所属 /_/ _/ tachi @ mickey.ai.kyutech.ac.jp /_/ _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ From east @ nil.co.jp Thu Dec 5 09:11:55 2002 From: east @ nil.co.jp (satoshi higashizaki) Date: Thu, 05 Dec 2002 09:11:55 +0900 Subject: [SCore-users-jp] Resource limit エラーについて Message-ID: <20021205082518.8F2F.EAST@nil.co.jp> はじめまして, 東崎と申します. SCoreはもちろん,PCクラスタに関しまして 全くの新人なのですが,何卒よろしくお願いいたします. [ はじめに ] 現在 mpijava なるものを使用して MPI + Java での 並列化を 検討をしております. mpijavaは 単なる JavaからJNI を使用した MPIへのラッパー となっていますので,SCore/MPICH はもちろん SCoreの一部を 書き換えていないことは確認しました. ですので,こちらへの投稿も可能かと考え お尋ねさせて頂きました. SCore/MPICH + mpijava + Java での動作確認を してみたところ 以下のメッセージが表示されて プログラムが 途中 で落ちてしまう現象が発生しております. # 実行時間の短いものならば 結果は得られるのですが # 必ず発生します. ----------------------------------------------- <0:0> SCORE: 2 nodes (2x1) ready. ###プログラム実行結果の表示 (あれば)### <0> SCORE WARNING: Physical memory might be exhausted. <1> SCORE WARNING: Physical memory might be exhausted. <0> SCORE: Memory shortage. <1> SCORE: Memory shortage. <0:0>SCore: *** SIGNAL EXCEPTION eip=0x420292e5, cr2=0x 0 *** <0:0>SCore: gs=0x0047, fs=0x0000, es=0x002b, ds=0x002b <0:0>SCore: edi=0x400288e8, esi=0x4c60d77c, ebp=0x4c60d764, esp=0x4c60d75c <0:0>SCore: ebx=0x4c60d77c, edx=0x4213030c, ecx=0x00000008, eax=0xfffffffc <0:0>SCore: trapno=0x00000000, err=0x00000000, eip=0x420292e5, cs=0x0023 <0:0>SCore: esp_at_signal=0x4c60d75c, ss=0x002b, oldmask=0x80000004, cr2=0x00000000 <0:0> Trying to attach GDB (DISPLAY=:0): Exception signal (SIGHUP) <1:0>SCore: *** SIGNAL EXCEPTION eip=0x420292e5, cr2=0x 0 *** <1:0>SCore: gs=0x0047, fs=0x0000, es=0x002b, ds=0x002b <1:0>SCore: edi=0x400288e8, esi=0x4c60d77c, ebp=0x4c60d764, esp=0x4c60d75c <1:0>SCore: ebx=0x4c60d77c, edx=0x4213030c, ecx=0x00000008, eax=0xfffffffc <1:0>SCore: trapno=0x00000000, err=0x00000000, eip=0x420292e5, cs=0x0023 <1:0>SCore: esp_at_signal=0x4c60d75c, ss=0x002b, oldmask=0x80000004, cr2=0x00000000 <1:0> Trying to attach GDB (DISPLAY=:0): Exception signal (SIGHUP) SCORE: Resource limit. ------------------------------------------------- mpijavaの挙動として,なぜかJavaを 複数起動し メモリを圧迫していることも確認できているのですが, 搭載メモリの 空き領域には 余裕があります. # scrun の -resource オプションで得られる 要求メモリ量は # 200M 近くなっています. # ノーマルの mpich-1.2.4 + mpijava でも同じく Javaは複数起動します. サポート対象外と言われてしまえば それまでなのですが, 今後のためもあり 以下のことに お答えいただけると ありがたく 思います. 1. 各エラーメッセージが 表示される条件の詳細 ・Physical.... ・Memory.... ・SIGNAL EXCEPTION... ・Resorce limit 2.scrun の -resource オプションにて ・要求メモリ量とはなにか. ・この要求メモリが プログラム実行時に どう影響するのか ・要求メモリ量が搭載メモリ量を上回った場合の挙動 など. ・ -memorylimit との関係 ・sc_console上での limit との関係 3.現状の問題に対して,回避可能であるか? あればその回避方法案など 以上,よろしくお願いいたします. Name : Satoshi Higashizaki E_mail : east @ nil.co.jp Company : Nil Software corp. From kameyama @ pccluster.org Thu Dec 5 09:54:10 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 05 Dec 2002 09:54:10 +0900 Subject: [SCore-users-jp] Omni/SCASH でのコンパイルエラー In-Reply-To: Your message of "Thu, 05 Dec 2002 03:04:01 JST." <20021205030401.6bca9303.tachi@mickey.ai.kyutech.ac.jp> Message-ID: <20021205005410.682B020042@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <20021205030401.6bca9303.tachi @ mickey.ai.kyutech.ac.jp> 立川 純 wrotes: > > さとう様,亀山様,ご回答ありがとうございます. > > > > [root @ ohnishi laplace.omp]# omcc -omniconfig=scash laplace_omp.c second.c > -lm > > > Compiling 'laplace_omp.c'... > > > Compiling 'second.c'... > > > /opt/score/omni/lib/openmp/gcc/lib/openmp/lib/libompc_sm.a(ompsm_scash.o) この path を見逃していました. Omni は (SCore も?) rpm からではなく, 自分でコンパイルしたものですね? 該当する symbol が入ったのは Omni をコンパイルした時点ということに なります. (そういえば, rpm を作成したのは redhat 7.2 でした...) とりあえず, 環境変数 CPPFLAGS に -I/usr/src/linux-2.4/include を設定してから Omni を作り直してください. from Kameyama Toyohisa From miyagi @ hpc.cs.ritsumei.ac.jp Thu Dec 5 10:27:59 2002 From: miyagi @ hpc.cs.ritsumei.ac.jp (Masato Miyagi) Date: Thu, 05 Dec 2002 10:27:59 +0900 Subject: [SCore-users-jp] is there free() func for ompsm_galloc()? In-Reply-To: <20021202135303J.msato@is.tsukuba.ac.jp> References: <20021202135303J.msato@is.tsukuba.ac.jp> Message-ID: さとう様 立命館大学の宮城です。 ご回答ありがとうございます。 やはりそうですか・・。 移植しようとしているのはJPEG2000 codecのJasPerという プログラム(ライブラリ)なのですが、そのほとんどが malloc()で確保したメモリをポインタで受け渡しして操作しているので free()できないと非常に厳しいです。 試しにompsm_galloc()で確保してfree()をコメントアウトして 突っ走ってみたところ100x100程度までの画像しか扱えませんでした。 (メモリは各計算ノード256MBです) この程度だと並列化する意味がないですね・・。 どうやら、OpenMPの指示文をちょこっと入れてmalloc()の関数を置き換える だけでさくっといけると思っていたのが甘かったようです。 もう一度考え直してみます。 ありがとうございました。 -- 宮城雅人 立命館大学理工学部情報学科 高性能計算研究室 At Mon, 02 Dec 2002 13:53:03 +0900, Mitsuhisa Sato wrote: > > 宮城様、 > > 現在、ありません。というのは、gallocの方は、特定のマッピングをいれて > allocationするのですが、これをfreeしても、あとで変更するのが、現在の実 > 装ではむずかしいのでということで、freeはつくっておりません。 > > 必要ならば、個別にご相談ということで。 > > さとう。 > > From: Masato Miyagi > Subject: [SCore-users-jp] is there free() func for ompsm_galloc()? > Date: Fri, 29 Nov 2002 13:13:50 +0900 > > > はじめまして、立命館大学の宮城と申します。 > > > > 現在、既存の逐次プログラムを SCoreのOpenMP環境へ移植する > > ということをしています。 > > > > 分散共有メモリを動的に確保するのに、ompsm_galloc() > > という関数をmalloc()の代わりに使用するということですが、 > > このompsm_galloc()で確保したメモリをfree()する関数は > > 用意されていますでしょうか? > > > > 一通り調べてみても分からなかったのでお尋ねします。 > > よろしくお願いします。 From suga @ sse.co.jp Thu Dec 5 11:47:59 2002 From: suga @ sse.co.jp (Sugano, Mitsukuni) Date: Thu, 05 Dec 2002 11:47:59 +0900 Subject: [SCore-users-jp] PM ethernet/ethernet device already opened References: <3DE5DDC4.7FCB792B@sse.co.jp> <20021128.182842.118600028.s-sumi@flab.fujitsu.co.jp> <3DE5E688.A3D723D@sse.co.jp> <20021128.185658.108784003.s-sumi@flab.fujitsu.co.jp> Message-ID: <3DEEBE5F.FA3CFA92@sse.co.jp> 住元様: 住商エレクトロニクスの菅野です。 いつもお世話になっております。 先日来、質問させていただいております、PM-ETHERの不具合に 関して、ご教示いただいたrcstest等のテストを行いました。 以前に送らさせていただいた内容も整理し、合わせて送付させ ていただきます。 添付ファイルをご送付することをお許しください。 これらの結果から、何かおわかりになることがございましたら、 ご教示いただけると幸いです。 −−− slave01-slave32のシステムにおいて、 slave23のHD障害のため交換。 正常動作しているslave24の内容をslave23にddで丸ごとコピー。 hostnameおよびipアドレスをslave23のものに変更。 1.初期調査 1)slave23と他の計算ノード全ての間で、pm-etherの1対1テスト Status:OK [root @ master sbin]# ./rpmtest slave23 ethernet -reply In another window; [root @ master sbin]# ./rpmtest slave01 ethernet -dest 22 -ping 8 9.44502e-05 ... [root @ master sbin]# ./rpmtest slave32 ethernet -dest 22 -ping 8 9.44093e-05 (ちなみに、HOST0=slave01,...,HOST22=slave23,...です。) 2)pm-etherの総合テスト Status:NG [root @ master sbin]# cd /opt/score/deploy [root @ master deploy]# scout -g pcc SCOUT: Spawning done. SCOUT: session started. [root @ master deploy]# ./scstest -network ethernet SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) PM ethernet/ethernet device already opened. ・slave23の除くと総合テストOK slave23をscorehosts.defectsに追加 [root @ master etc]# more scorehosts.defects slave23.pccluster.org [root @ master init.d]# ./msgbserv stop [root @ master init.d]# ./scoreboard stop [root @ master init.d]# ./scoreboard start [root @ master init.d]# ./msgbserv start [root @ master deploy]# cd /opt/score/deploy [root @ master deploy]# scout -g pcc SCOUT: Spawning done. SCOUT: session started. [root @ master deploy]# ./scstest -network ethernet SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) 50 K packets. 100 K packets. 150 K packets. 200 K packets. 250 K packets. 300 K packets. 350 K packets. 400 K packets. 2.その後の調査 1)ddコピー後の変更事項確認 pcc殿にddで丸ごとコピーした場合、IPとhostnameを変更する だけで良く、SCore自体に変更すべき事項は無いことを確認。 2)debugモードでのpm-etherテスト pm-ether総合テストを、DBGモードで行った結果 $ cd /opt/score/deploy $ scout -g pcc SCOUT: Spawn done. SCOUT: session started $ export PM_DEBUG=1 $ ./scstest -network ethernet SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) pmEthernetMapEthernet(1, 0xbfffef78): open("/dev/etherpm/32", 2, 0): 16 pmEthernetOpenDevice("/var/scored/scoreboard/master.0000B5002rfL", 0xbffff234): pmEthernetMapEthernet(1, 0xbfffef78): 16 PM ethernet/ethernet device already opened. 3)scorehosts.db、pm-ethernet.conf master:/opt/score/etc/scorehosts.db master:/opt/score/etc/pm-ethernet.conf 添付ファイル参照 4)etherpm slave02% ls -l /dev/etherpm slave23% ls -l /dev/etherpm 結果は、etherpm参照 5)rcstest [root @ master root]# rcstest slave01 ethernet -v starting master 0 : pe=32 starting slave: 1 4 3 5 13 7 6 11 12 9 16 8 2 18 14 10 22 19 15 20 30 23 21 27 24 29 31 17 25 26 28. testing*..*.**.*.*.**..*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.**.*.*.*.*.*. *.*. *.*.*.*.*.**..**.*..*.*.*.*.*.*.*.*.*.*.*.*..*.*.*.**..*.**.*.*.*.*.*.*.*.*. **.* 上記が続くため、ctrl/Cで終了 −−−−−−−−−−−−−−−−−−−−−−−−−−−−−− また、もう一点質問させていただきたいのですが、 rootでは実行可能なプログラムを一般ユーザのアカウントで scrunを行うと以下のように実行できません。 foo% scrun -nodes=31x2 ./Myprog SCore-D 5.0.0 connected. <19> SCore-D:ERROR Unable to create SCore-D directory (/var/scored/singleuser/1070). となります。 また、NISは問題なく動いており、 rsh slave01 ls -l /home/foo/Myprog ... rsh slave32 ls -l /home/foo/Myprog も、問題なく動作しています。 何が原因かご教示いただければ幸いです。 以上、よろしくお願いいたします。 Shinji Sumimoto wrote: > > From: "Sugano, Mitsukuni" > Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened > Date: Thu, 28 Nov 2002 18:48:56 +0900 > Message-ID: <3DE5E688.A3D723D @ sse.co.jp> > > suga> 住元様: > suga> > suga> 住商エレクトロニクスの菅野です。 > suga> ご回答ありがとうございます。 > suga> 申し訳ございませんが、少し確認させてください。 > suga> > suga> > % rcstest node01 ethernet -v > suga> > > suga> > で実行してください。 > suga> > suga> ここで、node01のところは任意の計算ノードを指定すれば、よろしい > suga> でしょうか?それとも不具合のあるノードを指定すべきでしょうか、 > suga> もしくは管理ノードを指定するのでしょうか? > > 任意の計算ノードです。 > > suga> > suga> > あと、/dev/etherpm/下にファイルはありますね? > suga> > suga> > suga> > suga> 問題のある計算ノードのみ確認すればよろしいでしょうか? > suga> > suga> できれば、どのようなファイルがあるのが正解かもご教示 > suga> > suga> いただければ幸いです。 > suga> > > suga> > 特にopenに失敗している /dev/etherpm/32 があるかどうか、permissionは > suga> > 他のノードと同じかどうかを確認してください。 > suga> > suga> 32の意味は、全計算ノード数でしょうか?また、ファイルの中身は何でしょう > suga> か? > > 32は単なるファイル名で、デバイスファイルです。 > > suga> おそらく、正常なノードslave24からHD交換ノードslave23に丸ごとddしている > suga> ので、同じだとは思うのですが、確認してみます。 > suga> > suga> 以上、よろしくお願いいたします。 > suga> _______________________________________________ > suga> SCore-users-jp mailing list > suga> SCore-users-jp @ pccluster.org > suga> http://www.pccluster.org/mailman/listinfo/score-users-jp > suga> > ------ > Shinji Sumimoto, Fujitsu Labs > _______________________________________________ > SCore-users-jp mailing list > SCore-users-jp @ pccluster.org > http://www.pccluster.org/mailman/listinfo/score-users-jp -------------- next part -------------- $ ls -l /dev/etherpm/ [slave02] shinoda @ slave02[2]% ls -l /dev/etherpm/ total 0 crw-rw-rw- 1 root root 122, 0 Aug 15 10:38 0 crw-rw-rw- 1 root root 122, 1 Aug 15 10:38 1 crw-rw-rw- 1 root root 122, 10 Aug 15 10:38 10 crw-rw-rw- 1 root root 122, 100 Aug 15 10:38 100 crw-rw-rw- 1 root root 122, 101 Aug 15 10:38 101 crw-rw-rw- 1 root root 122, 102 Aug 15 10:38 102 crw-rw-rw- 1 root root 122, 103 Aug 15 10:38 103 crw-rw-rw- 1 root root 122, 104 Aug 15 10:38 104 crw-rw-rw- 1 root root 122, 105 Aug 15 10:38 105 crw-rw-rw- 1 root root 122, 106 Aug 15 10:38 106 crw-rw-rw- 1 root root 122, 107 Aug 15 10:38 107 crw-rw-rw- 1 root root 122, 108 Aug 15 10:38 108 crw-rw-rw- 1 root root 122, 109 Aug 15 10:38 109 crw-rw-rw- 1 root root 122, 11 Aug 15 10:38 11 crw-rw-rw- 1 root root 122, 110 Aug 15 10:38 110 crw-rw-rw- 1 root root 122, 111 Aug 15 10:38 111 crw-rw-rw- 1 root root 122, 112 Aug 15 10:38 112 crw-rw-rw- 1 root root 122, 113 Aug 15 10:38 113 crw-rw-rw- 1 root root 122, 114 Aug 15 10:38 114 crw-rw-rw- 1 root root 122, 115 Aug 15 10:38 115 crw-rw-rw- 1 root root 122, 116 Aug 15 10:38 116 crw-rw-rw- 1 root root 122, 117 Aug 15 10:38 117 crw-rw-rw- 1 root root 122, 118 Aug 15 10:38 118 crw-rw-rw- 1 root root 122, 119 Aug 15 10:38 119 crw-rw-rw- 1 root root 122, 12 Aug 15 10:38 12 crw-rw-rw- 1 root root 122, 120 Aug 15 10:38 120 crw-rw-rw- 1 root root 122, 121 Aug 15 10:38 121 crw-rw-rw- 1 root root 122, 122 Aug 15 10:38 122 crw-rw-rw- 1 root root 122, 123 Aug 15 10:38 123 crw-rw-rw- 1 root root 122, 124 Aug 15 10:38 124 crw-rw-rw- 1 root root 122, 125 Aug 15 10:38 125 crw-rw-rw- 1 root root 122, 126 Aug 15 10:38 126 crw-rw-rw- 1 root root 122, 127 Aug 15 10:38 127 crw-rw-rw- 1 root root 122, 128 Aug 15 10:38 128 crw-rw-rw- 1 root root 122, 129 Aug 15 10:38 129 crw-rw-rw- 1 root root 122, 13 Aug 15 10:38 13 crw-rw-rw- 1 root root 122, 130 Aug 15 10:38 130 crw-rw-rw- 1 root root 122, 131 Aug 15 10:38 131 crw-rw-rw- 1 root root 122, 132 Aug 15 10:38 132 crw-rw-rw- 1 root root 122, 133 Aug 15 10:38 133 crw-rw-rw- 1 root root 122, 134 Aug 15 10:38 134 crw-rw-rw- 1 root root 122, 135 Aug 15 10:38 135 crw-rw-rw- 1 root root 122, 136 Aug 15 10:38 136 crw-rw-rw- 1 root root 122, 137 Aug 15 10:38 137 crw-rw-rw- 1 root root 122, 138 Aug 15 10:38 138 crw-rw-rw- 1 root root 122, 139 Aug 15 10:38 139 crw-rw-rw- 1 root root 122, 14 Aug 15 10:38 14 crw-rw-rw- 1 root root 122, 140 Aug 15 10:38 140 crw-rw-rw- 1 root root 122, 141 Aug 15 10:38 141 crw-rw-rw- 1 root root 122, 142 Aug 15 10:38 142 crw-rw-rw- 1 root root 122, 143 Aug 15 10:38 143 crw-rw-rw- 1 root root 122, 144 Aug 15 10:38 144 crw-rw-rw- 1 root root 122, 145 Aug 15 10:38 145 crw-rw-rw- 1 root root 122, 146 Aug 15 10:38 146 crw-rw-rw- 1 root root 122, 147 Aug 15 10:38 147 crw-rw-rw- 1 root root 122, 148 Aug 15 10:38 148 crw-rw-rw- 1 root root 122, 149 Aug 15 10:38 149 crw-rw-rw- 1 root root 122, 15 Aug 15 10:38 15 crw-rw-rw- 1 root root 122, 150 Aug 15 10:38 150 crw-rw-rw- 1 root root 122, 151 Aug 15 10:38 151 crw-rw-rw- 1 root root 122, 152 Aug 15 10:38 152 crw-rw-rw- 1 root root 122, 153 Aug 15 10:38 153 crw-rw-rw- 1 root root 122, 154 Aug 15 10:38 154 crw-rw-rw- 1 root root 122, 155 Aug 15 10:38 155 crw-rw-rw- 1 root root 122, 156 Aug 15 10:38 156 crw-rw-rw- 1 root root 122, 157 Aug 15 10:38 157 crw-rw-rw- 1 root root 122, 158 Aug 15 10:38 158 crw-rw-rw- 1 root root 122, 159 Aug 15 10:38 159 crw-rw-rw- 1 root root 122, 16 Aug 15 10:38 16 crw-rw-rw- 1 root root 122, 160 Aug 15 10:38 160 crw-rw-rw- 1 root root 122, 161 Aug 15 10:38 161 crw-rw-rw- 1 root root 122, 162 Aug 15 10:38 162 crw-rw-rw- 1 root root 122, 163 Aug 15 10:38 163 crw-rw-rw- 1 root root 122, 164 Aug 15 10:38 164 crw-rw-rw- 1 root root 122, 165 Aug 15 10:38 165 crw-rw-rw- 1 root root 122, 166 Aug 15 10:38 166 crw-rw-rw- 1 root root 122, 167 Aug 15 10:38 167 crw-rw-rw- 1 root root 122, 168 Aug 15 10:38 168 crw-rw-rw- 1 root root 122, 169 Aug 15 10:38 169 crw-rw-rw- 1 root root 122, 17 Aug 15 10:38 17 crw-rw-rw- 1 root root 122, 170 Aug 15 10:38 170 crw-rw-rw- 1 root root 122, 171 Aug 15 10:38 171 crw-rw-rw- 1 root root 122, 172 Aug 15 10:38 172 crw-rw-rw- 1 root root 122, 173 Aug 15 10:38 173 crw-rw-rw- 1 root root 122, 174 Aug 15 10:38 174 crw-rw-rw- 1 root root 122, 175 Aug 15 10:38 175 crw-rw-rw- 1 root root 122, 176 Aug 15 10:38 176 crw-rw-rw- 1 root root 122, 177 Aug 15 10:38 177 crw-rw-rw- 1 root root 122, 178 Aug 15 10:38 178 crw-rw-rw- 1 root root 122, 179 Aug 15 10:38 179 crw-rw-rw- 1 root root 122, 18 Aug 15 10:38 18 crw-rw-rw- 1 root root 122, 180 Aug 15 10:38 180 crw-rw-rw- 1 root root 122, 181 Aug 15 10:38 181 crw-rw-rw- 1 root root 122, 182 Aug 15 10:38 182 crw-rw-rw- 1 root root 122, 183 Aug 15 10:38 183 crw-rw-rw- 1 root root 122, 184 Aug 15 10:38 184 crw-rw-rw- 1 root root 122, 185 Aug 15 10:38 185 crw-rw-rw- 1 root root 122, 186 Aug 15 10:38 186 crw-rw-rw- 1 root root 122, 187 Aug 15 10:38 187 crw-rw-rw- 1 root root 122, 188 Aug 15 10:38 188 crw-rw-rw- 1 root root 122, 189 Aug 15 10:38 189 crw-rw-rw- 1 root root 122, 19 Aug 15 10:38 19 crw-rw-rw- 1 root root 122, 190 Aug 15 10:38 190 crw-rw-rw- 1 root root 122, 191 Aug 15 10:38 191 crw-rw-rw- 1 root root 122, 192 Aug 15 10:38 192 crw-rw-rw- 1 root root 122, 193 Aug 15 10:38 193 crw-rw-rw- 1 root root 122, 194 Aug 15 10:38 194 crw-rw-rw- 1 root root 122, 195 Aug 15 10:38 195 crw-rw-rw- 1 root root 122, 196 Aug 15 10:38 196 crw-rw-rw- 1 root root 122, 197 Aug 15 10:38 197 crw-rw-rw- 1 root root 122, 198 Aug 15 10:38 198 crw-rw-rw- 1 root root 122, 199 Aug 15 10:38 199 crw-rw-rw- 1 root root 122, 2 Aug 15 10:38 2 crw-rw-rw- 1 root root 122, 20 Aug 15 10:38 20 crw-rw-rw- 1 root root 122, 200 Aug 15 10:38 200 crw-rw-rw- 1 root root 122, 201 Aug 15 10:38 201 crw-rw-rw- 1 root root 122, 202 Aug 15 10:38 202 crw-rw-rw- 1 root root 122, 203 Aug 15 10:38 203 crw-rw-rw- 1 root root 122, 204 Aug 15 10:38 204 crw-rw-rw- 1 root root 122, 205 Aug 15 10:38 205 crw-rw-rw- 1 root root 122, 206 Aug 15 10:38 206 crw-rw-rw- 1 root root 122, 207 Aug 15 10:38 207 crw-rw-rw- 1 root root 122, 208 Aug 15 10:38 208 crw-rw-rw- 1 root root 122, 209 Aug 15 10:38 209 crw-rw-rw- 1 root root 122, 21 Aug 15 10:38 21 crw-rw-rw- 1 root root 122, 210 Aug 15 10:38 210 crw-rw-rw- 1 root root 122, 211 Aug 15 10:38 211 crw-rw-rw- 1 root root 122, 212 Aug 15 10:38 212 crw-rw-rw- 1 root root 122, 213 Aug 15 10:38 213 crw-rw-rw- 1 root root 122, 214 Aug 15 10:38 214 crw-rw-rw- 1 root root 122, 215 Aug 15 10:38 215 crw-rw-rw- 1 root root 122, 216 Aug 15 10:38 216 crw-rw-rw- 1 root root 122, 217 Aug 15 10:38 217 crw-rw-rw- 1 root root 122, 218 Aug 15 10:38 218 crw-rw-rw- 1 root root 122, 219 Aug 15 10:38 219 crw-rw-rw- 1 root root 122, 22 Aug 15 10:38 22 crw-rw-rw- 1 root root 122, 220 Aug 15 10:38 220 crw-rw-rw- 1 root root 122, 221 Aug 15 10:38 221 crw-rw-rw- 1 root root 122, 222 Aug 15 10:38 222 crw-rw-rw- 1 root root 122, 223 Aug 15 10:38 223 crw-rw-rw- 1 root root 122, 224 Aug 15 10:38 224 crw-rw-rw- 1 root root 122, 225 Aug 15 10:38 225 crw-rw-rw- 1 root root 122, 226 Aug 15 10:38 226 crw-rw-rw- 1 root root 122, 227 Aug 15 10:38 227 crw-rw-rw- 1 root root 122, 228 Aug 15 10:38 228 crw-rw-rw- 1 root root 122, 229 Aug 15 10:38 229 crw-rw-rw- 1 root root 122, 23 Aug 15 10:38 23 crw-rw-rw- 1 root root 122, 230 Aug 15 10:38 230 crw-rw-rw- 1 root root 122, 231 Aug 15 10:38 231 crw-rw-rw- 1 root root 122, 232 Aug 15 10:38 232 crw-rw-rw- 1 root root 122, 233 Aug 15 10:38 233 crw-rw-rw- 1 root root 122, 234 Aug 15 10:38 234 crw-rw-rw- 1 root root 122, 235 Aug 15 10:38 235 crw-rw-rw- 1 root root 122, 236 Aug 15 10:38 236 crw-rw-rw- 1 root root 122, 237 Aug 15 10:38 237 crw-rw-rw- 1 root root 122, 238 Aug 15 10:38 238 crw-rw-rw- 1 root root 122, 239 Aug 15 10:38 239 crw-rw-rw- 1 root root 122, 24 Aug 15 10:38 24 crw-rw-rw- 1 root root 122, 240 Aug 15 10:38 240 crw-rw-rw- 1 root root 122, 241 Aug 15 10:38 241 crw-rw-rw- 1 root root 122, 242 Aug 15 10:38 242 crw-rw-rw- 1 root root 122, 243 Aug 15 10:38 243 crw-rw-rw- 1 root root 122, 244 Aug 15 10:38 244 crw-rw-rw- 1 root root 122, 245 Aug 15 10:38 245 crw-rw-rw- 1 root root 122, 246 Aug 15 10:38 246 crw-rw-rw- 1 root root 122, 247 Aug 15 10:38 247 crw-rw-rw- 1 root root 122, 248 Aug 15 10:38 248 crw-rw-rw- 1 root root 122, 249 Aug 15 10:38 249 crw-rw-rw- 1 root root 122, 25 Aug 15 10:38 25 crw-rw-rw- 1 root root 122, 250 Aug 15 10:38 250 crw-rw-rw- 1 root root 122, 251 Aug 15 10:38 251 crw-rw-rw- 1 root root 122, 252 Aug 15 10:38 252 crw-rw-rw- 1 root root 122, 253 Aug 15 10:38 253 crw-rw-rw- 1 root root 122, 254 Aug 15 10:38 254 crw-rw-rw- 1 root root 122, 255 Aug 15 10:38 255 crw-rw-rw- 1 root root 122, 26 Aug 15 10:38 26 crw-rw-rw- 1 root root 122, 27 Aug 15 10:38 27 crw-rw-rw- 1 root root 122, 28 Aug 15 10:38 28 crw-rw-rw- 1 root root 122, 29 Aug 15 10:38 29 crw-rw-rw- 1 root root 122, 3 Aug 15 10:38 3 crw-rw-rw- 1 root root 122, 30 Aug 15 10:38 30 crw-rw-rw- 1 root root 122, 31 Aug 15 10:38 31 crw-rw-rw- 1 root root 122, 32 Aug 15 10:38 32 crw-rw-rw- 1 root root 122, 33 Aug 15 10:38 33 crw-rw-rw- 1 root root 122, 34 Aug 15 10:38 34 crw-rw-rw- 1 root root 122, 35 Aug 15 10:38 35 crw-rw-rw- 1 root root 122, 36 Aug 15 10:38 36 crw-rw-rw- 1 root root 122, 37 Aug 15 10:38 37 crw-rw-rw- 1 root root 122, 38 Aug 15 10:38 38 crw-rw-rw- 1 root root 122, 39 Aug 15 10:38 39 crw-rw-rw- 1 root root 122, 4 Aug 15 10:38 4 crw-rw-rw- 1 root root 122, 40 Aug 15 10:38 40 crw-rw-rw- 1 root root 122, 41 Aug 15 10:38 41 crw-rw-rw- 1 root root 122, 42 Aug 15 10:38 42 crw-rw-rw- 1 root root 122, 43 Aug 15 10:38 43 crw-rw-rw- 1 root root 122, 44 Aug 15 10:38 44 crw-rw-rw- 1 root root 122, 45 Aug 15 10:38 45 crw-rw-rw- 1 root root 122, 46 Aug 15 10:38 46 crw-rw-rw- 1 root root 122, 47 Aug 15 10:38 47 crw-rw-rw- 1 root root 122, 48 Aug 15 10:38 48 crw-rw-rw- 1 root root 122, 49 Aug 15 10:38 49 crw-rw-rw- 1 root root 122, 5 Aug 15 10:38 5 crw-rw-rw- 1 root root 122, 50 Aug 15 10:38 50 crw-rw-rw- 1 root root 122, 51 Aug 15 10:38 51 crw-rw-rw- 1 root root 122, 52 Aug 15 10:38 52 crw-rw-rw- 1 root root 122, 53 Aug 15 10:38 53 crw-rw-rw- 1 root root 122, 54 Aug 15 10:38 54 crw-rw-rw- 1 root root 122, 55 Aug 15 10:38 55 crw-rw-rw- 1 root root 122, 56 Aug 15 10:38 56 crw-rw-rw- 1 root root 122, 57 Aug 15 10:38 57 crw-rw-rw- 1 root root 122, 58 Aug 15 10:38 58 crw-rw-rw- 1 root root 122, 59 Aug 15 10:38 59 crw-rw-rw- 1 root root 122, 6 Aug 15 10:38 6 crw-rw-rw- 1 root root 122, 60 Aug 15 10:38 60 crw-rw-rw- 1 root root 122, 61 Aug 15 10:38 61 crw-rw-rw- 1 root root 122, 62 Aug 15 10:38 62 crw-rw-rw- 1 root root 122, 63 Aug 15 10:38 63 crw-rw-rw- 1 root root 122, 64 Aug 15 10:38 64 crw-rw-rw- 1 root root 122, 65 Aug 15 10:38 65 crw-rw-rw- 1 root root 122, 66 Aug 15 10:38 66 crw-rw-rw- 1 root root 122, 67 Aug 15 10:38 67 crw-rw-rw- 1 root root 122, 68 Aug 15 10:38 68 crw-rw-rw- 1 root root 122, 69 Aug 15 10:38 69 crw-rw-rw- 1 root root 122, 7 Aug 15 10:38 7 crw-rw-rw- 1 root root 122, 70 Aug 15 10:38 70 crw-rw-rw- 1 root root 122, 71 Aug 15 10:38 71 crw-rw-rw- 1 root root 122, 72 Aug 15 10:38 72 crw-rw-rw- 1 root root 122, 73 Aug 15 10:38 73 crw-rw-rw- 1 root root 122, 74 Aug 15 10:38 74 crw-rw-rw- 1 root root 122, 75 Aug 15 10:38 75 crw-rw-rw- 1 root root 122, 76 Aug 15 10:38 76 crw-rw-rw- 1 root root 122, 77 Aug 15 10:38 77 crw-rw-rw- 1 root root 122, 78 Aug 15 10:38 78 crw-rw-rw- 1 root root 122, 79 Aug 15 10:38 79 crw-rw-rw- 1 root root 122, 8 Aug 15 10:38 8 crw-rw-rw- 1 root root 122, 80 Aug 15 10:38 80 crw-rw-rw- 1 root root 122, 81 Aug 15 10:38 81 crw-rw-rw- 1 root root 122, 82 Aug 15 10:38 82 crw-rw-rw- 1 root root 122, 83 Aug 15 10:38 83 crw-rw-rw- 1 root root 122, 84 Aug 15 10:38 84 crw-rw-rw- 1 root root 122, 85 Aug 15 10:38 85 crw-rw-rw- 1 root root 122, 86 Aug 15 10:38 86 crw-rw-rw- 1 root root 122, 87 Aug 15 10:38 87 crw-rw-rw- 1 root root 122, 88 Aug 15 10:38 88 crw-rw-rw- 1 root root 122, 89 Aug 15 10:38 89 crw-rw-rw- 1 root root 122, 9 Aug 15 10:38 9 crw-rw-rw- 1 root root 122, 90 Aug 15 10:38 90 crw-rw-rw- 1 root root 122, 91 Aug 15 10:38 91 crw-rw-rw- 1 root root 122, 92 Aug 15 10:38 92 crw-rw-rw- 1 root root 122, 93 Aug 15 10:38 93 crw-rw-rw- 1 root root 122, 94 Aug 15 10:38 94 crw-rw-rw- 1 root root 122, 95 Aug 15 10:38 95 crw-rw-rw- 1 root root 122, 96 Aug 15 10:38 96 crw-rw-rw- 1 root root 122, 97 Aug 15 10:38 97 crw-rw-rw- 1 root root 122, 98 Aug 15 10:38 98 crw-rw-rw- 1 root root 122, 99 Aug 15 10:38 99 [slave23] shinoda @ slave23[1]% ls -l /dev/etherpm/ total 0 crw-rw-rw- 1 root root 122, 0 Aug 15 11:43 0 crw-rw-rw- 1 root root 122, 1 Aug 15 11:43 1 crw-rw-rw- 1 root root 122, 10 Aug 15 11:43 10 crw-rw-rw- 1 root root 122, 100 Aug 15 11:43 100 crw-rw-rw- 1 root root 122, 101 Aug 15 11:43 101 crw-rw-rw- 1 root root 122, 102 Aug 15 11:43 102 crw-rw-rw- 1 root root 122, 103 Aug 15 11:43 103 crw-rw-rw- 1 root root 122, 104 Aug 15 11:43 104 crw-rw-rw- 1 root root 122, 105 Aug 15 11:43 105 crw-rw-rw- 1 root root 122, 106 Aug 15 11:43 106 crw-rw-rw- 1 root root 122, 107 Aug 15 11:43 107 crw-rw-rw- 1 root root 122, 108 Aug 15 11:43 108 crw-rw-rw- 1 root root 122, 109 Aug 15 11:43 109 crw-rw-rw- 1 root root 122, 11 Aug 15 11:43 11 crw-rw-rw- 1 root root 122, 110 Aug 15 11:43 110 crw-rw-rw- 1 root root 122, 111 Aug 15 11:43 111 crw-rw-rw- 1 root root 122, 112 Aug 15 11:43 112 crw-rw-rw- 1 root root 122, 113 Aug 15 11:43 113 crw-rw-rw- 1 root root 122, 114 Aug 15 11:43 114 crw-rw-rw- 1 root root 122, 115 Aug 15 11:43 115 crw-rw-rw- 1 root root 122, 116 Aug 15 11:43 116 crw-rw-rw- 1 root root 122, 117 Aug 15 11:43 117 crw-rw-rw- 1 root root 122, 118 Aug 15 11:43 118 crw-rw-rw- 1 root root 122, 119 Aug 15 11:43 119 crw-rw-rw- 1 root root 122, 12 Aug 15 11:43 12 crw-rw-rw- 1 root root 122, 120 Aug 15 11:43 120 crw-rw-rw- 1 root root 122, 121 Aug 15 11:43 121 crw-rw-rw- 1 root root 122, 122 Aug 15 11:43 122 crw-rw-rw- 1 root root 122, 123 Aug 15 11:43 123 crw-rw-rw- 1 root root 122, 124 Aug 15 11:43 124 crw-rw-rw- 1 root root 122, 125 Aug 15 11:43 125 crw-rw-rw- 1 root root 122, 126 Aug 15 11:43 126 crw-rw-rw- 1 root root 122, 127 Aug 15 11:43 127 crw-rw-rw- 1 root root 122, 128 Aug 15 11:43 128 crw-rw-rw- 1 root root 122, 129 Aug 15 11:43 129 crw-rw-rw- 1 root root 122, 13 Aug 15 11:43 13 crw-rw-rw- 1 root root 122, 130 Aug 15 11:43 130 crw-rw-rw- 1 root root 122, 131 Aug 15 11:43 131 crw-rw-rw- 1 root root 122, 132 Aug 15 11:43 132 crw-rw-rw- 1 root root 122, 133 Aug 15 11:43 133 crw-rw-rw- 1 root root 122, 134 Aug 15 11:43 134 crw-rw-rw- 1 root root 122, 135 Aug 15 11:43 135 crw-rw-rw- 1 root root 122, 136 Aug 15 11:43 136 crw-rw-rw- 1 root root 122, 137 Aug 15 11:43 137 crw-rw-rw- 1 root root 122, 138 Aug 15 11:43 138 crw-rw-rw- 1 root root 122, 139 Aug 15 11:43 139 crw-rw-rw- 1 root root 122, 14 Aug 15 11:43 14 crw-rw-rw- 1 root root 122, 140 Aug 15 11:43 140 crw-rw-rw- 1 root root 122, 141 Aug 15 11:43 141 crw-rw-rw- 1 root root 122, 142 Aug 15 11:43 142 crw-rw-rw- 1 root root 122, 143 Aug 15 11:43 143 crw-rw-rw- 1 root root 122, 144 Aug 15 11:43 144 crw-rw-rw- 1 root root 122, 145 Aug 15 11:43 145 crw-rw-rw- 1 root root 122, 146 Aug 15 11:43 146 crw-rw-rw- 1 root root 122, 147 Aug 15 11:43 147 crw-rw-rw- 1 root root 122, 148 Aug 15 11:43 148 crw-rw-rw- 1 root root 122, 149 Aug 15 11:43 149 crw-rw-rw- 1 root root 122, 15 Aug 15 11:43 15 crw-rw-rw- 1 root root 122, 150 Aug 15 11:43 150 crw-rw-rw- 1 root root 122, 151 Aug 15 11:43 151 crw-rw-rw- 1 root root 122, 152 Aug 15 11:43 152 crw-rw-rw- 1 root root 122, 153 Aug 15 11:43 153 crw-rw-rw- 1 root root 122, 154 Aug 15 11:43 154 crw-rw-rw- 1 root root 122, 155 Aug 15 11:43 155 crw-rw-rw- 1 root root 122, 156 Aug 15 11:43 156 crw-rw-rw- 1 root root 122, 157 Aug 15 11:43 157 crw-rw-rw- 1 root root 122, 158 Aug 15 11:43 158 crw-rw-rw- 1 root root 122, 159 Aug 15 11:43 159 crw-rw-rw- 1 root root 122, 16 Aug 15 11:43 16 crw-rw-rw- 1 root root 122, 160 Aug 15 11:43 160 crw-rw-rw- 1 root root 122, 161 Aug 15 11:43 161 crw-rw-rw- 1 root root 122, 162 Aug 15 11:43 162 crw-rw-rw- 1 root root 122, 163 Aug 15 11:43 163 crw-rw-rw- 1 root root 122, 164 Aug 15 11:43 164 crw-rw-rw- 1 root root 122, 165 Aug 15 11:43 165 crw-rw-rw- 1 root root 122, 166 Aug 15 11:43 166 crw-rw-rw- 1 root root 122, 167 Aug 15 11:43 167 crw-rw-rw- 1 root root 122, 168 Aug 15 11:43 168 crw-rw-rw- 1 root root 122, 169 Aug 15 11:43 169 crw-rw-rw- 1 root root 122, 17 Aug 15 11:43 17 crw-rw-rw- 1 root root 122, 170 Aug 15 11:43 170 crw-rw-rw- 1 root root 122, 171 Aug 15 11:43 171 crw-rw-rw- 1 root root 122, 172 Aug 15 11:43 172 crw-rw-rw- 1 root root 122, 173 Aug 15 11:43 173 crw-rw-rw- 1 root root 122, 174 Aug 15 11:43 174 crw-rw-rw- 1 root root 122, 175 Aug 15 11:43 175 crw-rw-rw- 1 root root 122, 176 Aug 15 11:43 176 crw-rw-rw- 1 root root 122, 177 Aug 15 11:43 177 crw-rw-rw- 1 root root 122, 178 Aug 15 11:43 178 crw-rw-rw- 1 root root 122, 179 Aug 15 11:43 179 crw-rw-rw- 1 root root 122, 18 Aug 15 11:43 18 crw-rw-rw- 1 root root 122, 180 Aug 15 11:43 180 crw-rw-rw- 1 root root 122, 181 Aug 15 11:43 181 crw-rw-rw- 1 root root 122, 182 Aug 15 11:43 182 crw-rw-rw- 1 root root 122, 183 Aug 15 11:43 183 crw-rw-rw- 1 root root 122, 184 Aug 15 11:43 184 crw-rw-rw- 1 root root 122, 185 Aug 15 11:43 185 crw-rw-rw- 1 root root 122, 186 Aug 15 11:43 186 crw-rw-rw- 1 root root 122, 187 Aug 15 11:43 187 crw-rw-rw- 1 root root 122, 188 Aug 15 11:43 188 crw-rw-rw- 1 root root 122, 189 Aug 15 11:43 189 crw-rw-rw- 1 root root 122, 19 Aug 15 11:43 19 crw-rw-rw- 1 root root 122, 190 Aug 15 11:43 190 crw-rw-rw- 1 root root 122, 191 Aug 15 11:43 191 crw-rw-rw- 1 root root 122, 192 Aug 15 11:43 192 crw-rw-rw- 1 root root 122, 193 Aug 15 11:43 193 crw-rw-rw- 1 root root 122, 194 Aug 15 11:43 194 crw-rw-rw- 1 root root 122, 195 Aug 15 11:43 195 crw-rw-rw- 1 root root 122, 196 Aug 15 11:43 196 crw-rw-rw- 1 root root 122, 197 Aug 15 11:43 197 crw-rw-rw- 1 root root 122, 198 Aug 15 11:43 198 crw-rw-rw- 1 root root 122, 199 Aug 15 11:43 199 crw-rw-rw- 1 root root 122, 2 Aug 15 11:43 2 crw-rw-rw- 1 root root 122, 20 Aug 15 11:43 20 crw-rw-rw- 1 root root 122, 200 Aug 15 11:43 200 crw-rw-rw- 1 root root 122, 201 Aug 15 11:43 201 crw-rw-rw- 1 root root 122, 202 Aug 15 11:43 202 crw-rw-rw- 1 root root 122, 203 Aug 15 11:43 203 crw-rw-rw- 1 root root 122, 204 Aug 15 11:43 204 crw-rw-rw- 1 root root 122, 205 Aug 15 11:43 205 crw-rw-rw- 1 root root 122, 206 Aug 15 11:43 206 crw-rw-rw- 1 root root 122, 207 Aug 15 11:43 207 crw-rw-rw- 1 root root 122, 208 Aug 15 11:43 208 crw-rw-rw- 1 root root 122, 209 Aug 15 11:43 209 crw-rw-rw- 1 root root 122, 21 Aug 15 11:43 21 crw-rw-rw- 1 root root 122, 210 Aug 15 11:43 210 crw-rw-rw- 1 root root 122, 211 Aug 15 11:43 211 crw-rw-rw- 1 root root 122, 212 Aug 15 11:43 212 crw-rw-rw- 1 root root 122, 213 Aug 15 11:43 213 crw-rw-rw- 1 root root 122, 214 Aug 15 11:43 214 crw-rw-rw- 1 root root 122, 215 Aug 15 11:43 215 crw-rw-rw- 1 root root 122, 216 Aug 15 11:43 216 crw-rw-rw- 1 root root 122, 217 Aug 15 11:43 217 crw-rw-rw- 1 root root 122, 218 Aug 15 11:43 218 crw-rw-rw- 1 root root 122, 219 Aug 15 11:43 219 crw-rw-rw- 1 root root 122, 22 Aug 15 11:43 22 crw-rw-rw- 1 root root 122, 220 Aug 15 11:43 220 crw-rw-rw- 1 root root 122, 221 Aug 15 11:43 221 crw-rw-rw- 1 root root 122, 222 Aug 15 11:43 222 crw-rw-rw- 1 root root 122, 223 Aug 15 11:43 223 crw-rw-rw- 1 root root 122, 224 Aug 15 11:43 224 crw-rw-rw- 1 root root 122, 225 Aug 15 11:43 225 crw-rw-rw- 1 root root 122, 226 Aug 15 11:43 226 crw-rw-rw- 1 root root 122, 227 Aug 15 11:43 227 crw-rw-rw- 1 root root 122, 228 Aug 15 11:43 228 crw-rw-rw- 1 root root 122, 229 Aug 15 11:43 229 crw-rw-rw- 1 root root 122, 23 Aug 15 11:43 23 crw-rw-rw- 1 root root 122, 230 Aug 15 11:43 230 crw-rw-rw- 1 root root 122, 231 Aug 15 11:43 231 crw-rw-rw- 1 root root 122, 232 Aug 15 11:43 232 crw-rw-rw- 1 root root 122, 233 Aug 15 11:43 233 crw-rw-rw- 1 root root 122, 234 Aug 15 11:43 234 crw-rw-rw- 1 root root 122, 235 Aug 15 11:43 235 crw-rw-rw- 1 root root 122, 236 Aug 15 11:43 236 crw-rw-rw- 1 root root 122, 237 Aug 15 11:43 237 crw-rw-rw- 1 root root 122, 238 Aug 15 11:43 238 crw-rw-rw- 1 root root 122, 239 Aug 15 11:43 239 crw-rw-rw- 1 root root 122, 24 Aug 15 11:43 24 crw-rw-rw- 1 root root 122, 240 Aug 15 11:43 240 crw-rw-rw- 1 root root 122, 241 Aug 15 11:43 241 crw-rw-rw- 1 root root 122, 242 Aug 15 11:43 242 crw-rw-rw- 1 root root 122, 243 Aug 15 11:43 243 crw-rw-rw- 1 root root 122, 244 Aug 15 11:43 244 crw-rw-rw- 1 root root 122, 245 Aug 15 11:43 245 crw-rw-rw- 1 root root 122, 246 Aug 15 11:43 246 crw-rw-rw- 1 root root 122, 247 Aug 15 11:43 247 crw-rw-rw- 1 root root 122, 248 Aug 15 11:43 248 crw-rw-rw- 1 root root 122, 249 Aug 15 11:43 249 crw-rw-rw- 1 root root 122, 25 Aug 15 11:43 25 crw-rw-rw- 1 root root 122, 250 Aug 15 11:43 250 crw-rw-rw- 1 root root 122, 251 Aug 15 11:43 251 crw-rw-rw- 1 root root 122, 252 Aug 15 11:43 252 crw-rw-rw- 1 root root 122, 253 Aug 15 11:43 253 crw-rw-rw- 1 root root 122, 254 Aug 15 11:43 254 crw-rw-rw- 1 root root 122, 255 Aug 15 11:43 255 crw-rw-rw- 1 root root 122, 26 Aug 15 11:43 26 crw-rw-rw- 1 root root 122, 27 Aug 15 11:43 27 crw-rw-rw- 1 root root 122, 28 Aug 15 11:43 28 crw-rw-rw- 1 root root 122, 29 Aug 15 11:43 29 crw-rw-rw- 1 root root 122, 3 Aug 15 11:43 3 crw-rw-rw- 1 root root 122, 30 Aug 15 11:43 30 crw-rw-rw- 1 root root 122, 31 Aug 15 11:43 31 crw-rw-rw- 1 root root 122, 32 Aug 15 11:43 32 crw-rw-rw- 1 root root 122, 33 Aug 15 11:43 33 crw-rw-rw- 1 root root 122, 34 Aug 15 11:43 34 crw-rw-rw- 1 root root 122, 35 Aug 15 11:43 35 crw-rw-rw- 1 root root 122, 36 Aug 15 11:43 36 crw-rw-rw- 1 root root 122, 37 Aug 15 11:43 37 crw-rw-rw- 1 root root 122, 38 Aug 15 11:43 38 crw-rw-rw- 1 root root 122, 39 Aug 15 11:43 39 crw-rw-rw- 1 root root 122, 4 Aug 15 11:43 4 crw-rw-rw- 1 root root 122, 40 Aug 15 11:43 40 crw-rw-rw- 1 root root 122, 41 Aug 15 11:43 41 crw-rw-rw- 1 root root 122, 42 Aug 15 11:43 42 crw-rw-rw- 1 root root 122, 43 Aug 15 11:43 43 crw-rw-rw- 1 root root 122, 44 Aug 15 11:43 44 crw-rw-rw- 1 root root 122, 45 Aug 15 11:43 45 crw-rw-rw- 1 root root 122, 46 Aug 15 11:43 46 crw-rw-rw- 1 root root 122, 47 Aug 15 11:43 47 crw-rw-rw- 1 root root 122, 48 Aug 15 11:43 48 crw-rw-rw- 1 root root 122, 49 Aug 15 11:43 49 crw-rw-rw- 1 root root 122, 5 Aug 15 11:43 5 crw-rw-rw- 1 root root 122, 50 Aug 15 11:43 50 crw-rw-rw- 1 root root 122, 51 Aug 15 11:43 51 crw-rw-rw- 1 root root 122, 52 Aug 15 11:43 52 crw-rw-rw- 1 root root 122, 53 Aug 15 11:43 53 crw-rw-rw- 1 root root 122, 54 Aug 15 11:43 54 crw-rw-rw- 1 root root 122, 55 Aug 15 11:43 55 crw-rw-rw- 1 root root 122, 56 Aug 15 11:43 56 crw-rw-rw- 1 root root 122, 57 Aug 15 11:43 57 crw-rw-rw- 1 root root 122, 58 Aug 15 11:43 58 crw-rw-rw- 1 root root 122, 59 Aug 15 11:43 59 crw-rw-rw- 1 root root 122, 6 Aug 15 11:43 6 crw-rw-rw- 1 root root 122, 60 Aug 15 11:43 60 crw-rw-rw- 1 root root 122, 61 Aug 15 11:43 61 crw-rw-rw- 1 root root 122, 62 Aug 15 11:43 62 crw-rw-rw- 1 root root 122, 63 Aug 15 11:43 63 crw-rw-rw- 1 root root 122, 64 Aug 15 11:43 64 crw-rw-rw- 1 root root 122, 65 Aug 15 11:43 65 crw-rw-rw- 1 root root 122, 66 Aug 15 11:43 66 crw-rw-rw- 1 root root 122, 67 Aug 15 11:43 67 crw-rw-rw- 1 root root 122, 68 Aug 15 11:43 68 crw-rw-rw- 1 root root 122, 69 Aug 15 11:43 69 crw-rw-rw- 1 root root 122, 7 Aug 15 11:43 7 crw-rw-rw- 1 root root 122, 70 Aug 15 11:43 70 crw-rw-rw- 1 root root 122, 71 Aug 15 11:43 71 crw-rw-rw- 1 root root 122, 72 Aug 15 11:43 72 crw-rw-rw- 1 root root 122, 73 Aug 15 11:43 73 crw-rw-rw- 1 root root 122, 74 Aug 15 11:43 74 crw-rw-rw- 1 root root 122, 75 Aug 15 11:43 75 crw-rw-rw- 1 root root 122, 76 Aug 15 11:43 76 crw-rw-rw- 1 root root 122, 77 Aug 15 11:43 77 crw-rw-rw- 1 root root 122, 78 Aug 15 11:43 78 crw-rw-rw- 1 root root 122, 79 Aug 15 11:43 79 crw-rw-rw- 1 root root 122, 8 Aug 15 11:43 8 crw-rw-rw- 1 root root 122, 80 Aug 15 11:43 80 crw-rw-rw- 1 root root 122, 81 Aug 15 11:43 81 crw-rw-rw- 1 root root 122, 82 Aug 15 11:43 82 crw-rw-rw- 1 root root 122, 83 Aug 15 11:43 83 crw-rw-rw- 1 root root 122, 84 Aug 15 11:43 84 crw-rw-rw- 1 root root 122, 85 Aug 15 11:43 85 crw-rw-rw- 1 root root 122, 86 Aug 15 11:43 86 crw-rw-rw- 1 root root 122, 87 Aug 15 11:43 87 crw-rw-rw- 1 root root 122, 88 Aug 15 11:43 88 crw-rw-rw- 1 root root 122, 89 Aug 15 11:43 89 crw-rw-rw- 1 root root 122, 9 Aug 15 11:43 9 crw-rw-rw- 1 root root 122, 90 Aug 15 11:43 90 crw-rw-rw- 1 root root 122, 91 Aug 15 11:43 91 crw-rw-rw- 1 root root 122, 92 Aug 15 11:43 92 crw-rw-rw- 1 root root 122, 93 Aug 15 11:43 93 crw-rw-rw- 1 root root 122, 94 Aug 15 11:43 94 crw-rw-rw- 1 root root 122, 95 Aug 15 11:43 95 crw-rw-rw- 1 root root 122, 96 Aug 15 11:43 96 crw-rw-rw- 1 root root 122, 97 Aug 15 11:43 97 crw-rw-rw- 1 root root 122, 98 Aug 15 11:43 98 crw-rw-rw- 1 root root 122, 99 Aug 15 11:43 99 -------------- next part -------------- unit 0 maxnsend 64 backoff 16000 0 00:02:A5:42:00:21 slave01.pccluster.org 1 00:02:A5:41:61:6C slave02.pccluster.org 2 00:02:A5:41:6D:76 slave03.pccluster.org 3 00:02:A5:41:77:ED slave04.pccluster.org 4 00:02:A5:41:6D:73 slave05.pccluster.org 5 00:02:A5:41:9E:91 slave06.pccluster.org 6 00:02:A5:41:7A:00 slave07.pccluster.org 7 00:02:A5:41:7A:27 slave08.pccluster.org 8 00:02:A5:41:79:E0 slave09.pccluster.org 9 00:02:A5:41:78:33 slave10.pccluster.org 10 00:02:A5:41:6C:64 slave11.pccluster.org 11 00:02:A5:41:6C:75 slave12.pccluster.org 12 00:02:A5:41:6E:5C slave13.pccluster.org 13 00:02:A5:41:4F:2B slave14.pccluster.org 14 00:02:A5:41:7F:65 slave15.pccluster.org 15 00:02:A5:41:7A:2B slave16.pccluster.org 16 00:02:A5:41:61:71 slave17.pccluster.org 17 00:02:A5:41:6C:EC slave18.pccluster.org 18 00:02:A5:41:6C:C3 slave19.pccluster.org 19 00:02:A5:41:79:12 slave20.pccluster.org 20 00:02:A5:41:78:27 slave21.pccluster.org 21 00:02:A5:41:6E:0C slave22.pccluster.org 22 00:02:A5:41:79:E4 slave23.pccluster.org 23 00:02:A5:41:78:25 slave24.pccluster.org 24 00:02:A5:41:7A:80 slave25.pccluster.org 25 00:02:A5:41:58:9F slave26.pccluster.org 26 00:02:A5:41:6C:6F slave27.pccluster.org 27 00:02:A5:41:9A:CB slave28.pccluster.org 28 00:02:A5:41:77:FF slave29.pccluster.org 29 00:02:A5:41:7F:BA slave30.pccluster.org 30 00:02:A5:41:68:19 slave31.pccluster.org 31 00:02:A5:41:61:BC slave32.pccluster.org -------------- next part -------------- /* * SCore 5.0 scorehosts.db * generated by PCCC EIT 5.0 */ /* PM/Myrinet */ myrinet type=myrinet \ -firmware:file=/opt/score/share/lanai/lanai.mcp \ -config:file=/opt/score/etc/pm-myrinet.conf /* PM/Myrinet */ myrinet2k type=myrinet2k \ -firmware:file=/opt/score/share/lanai/lanaiM2k.mcp \ -config:file=/opt/score/etc/pm-myrinet.conf /* PM/Ethernet */ ethernet type=ethernet \ -config:file=/opt/score/etc/pm-ethernet-1.conf \ -trunk0:file=/opt/score/etc/pm-ethernet-0.conf eth0 type=ethernet \ -config:file=/opt/score/etc/pm-ethernet-0.conf eth1 type=ethernet \ -config:file=/opt/score/etc/pm-ethernet-1.conf ethold type=ethernet \ -config:file=/opt/score/etc/pm-ethernet.conf gigaethernet type=ethernet \ -config:file=/opt/score/etc/pm-ethernet.conf /* PM/Agent */ udp type=agent -agent=pmaudp \ -config:file=/opt/score/etc/pm-udp.conf /* RHiNET */ rhinet type=rhinet \ -firmware:file=/opt/score/share/rhinet/phu_top_0207a.hex \ -config:file=/opt/score/etc/pm-rhinet.conf ## /* PM/SHMEM */ shmem0 type=shmem -node=0 shmem1 type=shmem -node=1 ## #include "/opt/score/etc/ndconf/0" #include "/opt/score/etc/ndconf/1" #include "/opt/score/etc/ndconf/2" #include "/opt/score/etc/ndconf/3" #include "/opt/score/etc/ndconf/4" #include "/opt/score/etc/ndconf/5" #include "/opt/score/etc/ndconf/6" #include "/opt/score/etc/ndconf/7" #include "/opt/score/etc/ndconf/8" #include "/opt/score/etc/ndconf/9" #include "/opt/score/etc/ndconf/10" #include "/opt/score/etc/ndconf/11" #include "/opt/score/etc/ndconf/12" #include "/opt/score/etc/ndconf/13" #include "/opt/score/etc/ndconf/14" #include "/opt/score/etc/ndconf/15" #include "/opt/score/etc/ndconf/16" #include "/opt/score/etc/ndconf/17" #include "/opt/score/etc/ndconf/18" #include "/opt/score/etc/ndconf/19" #include "/opt/score/etc/ndconf/20" #include "/opt/score/etc/ndconf/21" #include "/opt/score/etc/ndconf/22" #include "/opt/score/etc/ndconf/23" #include "/opt/score/etc/ndconf/24" #include "/opt/score/etc/ndconf/25" #include "/opt/score/etc/ndconf/26" #include "/opt/score/etc/ndconf/27" #include "/opt/score/etc/ndconf/28" #include "/opt/score/etc/ndconf/29" #include "/opt/score/etc/ndconf/30" #include "/opt/score/etc/ndconf/31" ## #define MSGBSERV msgbserv=(master.pccluster.org:8764) slave01.pccluster.org HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave02.pccluster.org HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave03.pccluster.org HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave04.pccluster.org HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave05.pccluster.org HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave06.pccluster.org HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave07.pccluster.org HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave08.pccluster.org HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave09.pccluster.org HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave10.pccluster.org HOST_9 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave11.pccluster.org HOST_10 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave12.pccluster.org HOST_11 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave13.pccluster.org HOST_12 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave14.pccluster.org HOST_13 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave15.pccluster.org HOST_14 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave16.pccluster.org HOST_15 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV slave17.pccluster.org HOST_16 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave18.pccluster.org HOST_17 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave19.pccluster.org HOST_18 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave20.pccluster.org HOST_19 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave21.pccluster.org HOST_20 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave22.pccluster.org HOST_21 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave23.pccluster.org HOST_22 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave24.pccluster.org HOST_23 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq2 smp=2 MSGBSERV slave25.pccluster.org HOST_24 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave26.pccluster.org HOST_25 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave27.pccluster.org HOST_26 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave28.pccluster.org HOST_27 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave29.pccluster.org HOST_28 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave30.pccluster.org HOST_29 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave31.pccluster.org HOST_30 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV slave32.pccluster.org HOST_31 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch1,pccq3 smp=2 MSGBSERV From kameyama @ pccluster.org Thu Dec 5 12:02:21 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 05 Dec 2002 12:02:21 +0900 Subject: [SCore-users-jp] PM ethernet/ethernet device already opened In-Reply-To: Your message of "Thu, 05 Dec 2002 11:47:59 JST." <3DEEBE5F.FA3CFA92@sse.co.jp> Message-ID: <20021205030221.A7AC620042@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <3DEEBE5F.FA3CFA92 @ sse.co.jp> "Sugano, Mitsukuni" wrotes: > rootでは実行可能なプログラムを一般ユーザのアカウントで > scrunを行うと以下のように実行できません。 > > foo% scrun -nodes=31x2 ./Myprog > SCore-D 5.0.0 connected. > <19> SCore-D:ERROR Unable to create SCore-D directory > (/var/scored/singleuser/1070). > となります。 compute host 18 (slave19) の /var/scored/singleuser の パーミッションを確認してください. ここは drwxrwxrwt 3 root root 4096 11月 26 19:33 /var/scored/singleuser のようになっているはずです. from Kameyama Toyohisa From s-sumi @ flab.fujitsu.co.jp Thu Dec 5 12:02:11 2002 From: s-sumi @ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Thu, 05 Dec 2002 12:02:11 +0900 (JST) Subject: [SCore-users-jp] PM ethernet/ethernet device already opened In-Reply-To: <3DEEBE5F.FA3CFA92@sse.co.jp> References: <3DE5E688.A3D723D@sse.co.jp> <20021128.185658.108784003.s-sumi@flab.fujitsu.co.jp> <3DEEBE5F.FA3CFA92@sse.co.jp> Message-ID: <20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp> 富士通研の住元です。 ノードの設定のエントリから、eth1と不要なエントリ(ethold)を外してください。 これだと問題があります。 でも、slave23を除くと動くと言うのは、変です。エラーではunit 番号 1の ネットワークが問題のようです。 /opt/score/etc/pm-ethernet-1.conf /opt/score/etc/pm-ethernet-0.conf /opt/score/etc/pm-ethernet.conf と、/etc/init.d/pm_ethernet での unit番号の指定はどうなっていますでしょうか? =================================================================== /* PM/Ethernet */ ethernet type=ethernet \ -config:file=/opt/score/etc/pm-ethernet-1.conf \ -trunk0:file=/opt/score/etc/pm-ethernet-0.conf eth0 type=ethernet \ -config:file=/opt/score/etc/pm-ethernet-0.conf eth1 type=ethernet \ -config:file=/opt/score/etc/pm-ethernet-1.conf ethold type=ethernet \ -config:file=/opt/score/etc/pm-ethernet.conf slave01.pccluster.org HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave02.pccluster.org HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave03.pccluster.org HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave04.pccluster.org HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave05.pccluster.org HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave06.pccluster.org HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave07.pccluster.org HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave08.pccluster.org HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV slave09.pccluster.org HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV =================================================================== From: "Sugano, Mitsukuni" Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened Date: Thu, 05 Dec 2002 11:47:59 +0900 Message-ID: <3DEEBE5F.FA3CFA92 @ sse.co.jp> suga> 住元様: suga> suga> 住商エレクトロニクスの菅野です。 suga> いつもお世話になっております。 suga> suga> 先日来、質問させていただいております、PM-ETHERの不具合に suga> 関して、ご教示いただいたrcstest等のテストを行いました。 suga> 以前に送らさせていただいた内容も整理し、合わせて送付させ suga> ていただきます。 suga> 添付ファイルをご送付することをお許しください。 suga> suga> これらの結果から、何かおわかりになることがございましたら、 suga> ご教示いただけると幸いです。 suga> suga> −−− suga> slave01-slave32のシステムにおいて、 suga> suga> slave23のHD障害のため交換。 suga> 正常動作しているslave24の内容をslave23にddで丸ごとコピー。 suga> hostnameおよびipアドレスをslave23のものに変更。 suga> suga> 1.初期調査 suga> suga> 1)slave23と他の計算ノード全ての間で、pm-etherの1対1テスト Status:OK suga> suga> [root @ master sbin]# ./rpmtest slave23 ethernet -reply suga> In another window; suga> [root @ master sbin]# ./rpmtest slave01 ethernet -dest 22 -ping suga> 8 9.44502e-05 suga> ... suga> suga> [root @ master sbin]# ./rpmtest slave32 ethernet -dest 22 -ping suga> 8 9.44093e-05 suga> suga> (ちなみに、HOST0=slave01,...,HOST22=slave23,...です。) suga> suga> 2)pm-etherの総合テスト Status:NG suga> suga> [root @ master sbin]# cd /opt/score/deploy suga> [root @ master deploy]# scout -g pcc suga> SCOUT: Spawning done. suga> SCOUT: session started. suga> [root @ master deploy]# ./scstest -network ethernet suga> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) suga> PM ethernet/ethernet device already opened. suga> suga> ・slave23の除くと総合テストOK suga> suga> slave23をscorehosts.defectsに追加 suga> suga> [root @ master etc]# more scorehosts.defects suga> slave23.pccluster.org suga> suga> [root @ master init.d]# ./msgbserv stop suga> [root @ master init.d]# ./scoreboard stop suga> [root @ master init.d]# ./scoreboard start suga> [root @ master init.d]# ./msgbserv start suga> suga> [root @ master deploy]# cd /opt/score/deploy suga> [root @ master deploy]# scout -g pcc suga> SCOUT: Spawning done. suga> SCOUT: session started. suga> [root @ master deploy]# ./scstest -network ethernet suga> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) suga> 50 K packets. suga> 100 K packets. suga> 150 K packets. suga> 200 K packets. suga> 250 K packets. suga> 300 K packets. suga> 350 K packets. suga> 400 K packets. suga> suga> 2.その後の調査 suga> suga> 1)ddコピー後の変更事項確認 suga> pcc殿にddで丸ごとコピーした場合、IPとhostnameを変更する suga> だけで良く、SCore自体に変更すべき事項は無いことを確認。 suga> suga> 2)debugモードでのpm-etherテスト suga> pm-ether総合テストを、DBGモードで行った結果 suga> suga> $ cd /opt/score/deploy suga> $ scout -g pcc suga> SCOUT: Spawn done. suga> SCOUT: session started suga> $ export PM_DEBUG=1 suga> $ ./scstest -network ethernet suga> suga> SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) suga> pmEthernetMapEthernet(1, 0xbfffef78): open("/dev/etherpm/32", 2, 0): 16 suga> pmEthernetOpenDevice("/var/scored/scoreboard/master.0000B5002rfL", suga> 0xbffff234): suga> pmEthernetMapEthernet(1, 0xbfffef78): 16 suga> PM ethernet/ethernet device already opened. suga> suga> 3)scorehosts.db、pm-ethernet.conf suga> master:/opt/score/etc/scorehosts.db suga> master:/opt/score/etc/pm-ethernet.conf suga> 添付ファイル参照 suga> suga> 4)etherpm suga> slave02% ls -l /dev/etherpm suga> slave23% ls -l /dev/etherpm suga> 結果は、etherpm参照 suga> suga> 5)rcstest suga> [root @ master root]# rcstest slave01 ethernet -v suga> starting master 0 : pe=32 suga> starting slave: 1 4 3 5 13 7 6 11 12 9 16 8 2 18 14 10 22 19 15 20 30 suga> 23 21 suga> 27 suga> 24 29 31 17 25 26 28. suga> testing*..*.**.*.*.**..*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.*.**.*.*.*.*.*. suga> *.*. suga> *.*.*.*.*.**..**.*..*.*.*.*.*.*.*.*.*.*.*.*..*.*.*.**..*.**.*.*.*.*.*.*.*.*. suga> **.* suga> 上記が続くため、ctrl/Cで終了 suga> suga> suga> −−−−−−−−−−−−−−−−−−−−−−−−−−−−−− suga> suga> また、もう一点質問させていただきたいのですが、 suga> suga> rootでは実行可能なプログラムを一般ユーザのアカウントで suga> scrunを行うと以下のように実行できません。 suga> suga> foo% scrun -nodes=31x2 ./Myprog suga> SCore-D 5.0.0 connected. suga> <19> SCore-D:ERROR Unable to create SCore-D directory suga> (/var/scored/singleuser/1070). suga> となります。 suga> suga> また、NISは問題なく動いており、 suga> rsh slave01 ls -l /home/foo/Myprog suga> ... suga> rsh slave32 ls -l /home/foo/Myprog suga> も、問題なく動作しています。 suga> suga> 何が原因かご教示いただければ幸いです。 suga> suga> suga> 以上、よろしくお願いいたします。 suga> suga> Shinji Sumimoto wrote: suga> > suga> > From: "Sugano, Mitsukuni" suga> > Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened suga> > Date: Thu, 28 Nov 2002 18:48:56 +0900 suga> > Message-ID: <3DE5E688.A3D723D @ sse.co.jp> suga> > suga> > suga> 住元様: suga> > suga> suga> > suga> 住商エレクトロニクスの菅野です。 suga> > suga> ご回答ありがとうございます。 suga> > suga> 申し訳ございませんが、少し確認させてください。 suga> > suga> suga> > suga> > % rcstest node01 ethernet -v suga> > suga> > suga> > suga> > で実行してください。 suga> > suga> suga> > suga> ここで、node01のところは任意の計算ノードを指定すれば、よろしい suga> > suga> でしょうか?それとも不具合のあるノードを指定すべきでしょうか、 suga> > suga> もしくは管理ノードを指定するのでしょうか? suga> > suga> > 任意の計算ノードです。 suga> > suga> > suga> > suga> > あと、/dev/etherpm/下にファイルはありますね? suga> > suga> > suga> suga> > suga> > suga> 問題のある計算ノードのみ確認すればよろしいでしょうか? suga> > suga> > suga> できれば、どのようなファイルがあるのが正解かもご教示 suga> > suga> > suga> いただければ幸いです。 suga> > suga> > suga> > suga> > 特にopenに失敗している /dev/etherpm/32 があるかどうか、permissionは suga> > suga> > 他のノードと同じかどうかを確認してください。 suga> > suga> suga> > suga> 32の意味は、全計算ノード数でしょうか?また、ファイルの中身は何でしょう suga> > suga> か? suga> > suga> > 32は単なるファイル名で、デバイスファイルです。 suga> > suga> > suga> おそらく、正常なノードslave24からHD交換ノードslave23に丸ごとddしている suga> > suga> ので、同じだとは思うのですが、確認してみます。 suga> > suga> suga> > suga> 以上、よろしくお願いいたします。 suga> > suga> _______________________________________________ suga> > suga> SCore-users-jp mailing list suga> > suga> SCore-users-jp @ pccluster.org suga> > suga> http://www.pccluster.org/mailman/listinfo/score-users-jp suga> > suga> suga> > ------ suga> > Shinji Sumimoto, Fujitsu Labs suga> > _______________________________________________ suga> > SCore-users-jp mailing list suga> > SCore-users-jp @ pccluster.org suga> > http://www.pccluster.org/mailman/listinfo/score-users-jp ------ Shinji Sumimoto, Fujitsu Labs From suga @ sse.co.jp Thu Dec 5 15:27:05 2002 From: suga @ sse.co.jp (Sugano, Mitsukuni) Date: Thu, 05 Dec 2002 15:27:05 +0900 Subject: [SCore-users-jp] PM ethernet/ethernet device already opened References: <3DE5E688.A3D723D@sse.co.jp> <20021128.185658.108784003.s-sumi@flab.fujitsu.co.jp> <3DEEBE5F.FA3CFA92@sse.co.jp> <20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp> Message-ID: <3DEEF1B9.CA822316@sse.co.jp> 住元様: 菅野です。 ご回答ありがとうございます。 master:/opt/score/etc/pm-ethernet-1.conf master:/opt/score/etc/pm-ethernet-0.conf slave01:/etc/init.d/pm_ethernet slave23:/etc/init.d/pm_ethernet slave24:/etc/init.d/pm_ethernet を添付します。 もし、これらから推測されることがございましたら、 教えていただけますでしょうか。 以上、よろしくお願いいたします。 Shinji Sumimoto wrote: > > 富士通研の住元です。 > > ノードの設定のエントリから、eth1と不要なエントリ(ethold)を外してください。 > これだと問題があります。 > > でも、slave23を除くと動くと言うのは、変です。エラーではunit 番号 1の > ネットワークが問題のようです。 > > /opt/score/etc/pm-ethernet-1.conf > /opt/score/etc/pm-ethernet-0.conf > /opt/score/etc/pm-ethernet.conf > > と、/etc/init.d/pm_ethernet > > での unit番号の指定はどうなっていますでしょうか? > > =================================================================== > /* PM/Ethernet */ > ethernet type=ethernet \ > -config:file=/opt/score/etc/pm-ethernet-1.conf \ > -trunk0:file=/opt/score/etc/pm-ethernet-0.conf > > eth0 type=ethernet \ > -config:file=/opt/score/etc/pm-ethernet-0.conf > > eth1 type=ethernet \ > -config:file=/opt/score/etc/pm-ethernet-1.conf > > ethold type=ethernet \ > -config:file=/opt/score/etc/pm-ethernet.conf > > slave01.pccluster.org HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave02.pccluster.org HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave03.pccluster.org HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave04.pccluster.org HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave05.pccluster.org HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave06.pccluster.org HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave07.pccluster.org HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave08.pccluster.org HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV > slave09.pccluster.org HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV > =================================================================== -------------- next part -------------- #!/bin/sh # # pm_ethernet: Starts the PM Ethernet driver # # Version: @(#) /etc/rc.d/init.d/pm_ethernet 1.00 # # Author: Shinji Sumimoto (Real World Computing Partnership) # chkconfig: 345 90 18 # description: PM Ethernet driver # probe: true IF=eth1 UNIT=0 INTERRUPT_REAPING=on # Source function library. . /etc/rc.d/init.d/functions # check module module=`modprobe -l pm_ethernet_dev.o | grep -v Note:` # See how we were called. case "$1" in start) echo n "Starting PM/Ethernet: " if [ x$module != x ]; then modprobe pm_ethernet_dev fi /sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0 /sbin/etherpmctl eth0 -pm on -ir $INTERRUPT_REAPING -unit 1 # /sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1 # /sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2 # /sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3 touch /var/lock/subsys/pm_ethernet ;; stop) echo -n "Stopping PM/Ethernet: " /sbin/etherpmctl eth0 -pm off /sbin/etherpmctl eth1 -pm off # /sbin/etherpmctl eth1 -pm off # /sbin/etherpmctl eth2 -pm off # /sbin/etherpmctl eth3 -pm off if [ x$module != x ]; then rmmod pm_ethernet_dev fi echo rm -f /var/lock/subsys/pm_ethernet ;; status) if [ x$module != x ]; then /sbin/lsmod fi ;; restart) $0 stop $0 start ;; *) echo "Usage: $0 {start|stop|status|restart}" exit 1 esac exit 0 -------------- next part -------------- #!/bin/sh # # pm_ethernet: Starts the PM Ethernet driver # # Version: @(#) /etc/rc.d/init.d/pm_ethernet 1.00 # # Author: Shinji Sumimoto (Real World Computing Partnership) # chkconfig: 345 90 18 # description: PM Ethernet driver # probe: true IF=eth1 UNIT=0 INTERRUPT_REAPING=on # Source function library. . /etc/rc.d/init.d/functions # check module module=`modprobe -l pm_ethernet_dev.o | grep -v Note:` # See how we were called. case "$1" in start) echo n "Starting PM/Ethernet: " if [ x$module != x ]; then modprobe pm_ethernet_dev fi /sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0 /sbin/etherpmctl eth0 -pm on -ir $INTERRUPT_REAPING -unit 1 # /sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1 # /sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2 # /sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3 touch /var/lock/subsys/pm_ethernet ;; stop) echo -n "Stopping PM/Ethernet: " /sbin/etherpmctl eth0 -pm off /sbin/etherpmctl eth1 -pm off # /sbin/etherpmctl eth1 -pm off # /sbin/etherpmctl eth2 -pm off # /sbin/etherpmctl eth3 -pm off if [ x$module != x ]; then rmmod pm_ethernet_dev fi echo rm -f /var/lock/subsys/pm_ethernet ;; status) if [ x$module != x ]; then /sbin/lsmod fi ;; restart) $0 stop $0 start ;; *) echo "Usage: $0 {start|stop|status|restart}" exit 1 esac exit 0 -------------- next part -------------- #!/bin/sh # # pm_ethernet: Starts the PM Ethernet driver # # Version: @(#) /etc/rc.d/init.d/pm_ethernet 1.00 # # Author: Shinji Sumimoto (Real World Computing Partnership) # chkconfig: 345 90 18 # description: PM Ethernet driver # probe: true IF=eth1 UNIT=0 INTERRUPT_REAPING=on # Source function library. . /etc/rc.d/init.d/functions # check module module=`modprobe -l pm_ethernet_dev.o | grep -v Note:` # See how we were called. case "$1" in start) echo n "Starting PM/Ethernet: " if [ x$module != x ]; then modprobe pm_ethernet_dev fi /sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 0 /sbin/etherpmctl eth0 -pm on -ir $INTERRUPT_REAPING -unit 1 # /sbin/etherpmctl eth1 -pm on -ir $INTERRUPT_REAPING -unit 1 # /sbin/etherpmctl eth2 -pm on -ir $INTERRUPT_REAPING -unit 2 # /sbin/etherpmctl eth3 -pm on -ir $INTERRUPT_REAPING -unit 3 touch /var/lock/subsys/pm_ethernet ;; stop) echo -n "Stopping PM/Ethernet: " /sbin/etherpmctl eth0 -pm off /sbin/etherpmctl eth1 -pm off # /sbin/etherpmctl eth1 -pm off # /sbin/etherpmctl eth2 -pm off # /sbin/etherpmctl eth3 -pm off if [ x$module != x ]; then rmmod pm_ethernet_dev fi echo rm -f /var/lock/subsys/pm_ethernet ;; status) if [ x$module != x ]; then /sbin/lsmod fi ;; restart) $0 stop $0 start ;; *) echo "Usage: $0 {start|stop|status|restart}" exit 1 esac exit 0 -------------- next part -------------- unit 0 maxnsend 64 backoff 16000 0 00:02:A5:42:00:21 slave01.pccluster.org 1 00:02:A5:41:61:6C slave02.pccluster.org 2 00:02:A5:41:6D:76 slave03.pccluster.org 3 00:02:A5:41:77:ED slave04.pccluster.org 4 00:02:A5:41:6D:73 slave05.pccluster.org 5 00:02:A5:41:9E:91 slave06.pccluster.org 6 00:02:A5:41:7A:00 slave07.pccluster.org 7 00:02:A5:41:7A:27 slave08.pccluster.org 8 00:02:A5:41:79:E0 slave09.pccluster.org 9 00:02:A5:41:78:33 slave10.pccluster.org 10 00:02:A5:41:6C:64 slave11.pccluster.org 11 00:02:A5:41:6C:75 slave12.pccluster.org 12 00:02:A5:41:6E:5C slave13.pccluster.org 13 00:02:A5:41:4F:2B slave14.pccluster.org 14 00:02:A5:41:7F:65 slave15.pccluster.org 15 00:02:A5:41:7A:2B slave16.pccluster.org 16 00:02:A5:41:61:71 slave17.pccluster.org 17 00:02:A5:41:6C:EC slave18.pccluster.org 18 00:02:A5:41:6C:C3 slave19.pccluster.org 19 00:02:A5:41:79:12 slave20.pccluster.org 20 00:02:A5:41:78:27 slave21.pccluster.org 21 00:02:A5:41:6E:0C slave22.pccluster.org 22 00:02:A5:41:79:E4 slave23.pccluster.org 23 00:02:A5:41:78:25 slave24.pccluster.org 24 00:02:A5:41:7A:80 slave25.pccluster.org 25 00:02:A5:41:58:9F slave26.pccluster.org 26 00:02:A5:41:6C:6F slave27.pccluster.org 27 00:02:A5:41:9A:CB slave28.pccluster.org 28 00:02:A5:41:77:FF slave29.pccluster.org 29 00:02:A5:41:7F:BA slave30.pccluster.org 30 00:02:A5:41:68:19 slave31.pccluster.org 31 00:02:A5:41:61:BC slave32.pccluster.org -------------- next part -------------- unit 1 maxnsend 64 backoff 16000 0 00:02:A5:CC:9C:33 slave01.pccluster.org 1 00:02:A5:CC:9C:20 slave02.pccluster.org 2 00:02:A5:DD:38:0B slave03.pccluster.org 3 00:02:A5:FC:DF:42 slave04.pccluster.org 4 00:02:A5:FC:DF:4C slave05.pccluster.org 5 00:02:A5:CC:9C:26 slave06.pccluster.org 6 00:02:A5:CC:9E:9C slave07.pccluster.org 7 00:02:A5:DD:38:9D slave08.pccluster.org 8 00:02:A5:DD:38:C6 slave09.pccluster.org 9 00:02:A5:DD:38:BB slave10.pccluster.org 10 00:02:A5:CC:9C:19 slave11.pccluster.org 11 00:02:A5:AC:DF:AD slave12.pccluster.org 12 00:02:A5:CC:9C:85 slave13.pccluster.org 13 00:02:A5:DD:38:C9 slave14.pccluster.org 14 00:02:A5:FC:DF:4A slave15.pccluster.org 15 00:02:A5:CC:9C:2C slave16.pccluster.org 16 00:02:A5:DD:38:CB slave17.pccluster.org 17 00:02:A5:CC:A2:6B slave18.pccluster.org 18 00:02:A5:DD:37:CF slave19.pccluster.org 19 00:02:A5:CC:9C:78 slave20.pccluster.org 20 00:02:A5:7F:4C:61 slave21.pccluster.org 21 00:02:A5:DD:38:99 slave22.pccluster.org 22 00:02:A5:CC:9C:02 slave23.pccluster.org 23 00:02:A5:CC:9C:88 slave24.pccluster.org 24 00:02:A5:DD:38:CD slave25.pccluster.org 25 00:02:A5:CC:9C:35 slave26.pccluster.org 26 00:02:A5:DD:37:F2 slave27.pccluster.org 27 00:02:A5:DD:38:92 slave28.pccluster.org 28 00:02:A5:CC:9C:25 slave29.pccluster.org 29 00:02:A5:CC:9C:72 slave30.pccluster.org 30 00:02:A5:CC:9C:10 slave31.pccluster.org 31 00:02:A5:CC:9C:68 slave32.pccluster.org From suga @ sse.co.jp Thu Dec 5 15:30:11 2002 From: suga @ sse.co.jp (Sugano, Mitsukuni) Date: Thu, 05 Dec 2002 15:30:11 +0900 Subject: [SCore-users-jp] PM ethernet/ethernet device already opened References: <20021205030221.A7AC620042@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <3DEEF273.625190F9@sse.co.jp> 亀山様: 菅野です。 ご回答ありがとうございます。 すべてのノードのパーミッションが、以下のようになっているようです。 drwxrwxrwt 3 root root 1024 Dec 4 14:08 singleuser/ 何か、他に原因が考えられますか? kameyama @ pccluster.org wrote: > > 亀山です. > > In article <3DEEBE5F.FA3CFA92 @ sse.co.jp> "Sugano, Mitsukuni" wrotes: > > rootでは実行可能なプログラムを一般ユーザのアカウントで > > scrunを行うと以下のように実行できません。 > > > > foo% scrun -nodes=31x2 ./Myprog > > SCore-D 5.0.0 connected. > > <19> SCore-D:ERROR Unable to create SCore-D directory > > (/var/scored/singleuser/1070). > > となります。 > > compute host 18 (slave19) の /var/scored/singleuser の > パーミッションを確認してください. > ここは > drwxrwxrwt 3 root root 4096 11月 26 19:33 /var/scored/singleuser > のようになっているはずです. > > from Kameyama Toyohisa From kameyama @ pccluster.org Thu Dec 5 15:38:38 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 05 Dec 2002 15:38:38 +0900 Subject: [SCore-users-jp] PM ethernet/ethernet device already opened In-Reply-To: Your message of "Thu, 05 Dec 2002 15:30:11 JST." <3DEEF273.625190F9@sse.co.jp> Message-ID: <20021205063838.7E39C20040@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <3DEEF273.625190F9 @ sse.co.jp> "Sugano, Mitsukuni" wrotes: > すべてのノードのパーミッションが、以下のようになっているようです。 > > drwxrwxrwt 3 root root 1024 Dec 4 14:08 singleuser/ > > 何か、他に原因が考えられますか? あとはその host で > > > (/var/scored/singleuser/1070). という file があるため directory が作れないとかぐらいでしょうか? from Kameyama Toyohisa From vegeta @ nerv-center.de Fri Dec 6 21:28:23 2002 From: vegeta @ nerv-center.de (Henryk Feider) Date: 06 Dec 2002 13:28:23 +0100 Subject: [SCore-users-jp] [SCore-users] Problem with msgbserv Message-ID: <1039177703.831.20.camel@belldandy> Hi, I installed SCore and made all config files like discripted in the documentation. But when I try to start the msgbserv, I get the following message: > /etc/init.d/msgbserv start Starting Compute Host Lock services: msgbserv:No hosts Does this mean, it doesn't find the configuration file with the hosts, or cannot connect to the scoreboard of fails to contacts the hosts? Please help. Henryk Feider University of Potsdam -- Public key ID: 8065655F example command: gpg --recv-keys --keyserver www.keyserver.net 8065655F -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: signature.asc 型: application/pgp-signature サイズ: 189 バイト 説明: This is a digitally signed message part URL: From kameyama @ pccluster.org Fri Dec 6 21:38:31 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Fri, 06 Dec 2002 21:38:31 +0900 Subject: [SCore-users-jp] Re: [SCore-users] Problem with msgbserv In-Reply-To: Your message of "06 Dec 2002 13:28:23 JST." <1039177703.831.20.camel@belldandy> Message-ID: <20021206123831.1E2EA20042@neal.il.is.s.u-tokyo.ac.jp> In article <1039177703.831.20.camel @ belldandy> Henryk Feider wrotes: > > /etc/init.d/msgbserv start > Starting Compute Host Lock services: msgbserv:No hosts > > Does this mean, it doesn't find the configuration file with the hosts, > or cannot connect to the scoreboard of fails to contacts the hosts? It dosen't find configuration file with the host. Please check scorehost.db file msgbserv entry. And Please try on the server host: % /opt/score/bin/officialname The output must be same as msgbserv entry in scorehosts.db. from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From emile.carcamo @ nec.fr Sat Dec 7 00:24:33 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Fri, 06 Dec 2002 16:24:33 +0100 Subject: [SCore-users-jp] [SCore-users] pm versus gm on SCore 5.2.0 Message-ID: <200212061524.gB6FOXM09276@emilepc.ess.nec.fr> Dear All, Once installing SCore 5.2.0 , I wanted to try GM-1.6.3 instead of PM to see if the transfert rate (224 Mbytes/sec. on Myrinet2k) was get- ting better. So I installed kernel-source-score under /usr/src and I was able to build a "gm" module (insmod runs okay). Problem is that PM is ALREADY part of the SCore 5.2.0 as a in-kernel feature. How to disable it and then work with GM ? I tried building a 2.4.18-3SCORE-custom by doing a make oldconfig and answer 'N' to questions related to 'PM/*'. But then the make fails as shown in the script output enclosed. I understand it could be feasible with _older_ SCore versions since PM modules could be insmod/rmmod'ed but what about today's situation ? I'm REALLY stuck :-(( Thanks for your support, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: typescript1.gz 型: application/x-gzip サイズ: 22955 バイト 説明: typescript1.gz URL: From nrcb @ streamline-computing.com Sat Dec 7 05:13:51 2002 From: nrcb @ streamline-computing.com (Nick Birkett) Date: Fri, 6 Dec 2002 20:13:51 +0000 Subject: [SCore-users-jp] Re: [SCore-users] pm versus gm on SCore 5.2.0 In-Reply-To: <200212061524.gB6FOXM09276@emilepc.ess.nec.fr> References: <200212061524.gB6FOXM09276@emilepc.ess.nec.fr> Message-ID: <200212062013.gB6KDqb01841@zeralda.streamline.com> On Friday 06 December 2002 03:24 pm, you wrote: > Dear All, > > > So I installed kernel-source-score under /usr/src and I was able to > build a "gm" module (insmod runs okay). Problem is that PM is ALREADY > part of the SCore 5.2.0 as a in-kernel feature. How to disable it and > then work with GM ? > In the character device section select to build all the PM stuff as modules: Watchdog Cards ---> RWCP PM/Myrinet (Myricom Myrinet PCI) support RWCP PM/Ethernet support (4) Max Units [*] Interrupt-Reaping RWCP PM/Shmem (Shared Memory) support You will need a startup script to load modules - see attached. You need to edit the gm startup for the MAPPER_NODE and path to GM_HOME Nick -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: pm 型: application/x-shellscript サイズ: 1682 バイト 説明: 無し URL: -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: gm 型: application/x-shellscript サイズ: 733 バイト 説明: 無し URL: From nrcb @ streamline-computing.com Sun Dec 8 19:44:10 2002 From: nrcb @ streamline-computing.com (Nick Birkett) Date: Sun, 8 Dec 2002 10:44:10 +0000 Subject: [SCore-users-jp] Re: [SCore-users] mpich 1.2.4 In-Reply-To: <20021129033807.40C4620024@neal.il.is.s.u-tokyo.ac.jp> References: <20021129033807.40C4620024@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <200212081044.gB8AiBP01651@zeralda.streamline.com> On Friday 29 November 2002 03:38 am, you wrote: > In article <200211281424.gASEOne07682 @ zeralda.streamline.com> Nick Birkett wrotes: > > but > > > > zeralda:~/benchmarks/mpi$ mpif90 -mpi mpich-1.2.4 -compiler intel -w -c > > jacob i_mpi.f > > /opt/score/mpi/mpich-1.2.4/i386-redhat7-linux2_4_intel/bin/mpif90: eval: > > ille gal option: -c > > eval: usage: eval [arg ...] > > zeralda:~/benchmarks/mpi$ > > It seems confiiguration error to check whether Fortran 90 > is compatible with Fortran 77. > Please change > score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure > from > f77test='$F77 -c conftest1.f' > to > f77test='$F77 $FFLAGS -c conftest1.f' > and from > f90_f77link='$F90 -o conftest conftest.o conftest1.o' > to > f90_f77link='$F90 $F90FAGS -o conftest conftest.o conftest1.o' > > Bellow is diff file. > > from Kameyama Toyohisa > ---------------------------------------cut > here--------------------------------- Index: configure > =================================================================== > RCS file: > /develop/cvsroot/score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure >,v retrieving revision 1.1.1.1 > diff -u -r1.1.1.1 configure > --- configure 19 Sep 2002 00:49:17 -0000 1.1.1.1 > +++ configure 29 Nov 2002 03:26:25 -0000 > @@ -1438,9 +1438,9 @@ > echo $ac_n "checking whether Fortran 90 is compatible with Fortran 77""... > $ac_c" 1>&6 echo "configure:1440: checking whether Fortran 90 is compatible > with Fortran 77" >&5 if { (eval echo configure:1441: \"$ac_f90compile\") > 1>&5; (eval $ac_f90compile) 2>&5; } ; then - f77test='$F77 -c > conftest1.f' > + f77test='$F77 $FFLAGS -c conftest1.f' > if { (eval echo configure:1443: \"$f77test\") 1>&5; (eval $f77test) > 2>&5; } ; then - f90_f77link='$F90 -o conftest conftest.o > conftest1.o' > + f90_f77link='$F90 $F90FAGS -o conftest conftest.o conftest1.o' > if { (eval echo configure:1445: \"$f90_f77link\") 1>&5; (eval > $f90_f77link) 2>&5; } ; then pac_cv_prog_f90_and_f77=yes > fi > ---------------------------------------cut > here--------------------------------- The same mpif90 bug is present in SCore 5.2 I think: This is what I get on a freshly installed 5.2 system: [nrcb @ server polcomsbench_v3.0]$ mpif90 -compiler intel -c param.f /opt/score5.2.0/mpi/mpich-1.2.4/i386-redhat7-linux2_4_intel/bin/mpif90: eval: illegal option: -c eval: usage: eval [arg ...] Thanks, Nick _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ bd6.so-net.ne.jp Sun Dec 8 21:00:36 2002 From: s-sumi @ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Sun, 08 Dec 2002 21:00:36 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: <20021205.000325.74756171.s-sumi@bd6.so-net.ne.jp> References: <20021205.000325.74756171.s-sumi@bd6.so-net.ne.jp> Message-ID: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp> Hi. Have you tried to execute the program with mpi_zerocopy=on option? It it works, we have to some workaround to MPI_Iprobe. Shinji. From: Shinji Sumimoto Subject: Re: [SCore-users] Races inside SCore(?) Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST) Message-ID: <20021205.000325.74756171.s-sumi @ bd6.so-net.ne.jp> s-sumi> Hi. s-sumi> s-sumi> From: Richard Guenther s-sumi> Subject: [SCore-users] Races inside SCore(?) s-sumi> Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET) s-sumi> Message-ID: s-sumi> s-sumi> rguenth> I experience problems using SCore (version 4.2.1 with 100MBit s-sumi> rguenth> and 3.3.1 with Myrinet) in s-sumi> rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA. s-sumi> rguenth> The problem appears if I use a nx2 processor setup and does s-sumi> rguenth> not appear in nx1 mode. The problem is all processes spinning s-sumi> rguenth> in kernel space (>90% system time) and no progress achieved s-sumi> rguenth> anymore. Does this sound familiar to anyone? s-sumi> s-sumi> rguenth> Now to elaborate some more. Cheetah presents sort of one-sided s-sumi> rguenth> communication interface to the user and at certain points polls s-sumi> rguenth> for messages with a construct like (very simplified) s-sumi> rguenth> s-sumi> rguenth> do { s-sumi> rguenth> MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status); s-sumi> rguenth> } while (!flag); s-sumi> rguenth> s-sumi> rguenth> now, if I insert a sched_yield() or a usleep(100) after the s-sumi> rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but s-sumi> rguenth> it is a lot harder to reproduce). SCore usually does not s-sumi> rguenth> detect any sort of deadlock, but ocasionally it does. s-sumi> rguenth> s-sumi> rguenth> Now the question, may this be a race condition somewhere in the s-sumi> rguenth> SCore code that handles multiple processors on one node? Where s-sumi> rguenth> should I start to look at to fix the problem? s-sumi> s-sumi> We have not been seen such situation. Some race condition or s-sumi> scheduling problem may occur. MPI_Iprobe does only check message s-sumi> queue. When user program is in MPI infinite loop, SCore detects the s-sumi> loop as deadlock. However, in your case, program seems to be working s-sumi> well. s-sumi> s-sumi> When the deadlock has occurred, the other process is also running or s-sumi> sleeping? Could you attatch and test the program using gdb with s-sumi> process number? s-sumi> s-sumi> such as s-sumi> s-sumi> % gdb your-program-binary process-number s-sumi> s-sumi> and test the program using backtrace and step execution. s-sumi> s-sumi> Shinji. s-sumi> s-sumi> rguenth> Thanks for any hints, s-sumi> rguenth> Richard. s-sumi> rguenth> s-sumi> rguenth> PS: please CC me, I'm not on the list. s-sumi> rguenth> s-sumi> rguenth> -- s-sumi> rguenth> Richard Guenther s-sumi> rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ s-sumi> rguenth> s-sumi> rguenth> s-sumi> rguenth> _______________________________________________ s-sumi> rguenth> SCore-users mailing list s-sumi> rguenth> SCore-users @ pccluster.org s-sumi> rguenth> http://www.pccluster.org/mailman/listinfo/score-users s-sumi> rguenth> s-sumi> ----- s-sumi> Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp s-sumi> s-sumi> _______________________________________________ s-sumi> SCore-users mailing list s-sumi> SCore-users @ pccluster.org s-sumi> http://www.pccluster.org/mailman/listinfo/score-users s-sumi> ----- Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From nrcb @ streamline-computing.com Sun Dec 8 23:53:09 2002 From: nrcb @ streamline-computing.com (Nick Birkett) Date: Sun, 8 Dec 2002 14:53:09 +0000 Subject: [SCore-users-jp] [SCore-users] SCore 5.2 source build problems Message-ID: <200212081453.gB8Er9814304@zeralda.streamline.com> mpif90 under SCore 5.2 is broken. I have applied Mr Kameyama's patch to the f90modules/configure in the source code. I have used these source tar files: score-5.2.0.score.tar.gz score-5.2.0.build.tar.gz score-5.2.0.mpi.tar.gz and applied this patch successfully ------------------------------------------------------------------------------------- Index: configure =================================================================== RCS file: /develop/cvsroot/score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure,v retrieving revision 1.1.1.1 diff -u -r1.1.1.1 configure --- configure 19 Sep 2002 00:49:17 -0000 1.1.1.1 +++ configure 29 Nov 2002 03:26:25 -0000 @@ -1438,9 +1438,9 @@ echo $ac_n "checking whether Fortran 90 is compatible with Fortran 77""... $ac_c" 1>&6 echo "configure:1440: checking whether Fortran 90 is compatible with Fortran 77" >&5 if { (eval echo configure:1441: \"$ac_f90compile\") 1>&5; (eval $ac_f90compile) 2>&5; } ; then- f77test='$F77 -c conftest1.f' + f77test='$F77 $FFLAGS -c conftest1.f' if { (eval echo configure:1443: \"$f77test\") 1>&5; (eval $f77test) 2>&5; } ; then - f90_f77link='$F90 -o conftest conftest.o conftest1.o' + f90_f77link='$F90 $F90FLAGS -o conftest conftest.o conftest1.o' if { (eval echo configure:1445: \"$f90_f77link\") 1>&5; (eval $f90_f77link) 2>&5; } ; then pac_cv_prog_f90_and_f77=yes fi ------------------------------------------------------------------------------------------- There was a typo in the original patch and I think this is the correct one. In /opt./score/score-src I did ./configure and make Please find attached the scoreconflog and scorebuildlog showing outputs of ./configure and make (gzipped ascii files). I am compiling on a freshly installed RedHat 7.3 system with PGI 4.0-2 and Intel V7.0 compilers installed. This is my /opt/score/etc/compilers/site mpicc gnu=gcc intel=icc pgi=pgcc mpic++ gnu=g++ intel=icc pgi=pgCC mpif77 gnu=g77 intel=ifc pgi=pgf77 mpif90 intel=ifc pgi=pgf90 mpc++ gnu=g++ intel=ifc pgi=pgCC omcc intel=icc gnu=egcs omf77 intel=icc gnu=egcs scorecc gnu=gcc intel=icc pgi=pgcc scorec++ gnu=g++ intel=icc pgi=pgCC scoref77 gnu=g77 intel=ifc pgi=pgf77 scoref90 intel=ifc pgi=pgf90 I hope that is enough info to figure out what is going wrong here. Many thanks. Nick -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: scoreconflog.gz 型: application/x-gzip サイズ: 22 バイト 説明: 無し URL: -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: scorebuildlog.gz 型: application/x-gzip サイズ: 23 バイト 説明: 無し URL: From emile.carcamo @ nec.fr Sat Dec 7 00:12:28 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Fri, 06 Dec 2002 16:12:28 +0100 Subject: [SCore-users-jp] [SCore-users] pm versus gm on SCore 5.2.0 Message-ID: <200212061512.gB6FCSM08835@emilepc.ess.nec.fr> Dear All, Once installing SCore 5.2.0 , I wanted to try GM-1.6.3 instead of PM to see if the transfert rate (224 Mbytes/sec. on Myrinet2k) was get- ting better. So I installed kernel-source-score under /usr/src and I was able to build a "gm" module (insmod runs okay). Problem is that PM is ALREADY part of the SCore 5.2.0 as a in-kernel feature. How to disable it and then work with GM ? I tried building a 2.4.18-3SCORE-custom by doing a make oldconfig and answer 'N' to questions related to 'PM/*'. But then the make fails as shown in the script output enclosed. I understand it could be feasible with _older_ SCore versions since PM modules could be insmod/rmmod'ed but what about today's situation ? I'm REALLY stuck :-(( Thanks for your support, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / -------------- next part -------------- テキスト形式以外の添付ファイルを保管しました... ファイル名: typescript.gz 型: application/x-gzip サイズ: 30879 バイト 説明: typescript.gz URL: From kameyama @ pccluster.org Mon Dec 9 10:05:23 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Mon, 09 Dec 2002 10:05:23 +0900 Subject: [SCore-users-jp] [SCore-users] SCore 5.2 source build problems In-Reply-To: Your message of "Sun, 08 Dec 2002 14:53:09 JST." <200212081453.gB8Er9814304@zeralda.streamline.com> Message-ID: <20021209010523.6A95320042@neal.il.is.s.u-tokyo.ac.jp> In article <200212081453.gB8Er9814304 @ zeralda.streamline.com> Nick Birkett wrotes: > Index: configure Sorry, there are more bugs. Please use this patch (from original) instead. Kameyama Toyohisa ---------------------------------------cut here--------------------------------- Index: configure =================================================================== RCS file: /develop/cvsroot/score-src/runtime/mpi/mpich-1.2.4/src/f90modules/configure,v retrieving revision 1.1 retrieving revision 1.4 diff -u -r1.1 -r1.4 --- configure 19 Sep 2002 00:49:17 -0000 1.1 +++ configure 4 Dec 2002 00:28:29 -0000 1.4 @@ -1284,7 +1284,7 @@ # SGI and absoft compilers generates module name in upper case! testname="conftest" modcase="lower" -if $F90 -c conftest.f > conftest.out 2>&1 ; then +if $F90 $F90FLAGS -c conftest.f > conftest.out 2>&1 ; then MOD=`ls conftest* | grep -v conftest.f | grep -v conftest.o` MOD=`echo "$MOD" | sed -e 's/conftest\.//g'` if test -z "$MOD" ; then @@ -1344,15 +1344,15 @@ EOF F90_WORK_FILES_ARG="" F90MODINCSPEC="" -if $F90 -c -Iconf conftest1.f > conftest.out 2>&1 ; then +if $F90 $F90FLAGS -c -Iconf conftest1.f > conftest.out 2>&1 ; then MODDIRFLAG="-I" F90MODINCSPEC="-I" echo "$ac_t""-I" 1>&6 -elif $F90 -c -Mconf conftest1.f >> conftest.out 2>&1 ; then +elif $F90 $F90FLAGS -c -Mconf conftest1.f >> conftest.out 2>&1 ; then MODDIRFLAG="-M" F90MODINCSPEC="-M" echo "$ac_t""-M" 1>&6 -elif $F90 -c -pconf conftest1.f >> conftest.out 2>&1 ; then +elif $F90 $F90FLAGS -c -pconf conftest1.f >> conftest.out 2>&1 ; then MODDIRFLAG="-p" F90MODINCSPEC="-p" echo "$ac_t""-p" 1>&6 @@ -1360,7 +1360,7 @@ cp work.pc conf/mpimod.pc echo "mpimod.pc" > conf/mpimod.pcl echo "`pwd`/conf/mpimod.pc" >> conf/mpimod.pcl - if $F90 -c -cl,conf/mpimod.pcl conftest1.f >>conftest.out 2>&1 ; then + if $F90$F90FLAGS -c -cl,conf/mpimod.pcl conftest1.f >>conftest.out 2>&1 ; then MODDIRFLAG='-cl,mpimod.pcl' echo "$ac_t""-cl,filename where filename contains a list of files and directories" 1>&6 F90_WORK_FILES_ARG="-cl,mpimod.pcl" @@ -1394,7 +1394,7 @@ integer (kind=MPI_ADDRESS_KIND) b end EOF - if $F90 -I$MPIINCDIR -c conftest.f > conftest.out 2>&1 ; then + if $F90 $F90FLAGS -I$MPIINCDIR -c conftest.f > conftest.out 2>&1 ; then echo "$ac_t""yes" 1>&6 F90INC="-I" else @@ -1438,9 +1438,9 @@ echo $ac_n "checking whether Fortran 90 is compatible with Fortran 77""... $ac_c" 1>&6 echo "configure:1440: checking whether Fortran 90 is compatible with Fortran 77" >&5 if { (eval echo configure:1441: \"$ac_f90compile\") 1>&5; (eval $ac_f90compile) 2>&5; } ; then - f77test='$F77 -c conftest1.f' + f77test='$F77 $FFLAGS -c conftest1.f' if { (eval echo configure:1443: \"$f77test\") 1>&5; (eval $f77test) 2>&5; } ; then - f90_f77link='$F90 -o conftest conftest.o conftest1.o' + f90_f77link='$F90 $F90FLAGS -o conftest conftest.o conftest1.o' if { (eval echo configure:1445: \"$f90_f77link\") 1>&5; (eval $f90_f77link) 2>&5; } ; then pac_cv_prog_f90_and_f77=yes fi ---------------------------------------cut here--------------------------------- from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From emile.carcamo @ nec.fr Mon Dec 9 20:18:50 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Mon, 09 Dec 2002 12:18:50 +0100 Subject: [SCore-users-jp] Re: [SCore-users] pm versus gm on SCore 5.2.0 In-Reply-To: Your message of "Fri, 06 Dec 2002 20:13:51 GMT." <200212062013.gB6KDqb01841@zeralda.streamline.com> Message-ID: <200212091118.gB9BIos02075@emilepc.ess.nec.fr> nrcb @ streamline-computing.com said: > In the character device section select to build all the PM stuff as > modules: > Watchdog Cards ---> > > RWCP PM/Myrinet (Myricom Myrinet PCI) support > > RWCP PM/Ethernet support (4) > Max Units [*] Interrupt-Reaping > > RWCP PM/Shmem (Shared Memory) support > You will need a startup script to load modules - see attached. > You need to edit the gm startup for the MAPPER_NODE and path to > GM_HOME Hello Nick & All, Well I tried what you suggested, but no luck as well :-( When trying to describe all PM/* stuff as modules, I got tons of error messages since the /usr/src/linux/include seems REALLY full of bugs !! Please can someone provide me with a /usr/src/linux-2.4.18score bug free ?? I'm working on an Express5800 120RC1 NEC machine (2 x 2.4Ghz Intel Xéon box). I've enclosed my .config file just in case ;-) Thanks to anyone would could help, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / -------------- next part -------------- 文字コード指定の無い添付文書を保管しました... 名前: compile.log URL: -------------- next part -------------- 文字コード指定の無い添付文書を保管しました... 名前: Dot_config URL: From kameyama @ pccluster.org Mon Dec 9 20:37:52 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Mon, 09 Dec 2002 20:37:52 +0900 Subject: [SCore-users-jp] Re: [SCore-users] pm versus gm on SCore 5.2.0 In-Reply-To: Your message of "Mon, 09 Dec 2002 12:18:50 JST." <200212091118.gB9BIos02075@emilepc.ess.nec.fr> Message-ID: <20021209113752.AE65220042@neal.il.is.s.u-tokyo.ac.jp> In article <200212091118.gB9BIos02075 @ emilepc.ess.nec.fr> Emile CARCAMO wrotes: > In file included from /work/linux-2.4.18score/include/linux/spinlock.h:39= > , > from /work/linux-2.4.18score/include/linux/module.h:11, > from pm_myrinet.c:66: > /work/linux-2.4.18score/include/asm/spinlock.h:10: nondigits in number an= > d not hexadecimal Please try: make distclean after: make *config You can want to compiie same configuration, please exec following commands: cp .config config.save make distclean cp config.save .config make oldconfig make dep make bzImage make modules make install make modules_install from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From rguenth @ tat.physik.uni-tuebingen.de Tue Dec 10 00:52:09 2002 From: rguenth @ tat.physik.uni-tuebingen.de (Richard Guenther) Date: Mon, 9 Dec 2002 16:52:09 +0100 (CET) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp> Message-ID: Looking into /opt/score/include/pm_lock.h it seems you should consider using spinlock versions as implemented in the linux kernel instead. I'm not exactly an expert for intel hardware, but at least the kernel ones look smaller and have gotten more testing. Richard. -- Richard Guenther WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ The GLAME Project: http://www.glame.de/ _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From rguenth @ tat.physik.uni-tuebingen.de Tue Dec 10 00:36:44 2002 From: rguenth @ tat.physik.uni-tuebingen.de (Richard Guenther) Date: Mon, 9 Dec 2002 16:36:44 +0100 (CET) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp> Message-ID: On Sun, 8 Dec 2002, Shinji Sumimoto wrote: > Hi. > > Have you tried to execute the program with mpi_zerocopy=on option? > It it works, we have to some workaround to MPI_Iprobe. Maybe related, I get (sometimes, cannot easily check if its correlated) the following messages from kernel: pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, ctx=0xf76c0000) err 0x0 pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0, ctx=0xf7700000) err 0x0 To answer your question, we use mpi_zerocopy as argument to scrun, exchanging that for mpi_zerocopy=on doesnt change things, but specifying mpi_zerocopy=off leads to immediate failure (but again, the failure is only with Nx2 setups, not with Nx1, also 1x2 seems to be ok). Is there a option to SCore to allow tracing/logging of the MPI functions called? Maybe we can see a pattern to the problem. If I change the computation/communication order in my program I cannot reproduce the failures. But in this mode requests never accumulate so its just a lot less hammering on the MPI backend. > Shinji. > > From: Shinji Sumimoto > Subject: Re: [SCore-users] Races inside SCore(?) > Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST) > Message-ID: <20021205.000325.74756171.s-sumi @ bd6.so-net.ne.jp> > > s-sumi> Hi. > s-sumi> > s-sumi> From: Richard Guenther > s-sumi> Subject: [SCore-users] Races inside SCore(?) > s-sumi> Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET) > s-sumi> Message-ID: > s-sumi> > s-sumi> rguenth> I experience problems using SCore (version 4.2.1 with 100MBit > s-sumi> rguenth> and 3.3.1 with Myrinet) in > s-sumi> rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA. > s-sumi> rguenth> The problem appears if I use a nx2 processor setup and does > s-sumi> rguenth> not appear in nx1 mode. The problem is all processes spinning > s-sumi> rguenth> in kernel space (>90% system time) and no progress achieved > s-sumi> rguenth> anymore. Does this sound familiar to anyone? > s-sumi> > s-sumi> rguenth> Now to elaborate some more. Cheetah presents sort of one-sided > s-sumi> rguenth> communication interface to the user and at certain points polls > s-sumi> rguenth> for messages with a construct like (very simplified) > s-sumi> rguenth> > s-sumi> rguenth> do { > s-sumi> rguenth> MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status); > s-sumi> rguenth> } while (!flag); > s-sumi> rguenth> > s-sumi> rguenth> now, if I insert a sched_yield() or a usleep(100) after the > s-sumi> rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but > s-sumi> rguenth> it is a lot harder to reproduce). SCore usually does not > s-sumi> rguenth> detect any sort of deadlock, but ocasionally it does. > s-sumi> rguenth> > s-sumi> rguenth> Now the question, may this be a race condition somewhere in the > s-sumi> rguenth> SCore code that handles multiple processors on one node? Where > s-sumi> rguenth> should I start to look at to fix the problem? > s-sumi> > s-sumi> We have not been seen such situation. Some race condition or > s-sumi> scheduling problem may occur. MPI_Iprobe does only check message > s-sumi> queue. When user program is in MPI infinite loop, SCore detects the > s-sumi> loop as deadlock. However, in your case, program seems to be working > s-sumi> well. > s-sumi> > s-sumi> When the deadlock has occurred, the other process is also running or > s-sumi> sleeping? Could you attatch and test the program using gdb with > s-sumi> process number? > s-sumi> > s-sumi> such as > s-sumi> > s-sumi> % gdb your-program-binary process-number > s-sumi> > s-sumi> and test the program using backtrace and step execution. > s-sumi> > s-sumi> Shinji. > s-sumi> > s-sumi> rguenth> Thanks for any hints, > s-sumi> rguenth> Richard. > s-sumi> rguenth> > s-sumi> rguenth> PS: please CC me, I'm not on the list. > s-sumi> rguenth> > s-sumi> rguenth> -- > s-sumi> rguenth> Richard Guenther > s-sumi> rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ > s-sumi> rguenth> > s-sumi> rguenth> > s-sumi> rguenth> _______________________________________________ > s-sumi> rguenth> SCore-users mailing list > s-sumi> rguenth> SCore-users @ pccluster.org > s-sumi> rguenth> http://www.pccluster.org/mailman/listinfo/score-users > s-sumi> rguenth> > s-sumi> ----- > s-sumi> Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp > s-sumi> > s-sumi> _______________________________________________ > s-sumi> SCore-users mailing list > s-sumi> SCore-users @ pccluster.org > s-sumi> http://www.pccluster.org/mailman/listinfo/score-users > s-sumi> > ----- > Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp > -- Richard Guenther WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ The GLAME Project: http://www.glame.de/ _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ bd6.so-net.ne.jp Tue Dec 10 01:19:05 2002 From: s-sumi @ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Tue, 10 Dec 2002 01:19:05 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: References: <20021208.210036.74750196.s-sumi@bd6.so-net.ne.jp> Message-ID: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp> Hi. Thank you for your information. From: Richard Guenther Subject: Re: [SCore-users] Races inside SCore(?) Date: Mon, 9 Dec 2002 16:36:44 +0100 (CET) Message-ID: rguenth> On Sun, 8 Dec 2002, Shinji Sumimoto wrote: rguenth> rguenth> > Hi. rguenth> > rguenth> > Have you tried to execute the program with mpi_zerocopy=on option? rguenth> > It it works, we have to some workaround to MPI_Iprobe. rguenth> rguenth> Maybe related, I get (sometimes, cannot easily check if its correlated) rguenth> the following messages from kernel: rguenth> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, rguenth> ctx=0xf76c0000) err 0x0 rguenth> pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0, rguenth> ctx=0xf7700000) err 0x0 Which network are you using now? This message pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, ctx=0xf76c0000) err 0x0 seems to be output from PM/Ethernet with mpi_zerocopy=on. Is this true? The message says PM/Ethernet failed to read data from user memory. In PM/Ethernet case, SCore 4.2 has problem with mpi_zerocopy=on, and sometimes occurred on newer version of SCore. Now, I am re-writing the feature. How about PM/Myrinet case? scrun -network=myrinet,,,,, rguenth> To answer your question, we use mpi_zerocopy as argument to scrun, rguenth> exchanging that for mpi_zerocopy=on doesnt change things, but specifying rguenth> mpi_zerocopy=off leads to immediate failure (but again, the failure is rguenth> only with Nx2 setups, not with Nx1, also 1x2 seems to be ok). rguenth> rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions rguenth> called? Maybe we can see a pattern to the problem. MPICH/SCore also has -mpi_log option like MPICH. But, if the program runs a couple of minuites, logs becomes huge and difficult to analize. rguenth> If I change the computation/communication order in my program I cannot rguenth> reproduce the failures. But in this mode requests never accumulate so rguenth> its just a lot less hammering on the MPI backend. Could you let us know your runtime environment more? PM/Myrinet problems or PM/Ethernet problems? Shinji. rguenth> > Shinji. rguenth> > rguenth> > From: Shinji Sumimoto rguenth> > Subject: Re: [SCore-users] Races inside SCore(?) rguenth> > Date: Thu, 05 Dec 2002 00:03:25 +0900 (JST) rguenth> > Message-ID: <20021205.000325.74756171.s-sumi @ bd6.so-net.ne.jp> rguenth> > rguenth> > s-sumi> Hi. rguenth> > s-sumi> rguenth> > s-sumi> From: Richard Guenther rguenth> > s-sumi> Subject: [SCore-users] Races inside SCore(?) rguenth> > s-sumi> Date: Tue, 3 Dec 2002 12:23:18 +0100 (CET) rguenth> > s-sumi> Message-ID: rguenth> > s-sumi> rguenth> > s-sumi> rguenth> I experience problems using SCore (version 4.2.1 with 100MBit rguenth> > s-sumi> rguenth> and 3.3.1 with Myrinet) in rguenth> > s-sumi> rguenth> conjunction with the cheetah (v1.1.4) library used by POOMA. rguenth> > s-sumi> rguenth> The problem appears if I use a nx2 processor setup and does rguenth> > s-sumi> rguenth> not appear in nx1 mode. The problem is all processes spinning rguenth> > s-sumi> rguenth> in kernel space (>90% system time) and no progress achieved rguenth> > s-sumi> rguenth> anymore. Does this sound familiar to anyone? rguenth> > s-sumi> rguenth> > s-sumi> rguenth> Now to elaborate some more. Cheetah presents sort of one-sided rguenth> > s-sumi> rguenth> communication interface to the user and at certain points polls rguenth> > s-sumi> rguenth> for messages with a construct like (very simplified) rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> do { rguenth> > s-sumi> rguenth> MPI_Iprobe(MPI_ANY_SOURCE, tag, comm, &flag, &status); rguenth> > s-sumi> rguenth> } while (!flag); rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> now, if I insert a sched_yield() or a usleep(100) after the rguenth> > s-sumi> rguenth> MPI_Iprobe(), the problem goes away (well, not completely, but rguenth> > s-sumi> rguenth> it is a lot harder to reproduce). SCore usually does not rguenth> > s-sumi> rguenth> detect any sort of deadlock, but ocasionally it does. rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> Now the question, may this be a race condition somewhere in the rguenth> > s-sumi> rguenth> SCore code that handles multiple processors on one node? Where rguenth> > s-sumi> rguenth> should I start to look at to fix the problem? rguenth> > s-sumi> rguenth> > s-sumi> We have not been seen such situation. Some race condition or rguenth> > s-sumi> scheduling problem may occur. MPI_Iprobe does only check message rguenth> > s-sumi> queue. When user program is in MPI infinite loop, SCore detects the rguenth> > s-sumi> loop as deadlock. However, in your case, program seems to be working rguenth> > s-sumi> well. rguenth> > s-sumi> rguenth> > s-sumi> When the deadlock has occurred, the other process is also running or rguenth> > s-sumi> sleeping? Could you attatch and test the program using gdb with rguenth> > s-sumi> process number? rguenth> > s-sumi> rguenth> > s-sumi> such as rguenth> > s-sumi> rguenth> > s-sumi> % gdb your-program-binary process-number rguenth> > s-sumi> rguenth> > s-sumi> and test the program using backtrace and step execution. rguenth> > s-sumi> rguenth> > s-sumi> Shinji. rguenth> > s-sumi> rguenth> > s-sumi> rguenth> Thanks for any hints, rguenth> > s-sumi> rguenth> Richard. rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> PS: please CC me, I'm not on the list. rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> -- rguenth> > s-sumi> rguenth> Richard Guenther rguenth> > s-sumi> rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> rguenth> > s-sumi> rguenth> _______________________________________________ rguenth> > s-sumi> rguenth> SCore-users mailing list rguenth> > s-sumi> rguenth> SCore-users @ pccluster.org rguenth> > s-sumi> rguenth> http://www.pccluster.org/mailman/listinfo/score-users rguenth> > s-sumi> rguenth> rguenth> > s-sumi> ----- rguenth> > s-sumi> Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp rguenth> > s-sumi> rguenth> > s-sumi> _______________________________________________ rguenth> > s-sumi> SCore-users mailing list rguenth> > s-sumi> SCore-users @ pccluster.org rguenth> > s-sumi> http://www.pccluster.org/mailman/listinfo/score-users rguenth> > s-sumi> rguenth> > ----- rguenth> > Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp rguenth> > rguenth> rguenth> -- rguenth> Richard Guenther rguenth> WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ rguenth> The GLAME Project: http://www.glame.de/ rguenth> rguenth> _______________________________________________ rguenth> SCore-users mailing list rguenth> SCore-users @ pccluster.org rguenth> http://www.pccluster.org/mailman/listinfo/score-users rguenth> ----- Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From rguenth @ tat.physik.uni-tuebingen.de Tue Dec 10 01:28:04 2002 From: rguenth @ tat.physik.uni-tuebingen.de (Richard Guenther) Date: Mon, 9 Dec 2002 17:28:04 +0100 (CET) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp> Message-ID: On Tue, 10 Dec 2002, Shinji Sumimoto wrote: > rguenth> Maybe related, I get (sometimes, cannot easily check if its correlated) > rguenth> the following messages from kernel: > rguenth> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, > rguenth> ctx=0xf76c0000) err 0x0 > rguenth> pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0, > rguenth> ctx=0xf7700000) err 0x0 > > Which network are you using now? This is with two EEPRO 100 cards. Note that this is a different cluster that doesnt have Myrinet. > This message > > pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, > ctx=0xf76c0000) err 0x0 > > seems to be output from PM/Ethernet with mpi_zerocopy=on. Is this true? Its from PM/Ethernet with mpi_zerocopy (which is equal to mpi_zerocopy=on?). > The message says PM/Ethernet failed to read data from user memory. Can this cause problems? > In PM/Ethernet case, SCore 4.2 has problem with mpi_zerocopy=on, and > sometimes occurred on newer version of SCore. Now, I am re-writing the > feature. > > How about PM/Myrinet case? I dont see the above kernel messages in the myrinet case. But the main problem (lockup with x2 setup) is there with Myrinet, too. > scrun -network=myrinet,,,,, > > rguenth> To answer your question, we use mpi_zerocopy as argument to scrun, > rguenth> exchanging that for mpi_zerocopy=on doesnt change things, but specifying > rguenth> mpi_zerocopy=off leads to immediate failure (but again, the failure is > rguenth> only with Nx2 setups, not with Nx1, also 1x2 seems to be ok). > rguenth> > rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions > rguenth> called? Maybe we can see a pattern to the problem. > > MPICH/SCore also has -mpi_log option like MPICH. But, if the program > runs a couple of minuites, logs becomes huge and difficult to analize. I can reproduce the failure within seconds, so this is probably not a problem. I will experiment with this later this week. > rguenth> If I change the computation/communication order in my program I cannot > rguenth> reproduce the failures. But in this mode requests never accumulate so > rguenth> its just a lot less hammering on the MPI backend. > > Could you let us know your runtime environment more? > PM/Myrinet problems or PM/Ethernet problems? Its both, myrinet and ethernet problems (the myrinet is on a dual PIII cluster with score V3.3.1 running kernel 2.2.16, the ethernet on a dual Athlon cluster with score V4.2.1 running kernel 2.4.18-rc4). Richard. -- Richard Guenther WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ bd6.so-net.ne.jp Tue Dec 10 01:36:53 2002 From: s-sumi @ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Tue, 10 Dec 2002 01:36:53 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: References: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp> Message-ID: <20021210.013653.41632102.s-sumi@bd6.so-net.ne.jp> Hi. Sorry, I understand your environment. Both of your clusters with myrinet and ethernet have problems. I will also investigate your problems. Shinji. From: Richard Guenther Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) Date: Mon, 9 Dec 2002 17:28:04 +0100 (CET) Message-ID: rguenth> On Tue, 10 Dec 2002, Shinji Sumimoto wrote: rguenth> rguenth> > rguenth> Maybe related, I get (sometimes, cannot easily check if its correlated) rguenth> > rguenth> the following messages from kernel: rguenth> > rguenth> pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, rguenth> > rguenth> ctx=0xf76c0000) err 0x0 rguenth> > rguenth> pmm_mem_read copy failed 0x0 (tsk=f3340000, addr=0x261e5dd0, rguenth> > rguenth> ctx=0xf7700000) err 0x0 rguenth> > rguenth> > Which network are you using now? rguenth> rguenth> This is with two EEPRO 100 cards. Note that this is a different cluster rguenth> that doesnt have Myrinet. rguenth> rguenth> > This message rguenth> > rguenth> > pmm_mem_read copy failed 0x1 (tsk=f2674000, addr=0x261adc30, rguenth> > ctx=0xf76c0000) err 0x0 rguenth> > rguenth> > seems to be output from PM/Ethernet with mpi_zerocopy=on. Is this true? rguenth> rguenth> Its from PM/Ethernet with mpi_zerocopy (which is equal to rguenth> mpi_zerocopy=on?). rguenth> rguenth> > The message says PM/Ethernet failed to read data from user memory. rguenth> rguenth> Can this cause problems? rguenth> rguenth> > In PM/Ethernet case, SCore 4.2 has problem with mpi_zerocopy=on, and rguenth> > sometimes occurred on newer version of SCore. Now, I am re-writing the rguenth> > feature. rguenth> > rguenth> > How about PM/Myrinet case? rguenth> rguenth> I dont see the above kernel messages in the myrinet case. But the main rguenth> problem (lockup with x2 setup) is there with Myrinet, too. rguenth> rguenth> > scrun -network=myrinet,,,,, rguenth> > rguenth> > rguenth> To answer your question, we use mpi_zerocopy as argument to scrun, rguenth> > rguenth> exchanging that for mpi_zerocopy=on doesnt change things, but specifying rguenth> > rguenth> mpi_zerocopy=off leads to immediate failure (but again, the failure is rguenth> > rguenth> only with Nx2 setups, not with Nx1, also 1x2 seems to be ok). rguenth> > rguenth> rguenth> > rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions rguenth> > rguenth> called? Maybe we can see a pattern to the problem. rguenth> > rguenth> > MPICH/SCore also has -mpi_log option like MPICH. But, if the program rguenth> > runs a couple of minuites, logs becomes huge and difficult to analize. rguenth> rguenth> I can reproduce the failure within seconds, so this is probably not a rguenth> problem. I will experiment with this later this week. rguenth> rguenth> > rguenth> If I change the computation/communication order in my program I cannot rguenth> > rguenth> reproduce the failures. But in this mode requests never accumulate so rguenth> > rguenth> its just a lot less hammering on the MPI backend. rguenth> > rguenth> > Could you let us know your runtime environment more? rguenth> > PM/Myrinet problems or PM/Ethernet problems? rguenth> rguenth> Its both, myrinet and ethernet problems (the myrinet is on a dual PIII rguenth> cluster with score V3.3.1 running kernel 2.2.16, the ethernet on a dual rguenth> Athlon cluster with score V4.2.1 running kernel 2.4.18-rc4). ----- Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From nrcb @ streamline-computing.com Tue Dec 10 01:27:34 2002 From: nrcb @ streamline-computing.com (Nick Birkett) Date: Mon, 9 Dec 2002 16:27:34 +0000 Subject: [SCore-users-jp] [SCore-users] pbs_mom Message-ID: <200212091627.gB9GRYg15348@zeralda.streamline.com> Does anyone have the problem that the pbs_mom on the front end server dies from time to time (and hence score mpi jobs remain in the queue). I think this is a problem on all the recent version of SCore PBS (5.0.1, 5.2 ?). Is there a fix ? Thanks, Nick _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From nrcb @ streamline-computing.com Tue Dec 10 09:31:00 2002 From: nrcb @ streamline-computing.com (Nick Birkett) Date: Tue, 10 Dec 2002 00:31:00 +0000 Subject: [SCore-users-jp] [SCore-users] SCore 5.2 Message-ID: <200212100031.gBA0V0103727@zeralda.streamline.com> Dear Score users, we are currently using SCore 5.0.1 which is proving a very reliable and excellent product, and we recommend this currently. Hopefully we will have an mpich 1.2.4 addition thanks to Mr Kameyama. We are thinking of moving to SCore 5.2 but there seem to be some bugs as yet. There is a problem with mpif90 which we are hoping to fix soon with the help of SCore developers. Also I am having trouble compiling SCore 5.2 from source under RedHat 7.3. For RedHat 7.2 the SCore 5.2 source code compiles fine. However under RedHat 7.3 there are errors : In file included from /usr/include/stdio.h:65,^M from /usr/include/resolv.h:63,^M from internals.h:23,^M from attr.c:23:^M /usr/include/libio.h:334: parse error before `attribute_hidden'^M /usr/include/libio.h:334: warning: data definition has no type or storage class^M /usr/include/libio.h:335: parse error before `attribute_hidden'^M /usr/include/libio.h:335: warning: data definition has no type or storage class^M /usr/include/libio.h:336: parse error before `attribute_hidden'^M /usr/include/libio.h:336: warning: data definition has no type or storage class^M make[6]: *** [attr.o] Error 1^M @ It may be I have some packages missing from RedHat, or may be a bug with RedHat 7.3 .If anyone can advise I would be very grateful. Many thanks, Nick _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kameyama @ pccluster.org Tue Dec 10 11:21:00 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Tue, 10 Dec 2002 11:21:00 +0900 Subject: [SCore-users-jp] Re: [SCore-users] SCore 5.2 In-Reply-To: Your message of "Tue, 10 Dec 2002 00:31:00 JST." <200212100031.gBA0V0103727@zeralda.streamline.com> Message-ID: <20021210022100.4C9A620042@neal.il.is.s.u-tokyo.ac.jp> In article <200212100031.gBA0V0103727 @ zeralda.streamline.com> Nick Birkett wrotes: > In file included from /usr/include/stdio.h:65,^M > from /usr/include/resolv.h:63,^M > from internals.h:23,^M > from attr.c:23:^M > /usr/include/libio.h:334: parse error before `attribute_hidden'^M > /usr/include/libio.h:334: warning: data definition has no type or storage > class^M Sorry. Please apply following patch: ---------------------------------------cut here--------------------------------- Index: score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h =================================================================== RCS file: /develop/cvsroot/score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h,v retrieving revision 1.1.1.1 retrieving revision 1.2 diff -u -r1.1.1.1 -r1.2 --- score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h 2 Aug 2001 10:14:28 -0000 1.1.1.1 +++ score-src/SCore/sclib/scwrap/example/pthread/glibc-i386-redhat7/include/libc-symbols.h 12 Nov 2002 11:05:33 -0000 1.2 @@ -321,4 +321,5 @@ strong_alias(real, name) #endif +# define attribute_hidden #endif /* libc-symbols.h */ ---------------------------------------cut here--------------------------------- from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From msato @ is.tsukuba.ac.jp Tue Dec 10 12:22:11 2002 From: msato @ is.tsukuba.ac.jp (Mitsuhisa Sato) Date: Tue, 10 Dec 2002 12:22:11 +0900 Subject: [SCore-users-jp] Giga-bit ether and Althon In-Reply-To: <20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp> References: <3DD9F34C.80107@tobata.isc.kyutech.ac.jp> <20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <20021210122211R.msato@is.tsukuba.ac.jp> SCoreな皆様、 gigabit ethernetもだいぶ安くなってきたので、100Baseを1000baseTXに入れ 換えようと考えています。 ノードはAlthon MP で、motherはTyanのTigerMPXです。 このmotherでPMに相性がいい、gigabitカードをおしえてください。 また、このgigabit etherでのSCoreの経験のお持ちの方はご紹介いただければ 幸いです。 さとう@筑波大 From s-sumi @ flab.fujitsu.co.jp Tue Dec 10 20:44:58 2002 From: s-sumi @ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Tue, 10 Dec 2002 20:44:58 +0900 (JST) Subject: [SCore-users-jp] PM ethernet/ethernet device already opened In-Reply-To: <3DEEF1B9.CA822316@sse.co.jp> References: <3DEEBE5F.FA3CFA92@sse.co.jp> <20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp> <3DEEF1B9.CA822316@sse.co.jp> Message-ID: <20021210.204458.108741987.s-sumi@flab.fujitsu.co.jp> 住元です。 返事が遅れました。 設定上は正しいように思えます。 scorehosts.dbから不要なエントリを削除しても動作は変わらないでしょうか? From: "Sugano, Mitsukuni" Subject: Re: [SCore-users-jp] PM ethernet/ethernet device already opened Date: Thu, 05 Dec 2002 15:27:05 +0900 Message-ID: <3DEEF1B9.CA822316 @ sse.co.jp> suga> 住元様: suga> suga> 菅野です。 suga> ご回答ありがとうございます。 suga> suga> master:/opt/score/etc/pm-ethernet-1.conf suga> master:/opt/score/etc/pm-ethernet-0.conf suga> suga> slave01:/etc/init.d/pm_ethernet suga> slave23:/etc/init.d/pm_ethernet suga> slave24:/etc/init.d/pm_ethernet suga> suga> を添付します。 suga> もし、これらから推測されることがございましたら、 suga> 教えていただけますでしょうか。 suga> suga> 以上、よろしくお願いいたします。 suga> suga> Shinji Sumimoto wrote: suga> > suga> > 富士通研の住元です。 suga> > suga> > ノードの設定のエントリから、eth1と不要なエントリ(ethold)を外してください。 suga> > これだと問題があります。 suga> > suga> > でも、slave23を除くと動くと言うのは、変です。エラーではunit 番号 1の suga> > ネットワークが問題のようです。 suga> > suga> > /opt/score/etc/pm-ethernet-1.conf suga> > /opt/score/etc/pm-ethernet-0.conf suga> > /opt/score/etc/pm-ethernet.conf suga> > suga> > と、/etc/init.d/pm_ethernet suga> > suga> > での unit番号の指定はどうなっていますでしょうか? suga> > suga> > =================================================================== suga> > /* PM/Ethernet */ suga> > ethernet type=ethernet \ suga> > -config:file=/opt/score/etc/pm-ethernet-1.conf \ suga> > -trunk0:file=/opt/score/etc/pm-ethernet-0.conf suga> > suga> > eth0 type=ethernet \ suga> > -config:file=/opt/score/etc/pm-ethernet-0.conf suga> > suga> > eth1 type=ethernet \ suga> > -config:file=/opt/score/etc/pm-ethernet-1.conf suga> > suga> > ethold type=ethernet \ suga> > -config:file=/opt/score/etc/pm-ethernet.conf suga> > suga> > slave01.pccluster.org HOST_0 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave02.pccluster.org HOST_1 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave03.pccluster.org HOST_2 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave04.pccluster.org HOST_3 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave05.pccluster.org HOST_4 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave06.pccluster.org HOST_5 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave07.pccluster.org HOST_6 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave08.pccluster.org HOST_7 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq0 smp=2 MSGBSERV suga> > slave09.pccluster.org HOST_8 network=ethernet,eth0,eth1,ethold,shmem0,shmem1 group=_scoreall_,pcc,pcch0,pccq1 smp=2 MSGBSERV suga> > =================================================================== ------ Shinji Sumimoto, Fujitsu Labs From s-sumi @ flab.fujitsu.co.jp Tue Dec 10 20:47:46 2002 From: s-sumi @ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Tue, 10 Dec 2002 20:47:46 +0900 (JST) Subject: [SCore-users-jp] Giga-bit ether and Althon In-Reply-To: <20021210122211R.msato@is.tsukuba.ac.jp> References: <3DD9F34C.80107@tobata.isc.kyutech.ac.jp> <20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp> <20021210122211R.msato@is.tsukuba.ac.jp> Message-ID: <20021210.204746.71086924.s-sumi@flab.fujitsu.co.jp> 富士通研の住元です。 From: Mitsuhisa Sato Subject: [SCore-users-jp] Giga-bit ether and Althon Date: Tue, 10 Dec 2002 12:22:11 +0900 Message-ID: <20021210122211R.msato @ is.tsukuba.ac.jp> msato> SCoreな皆様、 msato> msato> gigabit ethernetもだいぶ安くなってきたので、100Baseを1000baseTXに入れ msato> 換えようと考えています。 msato> msato> ノードはAlthon MP で、motherはTyanのTigerMPXです。 msato> このmotherでPMに相性がいい、gigabitカードをおしえてください。 msato> msato> また、このgigabit etherでのSCoreの経験のお持ちの方はご紹介いただければ msato> 幸いです。 Athlon MPXとの組合せでは良く分かりませんが、 http://www.pccluster.org/score/dist/score/html/ja/overview/pm-perf.html に実績のあるNICについてはリストと通信性能のデータがあります。 msato> さとう@筑波大 msato> _______________________________________________ msato> SCore-users-jp mailing list msato> SCore-users-jp @ pccluster.org msato> http://www.pccluster.org/mailman/listinfo/score-users-jp msato> ------ Shinji Sumimoto, Fujitsu Labs From lsimard @ allegrasolutions.com Wed Dec 11 06:07:01 2002 From: lsimard @ allegrasolutions.com (Luc Simard) Date: Tue, 10 Dec 2002 16:07:01 -0500 Subject: [SCore-users-jp] [SCore-users] EIT Never starts Cloning my CLuster Nodes Message-ID: <4869374B8C43AC408B7469F050F8AC2E0D0944@tsunami-1.allegrasolution.allegrasolutions.com> Hello all, As i am testing a small 2 nodes (ether100) cluster before installing 5.2 on our 128nodes. I seem to be stuck. 0) Disk are partitioned according to the specs on the website. 1) I installed Linux 7.3 , stock. I installed everything. 2) Once done, the netwoek is one a non-routable IP set , e.i. 192.168.0.* . 3) I entered my host and cluster nodes in both /etc/hosts and /etc/hosts.allow files. 4) I modified /etc/xinet.d/rsh, turned rsh disable off 5) I modified /etc/securetty by doing echo rsh >> /etc/securetty 6) I've setup NIS. When I type in ypwhich, I get the hostname of my master node. FQHN , aka karate.clumeq.mcgill.ca 7) When I type in : % ypmatch karate.clumeq.mcgill.ca hosts | awk '{print $2}' - I get the right answer, which is my hostname. This command is erronous in the documentation, there is a part missing. The part refering to the NIS map, aka 'hosts' . 8) mount /mnt/cdrom 9) /mnt/cdrom/Install 10) /opt/score/bin/configNIS 11) /opt/score/bin/eit -nisonly 12) Configuration of my hosts and nodes in eit's menus and dialogs. Ether100 selected with SHMEM 'on' and all hosts. 13) Creation of boot floppy. 14) waiting for discovery of a MAC. 15) Boot up of node 1 with floppy in drive ... 16) daemons all started and green, all systems go. 17) discovery of MAC, eit assigns it as Host0 , 192.168.0.1. I didn't start at zero in eit hosts config. I decided to offset by 1 to 1. 18) I wait. 19) waited some more. I opened another shell, tried to ping 192.168.0.1 (first node that booted with floppy), it replies from the pings. 20) 15 Min. have past. What am i doing wrong ? I really want to move to 5.2 , but I also have to test it first . please advise. ls _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From nakata @ bestsystems.co.jp Wed Dec 11 10:49:59 2002 From: nakata @ bestsystems.co.jp (Hisaho Nakata) Date: Wed, 11 Dec 2002 10:49:59 +0900 Subject: [SCore-users-jp] Giga-bit ether and Althon In-Reply-To: <20021210.204746.71086924.s-sumi@flab.fujitsu.co.jp> References: <3DD9F34C.80107@tobata.isc.kyutech.ac.jp> <20021119083007.B2AB020045@neal.il.is.s.u-tokyo.ac.jp> <20021210122211R.msato@is.tsukuba.ac.jp> <20021210.204746.71086924.s-sumi@flab.fujitsu.co.jp> Message-ID: <20021211104959.49659309.nakata@bestsystems.co.jp> 中田@ベストシステムズです。 SCore-5.0.1 + TigerMPX+ Intel Pro/1000-XT での実績はあります。 > msato> SCoreな皆様、 > msato> > msato> gigabit ethernetもだいぶ安くなってきたので、100Baseを1000baseTXに入れ > msato> 換えようと考えています。 > msato> > msato> ノードはAlthon MP で、motherはTyanのTigerMPXです。 > msato> このmotherでPMに相性がいい、gigabitカードをおしえてください。 > msato> > msato> また、このgigabit etherでのSCoreの経験のお持ちの方はご紹介いただければ > msato> 幸いです ======================================================================== 株式会社 ベストシステムズ システムソリューション事業部テクニカルサポート 中田 寿穗 (nakata @ bestsystems.co.jp) 〒110-0016 東京都台東区台東2-18-8 台東K-1ビル 2,3F Tel: 03-5812-1350 Fax: 03-5812-1351 ======================================================================== From hori @ swimmy-soft.com Wed Dec 11 10:50:53 2002 From: hori @ swimmy-soft.com (Atsushi HORI) Date: Wed, 11 Dec 2002 10:50:53 +0900 Subject: [SCore-users-jp] Re: [SCore-users] EIT Never starts Cloning my CLuster Nodes Message-ID: <3122448653.hori0000@swimmy-soft.com> Hi. >19) waited some more. I opened another shell, tried to ping >192.168.0.1 (first node that booted with floppy), it replies from the >pings. >20) 15 Min. have past. What am i doing wrong ? Does the 192.168.0.1 host have a VGA ? If so, connect a video and see what happnes on the host. I guess NFS setting on the EIT server host is wrong, since 192.l68.0.1 host answers the ping. ---- Atsushi HORI Swimmy Software, Inc. _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From suga @ sse.co.jp Wed Dec 11 11:34:04 2002 From: suga @ sse.co.jp (Sugano, Mitsukuni) Date: Wed, 11 Dec 2002 11:34:04 +0900 Subject: [SCore-users-jp] Compiler Message-ID: <3DF6A41C.7BB25394@sse.co.jp> 住商エレクトロニクスの菅野と申します。 お世話になります。 SCoreで、GNU以外のコンパイラを使用する場合、どのような手順 を踏めばよろしいのでしょうか? SCoreのバージョンは、5.0.1または、5.2.0です。 1.コンパイラのインストール 各コンパイラを通常どおりインストール後、 以下の2通りありそうなのですが... (1) 「/opt/score/etc/compilers/site」に、各コンパイラ(intelなら 「intel」)を追加 # cd /opt/score # for tarfile in /mnt/cdrom/source.source/*.tar.gz # do # tar xzf $tarfile # done # cd /opt/score/score-src/runtime/mpi # smake # smake install (2) インテル、PGI、富士通コンパイラのいずれかを一つだけ追加する場合は /opt/score/etc/compilers/site.example.* を /opt/score/etc/compilers/site にコピーするだけですむかもしれません。さらにこの 3 つのコンパイラ についてはバイナリ rpm を用意しています。コンパイラをインストール したあとで、SCore CD-ROM をマウントして # cd /mnt/cdrom/score.rpm # rpm -Uvh *compiler* また、例えば、Intelコンパイラのバージョンを6から7へ上げた場合の 手順はどうなりますでしょうか? 2.コンパイル コンパイルは、 mpicc --compiler=intel myprog.c などとすればよろしいでしょうか? また、デフォルト指定変更はどうすればよろしいでしょうか? 3.実行 mpirun、scrunの実行は、コンパイラ指定オプションはありますか? また、デフォルトはどこを参照するのでしょうか? 以上、基本的な質問で申し訳ございませんが、よろしくお願いいたします。 From kameyama @ pccluster.org Wed Dec 11 12:12:44 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Wed, 11 Dec 2002 12:12:44 +0900 Subject: [SCore-users-jp] Compiler In-Reply-To: Your message of "Wed, 11 Dec 2002 11:34:04 JST." <3DF6A41C.7BB25394@sse.co.jp> Message-ID: <20021211031245.134F920042@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <3DF6A41C.7BB25394 @ sse.co.jp> "Sugano, Mitsukuni" wrotes: > SCoreで、GNU以外のコンパイラを使用する場合、どのような手順 > を踏めばよろしいのでしょうか? > > SCoreのバージョンは、5.0.1または、5.2.0です。 コンパイラの扱いは 5.0.1 と 5.2.0 で異なります. > 1.コンパイラのインストール > > 各コンパイラを通常どおりインストール後、 > > 以下の2通りありそうなのですが... > > (1) > > 「/opt/score/etc/compilers/site」に、各コンパイラ(intelなら > 「intel」)を追加 > > # cd /opt/score > # for tarfile in /mnt/cdrom/source.source/*.tar.gz > # do > # tar xzf $tarfile > # done > # cd /opt/score/score-src/runtime/mpi > # smake > # smake install SCore 5.0.1 もしくは SCore 5.2.0 でも下記のコンパイラ以外の場合は こちらを行ってください. (下記のコンパイラでもコンパイラの version によっては再コンパイル する必要があるかも知れません.) > インテル、PGI、富士通コンパイラのいずれかを一つだけ追加する場合は > /opt/score/etc/compilers/site.example.* を > /opt/score/etc/compilers/site > にコピーするだけですむかもしれません。さらにこの 3 つのコンパイラ > についてはバイナリ rpm を用意しています。コンパイラをインストール > したあとで、SCore CD-ROM をマウントして > > # cd /mnt/cdrom/score.rpm > # rpm -Uvh *compiler* SCore 5.2.0 かつ上記ののコンパイラの場合はこちらを行ってください. > また、例えば、Intelコンパイラのバージョンを6から7へ上げた場合の > 手順はどうなりますでしょうか? Intel compiler としての設定を行っていて, binary の互換性があれば, そのままで動きます. (site ファイルに full path を指定した場合は site ファイルを変更する必要が ありますが...) version 6 と Version 7 の両方を install していて使いわけたい場合は % mpicc -compiler intel -compiler-path /opt/intel/compiler70/ia32/bin/icc ... のように指定します. SCore 5.2.0 の場合は /opt/score/etc/compilers/alias に intel7 intel と書いておいて, site ファイルに mpicc intel=icc intel7=/opt/intel/compiler70/ia32/bin/icc ... のように記述しておけば, mpicc -compiler intel7 ... で version 7 のほうを使用することができます. ただ, Intel C++ コンパイラのリリースノートに 6 と 7 でのバイナリの互換性が無いと書かれていましたので, MPI の再コンパイルが必要になる可能性があります. (cpi は問題無く動きましたので, 多分, C なら大丈夫かも知れません.) > 2.コンパイル > > コンパイルは、 > mpicc --compiler=intel myprog.c > などとすればよろしいでしょうか? はい. > また、デフォルト指定変更はどうすればよろしいでしょうか? SCore 5.0.1 の場合は変更できません. SCore 5.2.0 の場合は site ファイルの先頭にあるのが default になります. また, 環境変数 SCORE_COMPILER に mpicc=intel,mpif77=intel などと設定してあれば, mpicc, mpif77 の default compiler が intel になります. > 3.実行 > > mpirun、scrunの実行は、コンパイラ指定オプションはありますか? > また、デフォルトはどこを参照するのでしょうか? 実行時にはコンパイラは使用しないので, 実行時のコンパイラの指定は無意味です. from Kameyama Toyohisa From suga @ sse.co.jp Wed Dec 11 13:11:49 2002 From: suga @ sse.co.jp (Sugano, Mitsukuni) Date: Wed, 11 Dec 2002 13:11:49 +0900 Subject: [SCore-users-jp] Compiler References: <20021211031245.134F920042@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <3DF6BB05.9DA21769@sse.co.jp> 亀山様: 菅野です。 ご回答ありがとうございました。 今後とも、よろしくお願いいたします。 kameyama @ pccluster.org wrote: > > 亀山です. > > In article <3DF6A41C.7BB25394 @ sse.co.jp> "Sugano, Mitsukuni" wrotes: > > SCoreで、GNU以外のコンパイラを使用する場合、どのような手順 > > を踏めばよろしいのでしょうか? > > > > SCoreのバージョンは、5.0.1または、5.2.0です。 > > コンパイラの扱いは 5.0.1 と 5.2.0 で異なります. > > > 1.コンパイラのインストール > > > > 各コンパイラを通常どおりインストール後、 > > > > 以下の2通りありそうなのですが... > > > > (1) > > > > 「/opt/score/etc/compilers/site」に、各コンパイラ(intelなら > > 「intel」)を追加 > > > > # cd /opt/score > > # for tarfile in /mnt/cdrom/source.source/*.tar.gz > > # do > > # tar xzf $tarfile > > # done > > # cd /opt/score/score-src/runtime/mpi > > # smake > > # smake install > > SCore 5.0.1 もしくは SCore 5.2.0 でも下記のコンパイラ以外の場合は > こちらを行ってください. > (下記のコンパイラでもコンパイラの version によっては再コンパイル > する必要があるかも知れません.) > > > インテル、PGI、富士通コンパイラのいずれかを一つだけ追加する場合は > > /opt/score/etc/compilers/site.example.* を > > /opt/score/etc/compilers/site > > にコピーするだけですむかもしれません。さらにこの 3 つのコンパイラ > > についてはバイナリ rpm を用意しています。コンパイラをインストール > > したあとで、SCore CD-ROM をマウントして > > > > # cd /mnt/cdrom/score.rpm > > # rpm -Uvh *compiler* > > SCore 5.2.0 かつ上記ののコンパイラの場合はこちらを行ってください. > > > また、例えば、Intelコンパイラのバージョンを6から7へ上げた場合の > > 手順はどうなりますでしょうか? > > Intel compiler としての設定を行っていて, binary の互換性があれば, > そのままで動きます. > (site ファイルに full path を指定した場合は site ファイルを変更する必要が > ありますが...) > version 6 と Version 7 の両方を install していて使いわけたい場合は > % mpicc -compiler intel -compiler-path /opt/intel/compiler70/ia32/bin/icc ... > のように指定します. > > SCore 5.2.0 の場合は > /opt/score/etc/compilers/alias > に > intel7 intel > と書いておいて, site ファイルに > mpicc intel=icc intel7=/opt/intel/compiler70/ia32/bin/icc ... > のように記述しておけば, > mpicc -compiler intel7 ... > で version 7 のほうを使用することができます. > > ただ, Intel C++ コンパイラのリリースノートに > 6 と 7 でのバイナリの互換性が無いと書かれていましたので, > MPI の再コンパイルが必要になる可能性があります. > (cpi は問題無く動きましたので, 多分, C なら大丈夫かも知れません.) > > > 2.コンパイル > > > > コンパイルは、 > > mpicc --compiler=intel myprog.c > > などとすればよろしいでしょうか? > > はい. > > > また、デフォルト指定変更はどうすればよろしいでしょうか? > > SCore 5.0.1 の場合は変更できません. > SCore 5.2.0 の場合は site ファイルの先頭にあるのが > default になります. > また, 環境変数 SCORE_COMPILER に > mpicc=intel,mpif77=intel > などと設定してあれば, mpicc, mpif77 の default compiler が > intel になります. > > > 3.実行 > > > > mpirun、scrunの実行は、コンパイラ指定オプションはありますか? > > また、デフォルトはどこを参照するのでしょうか? > > 実行時にはコンパイラは使用しないので, > 実行時のコンパイラの指定は無意味です. > > from Kameyama Toyohisa From kouchi @ fasol.fujitsu.com Wed Dec 11 14:35:20 2002 From: kouchi @ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Wed, 11 Dec 2002 14:35:20 +0900 Subject: [SCore-users-jp] scoredについて Message-ID: <200212110535.AA00116@kouchi01.fasol.fujitsu.com> メーリングリスト一同様 いつもお世話になっております。 富士通アドバンストソリューションズの幸地です。 PC Clusterにつきまして、以下の現象が生じております。 どなたか現象の調査方法についてご存知の方が いらっしゃいましたらお願い致します。 現象:scoredを走らせると、各ノードからの応答がない。 マシンがフリーズするのではなく、シェルの反応がなくなり、 telnetやsshでアクセスすると、loginやpassword入力前に反応がないままである。 pingではレスポンスが帰ってくる。 OS(サーバ) RedHat Linux 7.2 Cluster SCore 5.2.0 EITを使用してインストール http://www.pccluster.org/のドキュメント内のテストは以下の状況です。 SCOUT Test Procedure → 完了 PMテスト手順 → 完了 以上、よろしくお願いします。 -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi @ fasol.fujitsu.com -------------------------------------------------- From kameyama @ pccluster.org Wed Dec 11 14:55:30 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Wed, 11 Dec 2002 14:55:30 +0900 Subject: [SCore-users-jp] scoredについて In-Reply-To: Your message of "Wed, 11 Dec 2002 14:35:20 JST." <200212110535.AA00116@kouchi01.fasol.fujitsu.com> Message-ID: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <200212110535.AA00116 @ kouchi01.fasol.fujitsu.com> Hiroyuki KOUCHI wrotes: > PC Clusterにつきまして、以下の現象が生じております。 > どなたか現象の調査方法についてご存知の方が > いらっしゃいましたらお願い致します。 > > 現象:scoredを走らせると、各ノードからの応答がない。 > マシンがフリーズするのではなく、シェルの反応がなくなり、 > telnetやsshでアクセスすると、loginやpassword入力前に反応がないままである。 > pingではレスポンスが帰ってくる。 特に Myrinet を使用している場合は compute host で IRQ が 重複していないか確認してください. PM/Ethernet の場合は NIC に依存する可能性がありますので, どのような NIC およびドライバを使用しているか教えてください. from Kameyama Toyohisa From hori @ swimmy-soft.com Wed Dec 11 15:11:37 2002 From: hori @ swimmy-soft.com (Atsushi HORI) Date: Wed, 11 Dec 2002 15:11:37 +0900 Subject: [SCore-users-jp] Resource limit エラーについて In-Reply-To: <20021205082518.8F2F.EAST@nil.co.jp> References: <20021205082518.8F2F.EAST@nil.co.jp> Message-ID: <3122464297.hori0003@swimmy-soft.com> 堀@スイミー・ソフトウェアです. お返事遅くなりました. >1. 各エラーメッセージが 表示される条件の詳細 > ・Physical.... プログラム実行に必要な論理アドレス空間の合計(SMPの場合はそれぞれのプ ロセスの論路空間サイズの和)が実メモリよりも大きくなるとこのメッセージ がでます. > ・Memory.... 論理アドレス空間の大きさが実メモリ+スワップの大きさを越えた時にこうな ります. > ・SIGNAL EXCEPTION... 例外シグナル(ここではSIGHUP)が発生しています.何故このシグナルが発生 したかは分かりません. > ・Resorce limit 論理アドレス空間の大きさが実メモリ+スワップの大きさを越えると SCore-DがLinuxカーネルに殺される可能性があるため,このような状況になる とSCore-Dは(自衛のため)ユーザプロセスを殺します. >2.scrun の -resource オプションにて > ・要求メモリ量とはなにか. scrun を実行すると,scrunが実行されたホスト上で(クラスタの計算ホスト ではない),指定されたユーザプログラムを実行します.この要求メモリとは その時のメモリ使用量(論理空間の大きさ)です. ---- 堀 敦史(ほり あつし) スイミー・ソフトウェア株式会社 From kouchi @ fasol.fujitsu.com Wed Dec 11 15:50:24 2002 From: kouchi @ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Wed, 11 Dec 2002 15:50:24 +0900 Subject: [SCore-users-jp] scoredについて In-Reply-To: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp> References: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <200212110650.AA00118@kouchi01.fasol.fujitsu.com> 亀山様 早速のレスポンスありがとうございます。 幸地です。 >特に Myrinet を使用している場合は compute host で IRQ が >重複していないか確認してください. >PM/Ethernet の場合は NIC に依存する可能性がありますので, >どのような NIC およびドライバを使用しているか教えてください. 情報が不足していたので追加して、回答させてください。 宜しくお願い致します。 シングルユーザモードでは、mpiのテストプログラムは、動作します。 # scout -g "クラスタグループ名" # scrun -nodes="ノード数" "テストプログラム マルチユーザ環境になることができません。 # scout -g "クラスタグループ名" # scored scoredのコマンドを実行後にコマンドプロンプトが、数秒後でも帰ってきません。 NICは、IntelのEtherExpressPro 100を全ノード使用しております。 ドライバーは、eepro100.oのモジュールが動作しております。 宜しくお願い致します。 以上です。 -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi @ fasol.fujitsu.com -------------------------------------------------- From hori @ swimmy-soft.com Wed Dec 11 16:01:32 2002 From: hori @ swimmy-soft.com (Atsushi HORI) Date: Wed, 11 Dec 2002 16:01:32 +0900 Subject: [SCore-users-jp] scoredについて In-Reply-To: <200212110650.AA00118@kouchi01.fasol.fujitsu.com> References: <20021211055530.529B920042@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <3122467292.hori0006@swimmy-soft.com> 堀@スイミー・ソフトウェアです. >マルチユーザ環境になることができません。 > ># scout -g "クラスタグループ名" ># scored > >scoredのコマンドを実行後にコマンドプロンプトが、数秒後でも帰ってきません。 scored コマンドは陽に終了させるまで終わりませんので,これで正常に動い ていることになります. ---- 堀 敦史(ほり あつし) スイミー・ソフトウェア株式会社 From kouchi @ fasol.fujitsu.com Wed Dec 11 17:08:11 2002 From: kouchi @ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Wed, 11 Dec 2002 17:08:11 +0900 Subject: [SCore-users-jp] scoredについて In-Reply-To: <3122467292.hori0006@swimmy-soft.com> References: <3122467292.hori0006@swimmy-soft.com> Message-ID: <200212110808.AA00119@kouchi01.fasol.fujitsu.com> 堀様 亀山様 ご回答いただきありがとうございます。幸地です。 >scored コマンドは陽に終了させるまで終わりませんので,これで正常に動い >ていることになります. コマンドを実行した時のログを以下に示します。 正常に動作しているとのことでしたが、scoredコマンド実行後 何のメッセージも出力されません。 # expor SCBDSERV=`hostname` # export PATH=$PATH:/opt/score/bin:/opt/score/sbin:/opt/score/deploy # scout -g "クラスタグループ名" SCOUT: Spawning done. SCOUT: Session started. # scored (以降何も表示されない) コンピュータホストロッククライアント(msgd)を表示させると、 全ノードは赤色に変わったままです。 $ scrun -scored="クラスタサーバ" ./hello FEP: Unable to connect with SCore-D FEP:ERROR Neither SCOUT environment nor SCore-D server. $ scrun -scored="クラスタサーバ" ./hello No such group or hostname FEP:ERROR Neither SCOUT environment nor SCore-D server. # sc_console "クラスタサーバ名" -c shutdown Unable to connect with "クラスタサーバ名":9991. 9991番ポートが開いていない?? /var/log/messagesには特に何も出力されていません。 以上、よろしくお願いします。 -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi @ fasol.fujitsu.com -------------------------------------------------- From hori @ swimmy-soft.com Wed Dec 11 17:22:47 2002 From: hori @ swimmy-soft.com (Atsushi HORI) Date: Wed, 11 Dec 2002 17:22:47 +0900 Subject: [SCore-users-jp] scoredについて In-Reply-To: <200212110808.AA00119@kouchi01.fasol.fujitsu.com> References: <3122467292.hori0006@swimmy-soft.com> Message-ID: <3122472167.hori0007@swimmy-soft.com> 堀@スイミー・ソフトウェアです. ># expor SCBDSERV=`hostname` ># export PATH=$PATH:/opt/score/bin:/opt/score/sbin:/opt/score/deploy ># scout -g "クラスタグループ名" >SCOUT: Spawning done. >SCOUT: Session started. ># scored >(以降何も表示されない) ひょっとして,このまましばらく(数十分)待つとメッセージが(ゆっくりと !)出たりしませんか? ---- 堀 敦史(ほり あつし) スイミー・ソフトウェア株式会社 From kouchi @ fasol.fujitsu.com Wed Dec 11 17:28:37 2002 From: kouchi @ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Wed, 11 Dec 2002 17:28:37 +0900 Subject: [SCore-users-jp] scoredについて In-Reply-To: <3122472627.hori0008@swimmy-soft.com> References: <3122472627.hori0008@swimmy-soft.com> Message-ID: <200212110828.AA00120@kouchi01.fasol.fujitsu.com> 堀様 ご迷惑をおかけ致しております。 幸地です。 >堀@スイミー・ソフトウェアです. > >>># expor SCBDSERV=`hostname` >>># export PATH=$PATH:/opt/score/bin:/opt/score/sbin:/opt/score/deploy >>># scout -g "クラスタグループ名" >>>SCOUT: Spawning done. >>>SCOUT: Session started. >>># scored >>>(以降何も表示されない) >> >>ひょっとして,このまましばらく(数十分)待つとメッセージが(ゆっくりと >>!)出たりしませんか? 数十分待っていますが、反応がありません。 >もうひとつ.cat /proc/interrupt の出力を送ってください. /proc/interrupt の出力結果です。 CPU0 0: 52957281 XT-PIC timer 1: 3 XT-PIC keyboard 2: 0 XT-PIC cascade 8: 1 XT-PIC rtc 10: 984891 XT-PIC eth0 14: 186521 XT-PIC ide0 15: 13 XT-PIC ide1 NMI: 0 LOC: 52958513 ERR: 0 MIS: 0 -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi @ fasol.fujitsu.com -------------------------------------------------- From shmz @ crl.hitachi.co.jp Wed Dec 11 22:56:07 2002 From: shmz @ crl.hitachi.co.jp (masaaki shimizu) Date: Wed, 11 Dec 2002 22:56:07 +0900 Subject: [SCore-users-jp] SCore ジョブのアカウンティングについて Message-ID: <200212111358.gBBDwA4n013854@crl.hitachi.co.jp> お世話になります。日立製作所の清水です。 SCore上で動かしたジョブのアカウンティングについて お伺いしたく、こちらのメーリングリストに投げさせていただきました。 redhat linuxではpsacctパッケージを使えばacct(プロセスアカウント) を取れるようになりますが、SCoreクラスタとしてみた際に、 scrunやscoredから並列プログラムを実行した際に、何ノードで何分 どのオーナーのプログラムを実行したというlogは出力させる ことはできるのでしょうか? 各ノードのacctの結果をマージするという方法もありますが、 ディスパッチする側で取れていればありがたいのですが。 ------------------------------------------------------ (株)日立製作所 中央研究所 プラットフォームシステム研究部 625研究ユニット 清水正明 shmz @ crl.hitachi.co.jp (042-323-1111) From east @ nil.co.jp Thu Dec 12 12:10:58 2002 From: east @ nil.co.jp (satoshi higashizaki) Date: Thu, 12 Dec 2002 12:10:58 +0900 Subject: [SCore-users-jp] Resource limit エラーについて In-Reply-To: <3122464297.hori0003@swimmy-soft.com> References: <20021205082518.8F2F.EAST@nil.co.jp> <3122464297.hori0003@swimmy-soft.com> Message-ID: <20021212120326.E735.EAST@nil.co.jp> 堀様; ありがとうございました. 教えていただいた内容から,自分が勘違いしていた箇所も確認できました. これを踏まえて もう少し調べてみます. これからも,よろしくお願いいたします. On Wed, 11 Dec 2002 15:11:37 +0900 Atsushi HORI wrote: > 堀@スイミー・ソフトウェアです. > > お返事遅くなりました. > > >1. 各エラーメッセージが 表示される条件の詳細 > > ・Physical.... > > プログラム実行に必要な論理アドレス空間の合計(SMPの場合はそれぞれのプ > ロセスの論路空間サイズの和)が実メモリよりも大きくなるとこのメッセージ > がでます. > > > ・Memory.... > > 論理アドレス空間の大きさが実メモリ+スワップの大きさを越えた時にこうな > ります. > > > ・SIGNAL EXCEPTION... > > 例外シグナル(ここではSIGHUP)が発生しています.何故このシグナルが発生 > したかは分かりません. > > > ・Resorce limit > > 論理アドレス空間の大きさが実メモリ+スワップの大きさを越えると > SCore-DがLinuxカーネルに殺される可能性があるため,このような状況になる > とSCore-Dは(自衛のため)ユーザプロセスを殺します. > > >2.scrun の -resource オプションにて > > ・要求メモリ量とはなにか. > > scrun を実行すると,scrunが実行されたホスト上で(クラスタの計算ホスト > ではない),指定されたユーザプログラムを実行します.この要求メモリとは > その時のメモリ使用量(論理空間の大きさ)です. Name : Satoshi Higashizaki E_mail : east @ nil.co.jp Company : Nil Software corp. From kameyama @ pccluster.org Thu Dec 12 18:27:35 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 12 Dec 2002 18:27:35 +0900 Subject: [SCore-users-jp] SCore ジョブのアカウンティングについて In-Reply-To: Your message of "Wed, 11 Dec 2002 22:56:07 JST." <200212111358.gBBDwA4n013854@crl.hitachi.co.jp> Message-ID: <20021212092735.C0DC620042@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <200212111358.gBBDwA4n013854 @ crl.hitachi.co.jp> masaaki shimizu wrotes: > redhat linuxではpsacctパッケージを使えばacct(プロセスアカウント) > を取れるようになりますが、SCoreクラスタとしてみた際に、 > scrunやscoredから並列プログラムを実行した際に、何ノードで何分 > どのオーナーのプログラムを実行したというlogは出力させる > ことはできるのでしょうか? multi user mode であれば, sc_syslog を使用して scored の出力を ファイルに出力する機能があり, 2/Dec/2002 18:56:36 SYSLOG: Login accepted: kameyama @ server.pccluster.org:34160 , JID: 1, Hosts: 8(4x2)@0, Priority: 1, Command: system date 12/Dec/2002 18:56:37 SYSLOG: Logout: kameyama @ server.pccluster.org:34160, JOB-ID : 1, CPU Time: 601.0[m] というような情報を得ることはできます. ただ, この 2 行はコマンドの開始と終了に出力されるため, 間に別の行が入る 可能性があります. なお, sc_syslog の起動のしかたなどは, http://www.pccluster.org/score/dist/score/html/ja/reference/scored/scbcast.html を参照してください. from Kameyama Toyohisa From rguenth @ tat.physik.uni-tuebingen.de Thu Dec 12 19:15:30 2002 From: rguenth @ tat.physik.uni-tuebingen.de (Richard Guenther) Date: Thu, 12 Dec 2002 11:15:30 +0100 (CET) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp> Message-ID: On Tue, 10 Dec 2002, Shinji Sumimoto wrote: > rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions > rguenth> called? Maybe we can see a pattern to the problem. > > MPICH/SCore also has -mpi_log option like MPICH. But, if the program > runs a couple of minuites, logs becomes huge and difficult to analize. It seems somebody had the great idea of mounting a 64mb /tmp on our clusters nodes and I cant get mpe to log to /work (it seems to ignore all attempts to set the TMPDIR environment as it states I should do). So no progress on debugging the thing. Oh well, Richard. -- Richard Guenther WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From rguenth @ tat.physik.uni-tuebingen.de Thu Dec 12 23:35:29 2002 From: rguenth @ tat.physik.uni-tuebingen.de (Richard Guenther) Date: Thu, 12 Dec 2002 15:35:29 +0100 (CET) Subject: [SCore-users-jp] Re: [SCore-users] Races inside SCore(?) In-Reply-To: <20021210.011905.74751793.s-sumi@bd6.so-net.ne.jp> Message-ID: On Tue, 10 Dec 2002, Shinji Sumimoto wrote: > rguenth> Is there a option to SCore to allow tracing/logging of the MPI functions > rguenth> called? Maybe we can see a pattern to the problem. > > MPICH/SCore also has -mpi_log option like MPICH. But, if the program > runs a couple of minuites, logs becomes huge and difficult to analize. Got it to work - but I cannot reproduce the problem while logging, and logviewer chokes on the 400MB logfile for one iteration (probably the polling logs are just horrible) :/ Richard. -- Richard Guenther WWW: http://www.tat.physik.uni-tuebingen.de/~rguenth/ _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From mykrol @ cyf-kr.edu.pl Fri Dec 13 01:33:52 2002 From: mykrol @ cyf-kr.edu.pl (Marcin Krol) Date: Thu, 12 Dec 2002 17:33:52 +0100 (MET) Subject: [SCore-users-jp] [SCore-users] EIT5.2.0 installation problem Message-ID: Dear SCore users, In order to install SCore 5.2.0 with EIT I prepared a server machine as described, NIS is working, installed SCore on the server, run EIT. Everything went fine, I just follwed the instructions. Installation floppy disk was created, I put it into a first working node, the node booted and wrote an error message: [...] USING EIT5 FEATURE mounting /proc filesystem... done Testing ............. No dhcp_server specified. Used Broadcast SIOCSIFADDR: No such device Try it again [repeat 3x] Configure Network fails done NFS mount : /mnt/runtime Cannot mount exiting See the documentation for this trouble As i have different ethernet cards in server and compute nodes (Realtek|RTL-8139/8139C on the server, Silicon Integrated Systems [SiS] |SiS900 10/100 Ethernet on the compute nodes), I changed the driver on the installation floppy as described on www.pccluster.org to sis900, but it still doesn't work. I don't quite understand why a compute node looks for dhcp, there is no dhcp server in my sub-network. Shouldn't it just mount /mnt/cdrom from the server? I'd be grateful if anyone could help me, as I am stuck at the moment... Thank you in advance Marcin _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From eugenpc2 @ bluewin.ch Fri Dec 13 08:29:13 2002 From: eugenpc2 @ bluewin.ch (e.paiuc) Date: Fri, 13 Dec 2002 00:29:13 +0100 Subject: [SCore-users-jp] [SCore-users] Re: Debian 2.4.18 References: <3DF66AB6.90706@bluewin.ch> Message-ID: <3DF91BC9.6070100@bluewin.ch> e.paiuc wrote: Dear SCore users, I'd like to use SCore 5.2.0 for debian 3.0r0 (woody) -i386-debian-linux2_4-. I have some problems to install it. I'm a beginner so I'll appreciate any detailed explanation . Thanks for any reply Cheers, eugen paiuc ....................................................................... > >> From hermann.lauer @ iwr.uni-heidelberg.de Mon Nov 11 17:00:33 2002 >> From: hermann.lauer @ iwr.uni-heidelberg.de (Hermann Lauer) >> Date: Mon, 11 Nov 2002 18:00:33 +0100 >> Subject: [SCore-users] sc_watch did'nt recognize crash of scored.exe >> on one node >> Message-ID: <20021111180033.B12371 @ lemon.iwr.uni-heidelberg.de> > > >> Dear Score Users, > > >> score-5.0.1 stopped with the following error in sc_watch: > > >> <194> ULT: Exception Signal (11) > > >> SCOUT: Session done. >> [10/Nov/2002,00:37:45] System failure detected. >> [10/Nov/2002,00:37:45] System has been shutdown. >> [10/Nov/2002,00:37:45] Local Action: /opt/score/etc/replace.sh >> [10/Nov/2002,00:37:57] Rebooting System [3 times, second retry]: >> /opt/score/deploy/*bin.i386-debian-linux2_4*/scored.exe > > > ........................................................................................................... > > > _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kameyama @ pccluster.org Fri Dec 13 20:37:59 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Fri, 13 Dec 2002 20:37:59 +0900 Subject: [SCore-users-jp] Re: [SCore-users] EIT5.2.0 installation problem In-Reply-To: Your message of "Thu, 12 Dec 2002 17:33:52 JST." Message-ID: <20021213113759.76C8D20046@neal.il.is.s.u-tokyo.ac.jp> In article Marcin Krol wrotes: > As i have different ethernet cards in server and compute nodes > (Realtek|RTL-8139/8139C on the server, Silicon Integrated Systems [SiS] > |SiS900 10/100 Ethernet on the compute nodes), I changed the driver on the > installation floppy as described on www.pccluster.org to sis900, but it > still doesn't work. Please look at console 3 (CNTL-ALT-F3) and console 4 (CNTL-ALT-F4). The cionsole 3 shows install log. If you don't find sis900 in console 3, Please check pcitable and module-info file in initrd on the floppy disk. If you find sis900 in console 3, please look at console 4. The sonsole 4 shows kernel log. If sis900 module installation will be fail, you may be find its reason in console 4 messages. > I don't quite understand why a compute node looks for > dhcp, there is no dhcp server in my sub-network. Shouldn't it just mount > /mnt/cdrom from the server? EIT use DHCP protocol with poret number 1641. Please read Overview of Installation in EIT installation guide: http://www.pccluster.org/score/dist/score/html/en/installation/eit.html from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From christmas @ seekercenter.net Sun Dec 15 07:07:59 2002 From: christmas @ seekercenter.net (=?iso-2022-jp?b?Y2hyaXN0bWFzIBskQiF3GyhCIHNlZWtlcmNlbnRlci5uZXQ=?=) Date: Sun, 15 Dec 2002 06:07:59 +0800 Subject: [SCore-users-jp] [SCore-users] http://www.pccluster.org/mailman/listinfo/score-users/ Message-ID: <200212142205.gBEM5SS22784@pccluster.org> Dear Sir/Madam, Thanks for your support to SeekerCenter WebPromoter! In the coming Christmas please accept our deep appreciation and warm greetings for your kindly support and understanding! SeekerCenter has developed and is still working over website promotion services, including its WebPromoter and Traffic Tracker. By using SeekerCenter WebPromoter developed in millenium, you can have your website registered to search engines & directories soon, and expect to see your pageviews increasing quickly and effectively. In return, the increase of pageviews will also improve your rank in search queries. By utilizing Traffic Tracker you can effectively record and analyze the traffic to your website and create a click report for reference. With our website promotion services, you can make the best of great marketing opportunities in today's e-times. In the coming Christmas we'd like to offer you SeekerCenter website promotion services for 7 days FREE! In these 7 days our technical professionals will submit your site to big search engines & directories worldwide, and you will see your pageviews increasing instantly. The submission report and click report are ready in the Member Area. We sincerely hope that it can bring more exposure to your business in the New Year! Should you need more info please visit http://christmas.seekercenter.net or contact support @ seekercenter.net. All your advice will be highly appreciated! Wish you all good luck in your business! Merry Xmas & Happy New Year! Best wishes, Albert Shawn SeekerCenter Inc. -------------- next part -------------- HTMLの添付ファイルを保管しました... URL: From nrcb @ streamline-computing.com Sun Dec 15 09:24:57 2002 From: nrcb @ streamline-computing.com (Nick Birkett) Date: Sun, 15 Dec 2002 00:24:57 +0000 Subject: [SCore-users-jp] [SCore-users] kernel SCORE Message-ID: <200212150024.gBF0OwX03739@zeralda.streamline.com> Is there any reason not to run the 2.4.18-3SCORE kernel under SCore 5.0.1 ? I think the 3SCORE kernel has newer Intel Gigabit drivers and works much better. Thanks, Nick _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kameyama @ pccluster.org Mon Dec 16 10:09:10 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Mon, 16 Dec 2002 10:09:10 +0900 Subject: [SCore-users-jp] Re: [SCore-users] kernel SCORE In-Reply-To: Your message of "Sun, 15 Dec 2002 00:24:57 JST." <200212150024.gBF0OwX03739@zeralda.streamline.com> Message-ID: <20021216010910.210CB20046@neal.il.is.s.u-tokyo.ac.jp> In article <200212150024.gBF0OwX03739 @ zeralda.streamline.com> Nick Birkett wrotes: > Is there any reason not to run the 2.4.18-3SCORE kernel under SCore 5.0.1 ? Because SCore 5.2 kernel change PM/Myrinet memoory map layout for IA64 (16 KB pagesize). > I think the 3SCORE kernel has newer Intel Gigabit drivers and works much > better. You can change that's driver only. from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From mykrol @ cyf-kr.edu.pl Tue Dec 17 01:18:21 2002 From: mykrol @ cyf-kr.edu.pl (Marcin Krol) Date: Mon, 16 Dec 2002 17:18:21 +0100 (MET) Subject: [SCore-users-jp] Re: [SCore-users] EIT5.2.0 installation problem In-Reply-To: <20021213113759.76C8D20046@neal.il.is.s.u-tokyo.ac.jp> Message-ID: > > As i have different ethernet cards in server and compute nodes > > (Realtek|RTL-8139/8139C on the server, Silicon Integrated Systems [SiS] > > |SiS900 10/100 Ethernet on the compute nodes), I changed the driver on the > > installation floppy as described on www.pccluster.org to sis900, but it > > still doesn't work. > > Please look at console 3 (CNTL-ALT-F3) and console 4 (CNTL-ALT-F4). > The cionsole 3 shows install log. > If you don't find sis900 in console 3, > Please check pcitable and module-info file > in initrd on the floppy disk. > If you find sis900 in console 3, please look at console 4. > The sonsole 4 shows kernel log. > If sis900 module installation will be fail, you may be find its reason > in console 4 messages. Thanks! It is working now! The reason was I haven't added the information about sis900 to the module-info file. Marcin _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From jcmcknny @ uiuc.edu Tue Dec 17 17:49:25 2002 From: jcmcknny @ uiuc.edu (jon) Date: Tue, 17 Dec 2002 02:49:25 -0600 Subject: [SCore-users-jp] [SCore-users] Will my config work with SCore? Message-ID: <005401c2a5a9$370bee20$3027fea9@jonxp> Hi, I wanted to verify my understanding of SCore. I (UIUC Astronomy dept.) plan on getting 12 Tyan Tiger i7500 dual-Xeon MB's with 2.4Ghz Xeon's, with onboard e1000 gigabit, running RH7.3. We have a HP Procurve 5308xl switch (stupid with no jumbo frames, but ok). Why? Because SCore apparently does pretty well with the e1000, among other things (latency is a big issue for us). We'd like to run the Intel Compiler 7.0 for our codes, including icc (c/c++) and ifc (F90/F95). Gcc 3.2 support is also necessary for stuff like Chombo-viz. What's the issue with compilers? Is the issue just about how to compile SCore itself? Or actual programs of the user? I'm a bit confused about what's broken if anything. I read about certain problems with F90 lately. Can someone that's experienced with actual installation tell me about what problems I will encounter, and anything I'm not thinking about? :) Thanks! Jonathan McKinney UIUC Center for Theoretical Astrophysics NCSA _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kameyama @ pccluster.org Tue Dec 17 18:47:00 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Tue, 17 Dec 2002 18:47:00 +0900 Subject: [SCore-users-jp] Re: [SCore-users] Will my config work with SCore? In-Reply-To: Your message of "Tue, 17 Dec 2002 02:49:25 JST." <005401c2a5a9$370bee20$3027fea9@jonxp> Message-ID: <20021217094701.00C8120046@neal.il.is.s.u-tokyo.ac.jp> In article <005401c2a5a9$370bee20$3027fea9 @ jonxp> "jon" wrotes: > We'd like to run the Intel Compiler 7.0 for our codes, including icc > (c/c++) and ifc (F90/F95). Gcc 3.2 support is also necessary for stuff > like Chombo-viz. > What's the issue with compilers? Is the issue just about how to compile > SCore itself? Or actual programs of the user? I'm a bit confused about > what's broken if anything. In SCore 5.2, Intel compiler binary is included. But... 1. It's binary compiled by Interl compiler version 6.0. But this version is not binary compatibirity between 7.0. (Please see /opt/intel/compiler70/docs/C++ReleaseNotes.htm) 2. You cannot use Fortran 90 compiler. We cannot compile Fortran 90 module with Intel compiler version 6.0. Fortran 90 with mpich 1.2.4/SCore has bug. Therefor, Please apply patch by: http://www.pccluster.org/pipermail/score-users-jp/2002-December/001033.html And re-compile mpich module. SCore 5.2 binary is compiled with gcc 2.96 (redhat 7.2 default compiler). I think, you can use MPI program with gcc 3.2 (mpicc with -compiler-path option). But becase C++ standard library is changed, you may not compile C++ programs with MPI C++ bindings. You cannot compile SCore with Intel compiler. SCore source includes gcc depended functions (for example, include kernel header file.) You cannot compile SCore 5.2 itself with gcc 3.2. SCore 5.2 has incompatibirity with gcc 3.2 (for example cpp output format is changed, "#ifdef not" does not work with C++). from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From emile.carcamo @ nec.fr Wed Dec 18 19:34:16 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Wed, 18 Dec 2002 11:34:16 +0100 Subject: [SCore-users-jp] [SCore-users] GM availability on SCore, when ??? Message-ID: <200212181034.gBIAYG605577@emilepc.ess.nec.fr> Dear list members, When running some MPI benchmarks on Myrinet-2k, we noticed that performance is much-much better using 'GM' rather than PM. Problem is that 'GM' is not that much integrated with SCore until now (no checkpoint/restart, rcp-all won't work, needs a kernel rebuild on nodes, etc... etc...). As far as I know, PM is an older version of 'GM' (was maybe GPL licensed at that time ?). But GM offers the capability to run TCP/IP on top of it : you can do 'ifconfig myri0 up' on each node then do some NFS mounts if you wish pretty cool stuff ;-) Are there any plans to integrate GM under SCore and to have the capability to switch either PM or GM as kernel modules (just doing insmod/rmmod !!). Many thanks for your feedback on that important issue, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / The tar-balls I've downloaded from the Myricom WEB site : ------------------------------------------------------- -rw-r----- 1 emile carcamo 12463332 Nov 18 20:09 mpich-1.2.4..8a.tar.gz -rw-r----- 1 emile carcamo 5814426 Nov 18 19:42 gm-1.6.3_Linux.tar.gz _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ flab.fujitsu.co.jp Wed Dec 18 19:53:52 2002 From: s-sumi @ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Wed, 18 Dec 2002 19:53:52 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? In-Reply-To: <200212181034.gBIAYG605577@emilepc.ess.nec.fr> References: <200212181034.gBIAYG605577@emilepc.ess.nec.fr> Message-ID: <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp> Hi. Have you used mpi_zerocopy=on on your benchmark? The default option MPICH/SCore is mpi_zerocopy=off. Which benchmark are you using? Could you show the performance results? From: Emile CARCAMO Subject: [SCore-users] GM availability on SCore, when ??? Date: Wed, 18 Dec 2002 11:34:16 +0100 Message-ID: <200212181034.gBIAYG605577 @ emilepc.ess.nec.fr> carcamo> When running some MPI benchmarks on Myrinet-2k, we noticed that performance carcamo> is much-much better using 'GM' rather than PM. Problem is that 'GM' is not carcamo> that much integrated with SCore until now (no checkpoint/restart, rcp-all carcamo> won't work, needs a kernel rebuild on nodes, etc... etc...). carcamo> carcamo> As far as I know, PM is an older version of 'GM' (was maybe GPL licensed at carcamo> that time ?). But GM offers the capability to run TCP/IP on top of it : you carcamo> can do 'ifconfig myri0 up' on each node then do some NFS mounts if you wish carcamo> pretty cool stuff ;-) PM is complete different from GM, built from scrach. You will know if you see the source code of PM and GM. Shinji. carcamo> Are there any plans to integrate GM under SCore and to have the capability carcamo> to switch either PM or GM as kernel modules (just doing insmod/rmmod !!). carcamo> carcamo> Many thanks for your feedback on that important issue, and best regards. carcamo> carcamo> -- carcamo> Emile_CARCAMO NEC European http://www.ess.nec.de carcamo> System Engineer Supercomputer mailto:emile.carcamo @ nec.fr carcamo> Systems France GSM mailto:emile.carcamo @ orange.fr carcamo> (+33)1-3930-6601 FAX carcamo> (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ carcamo> (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / carcamo> carcamo> The tar-balls I've downloaded from the Myricom WEB site : carcamo> ------------------------------------------------------- carcamo> -rw-r----- 1 emile carcamo 12463332 Nov 18 20:09 mpich-1.2.4..8a.tar.gz carcamo> -rw-r----- 1 emile carcamo 5814426 Nov 18 19:42 gm-1.6.3_Linux.tar.gz carcamo> carcamo> carcamo> carcamo> _______________________________________________ carcamo> SCore-users mailing list carcamo> SCore-users @ pccluster.org carcamo> http://www.pccluster.org/mailman/listinfo/score-users carcamo> ------ Shinji Sumimoto, Fujitsu Labs _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From mykrol @ cyf-kr.edu.pl Thu Dec 19 01:15:20 2002 From: mykrol @ cyf-kr.edu.pl (Marcin Krol) Date: Wed, 18 Dec 2002 17:15:20 +0100 (MET) Subject: [SCore-users-jp] [SCore-users] PM/Ethrnet Message-ID: Hello, I have installed SCore 5.2.0 using EIT on just two nodes - the server is a compute node as well. The server and the other node have different ethrenet cards. During the installation I had to add sis900.o driver to the boot diskette, but the it went smoothly. After the installation all score programs failed and I noticed that pm_ethernet does not work. When I wanted to run it on the server node (# /etc/init.d/pm_ethernet start) I got the error message etherpmctl: ERROR on unit 0 :"Operation not supported (95)" On the compute node the error was: etherpmctl: Error on unit 0: " Device or resource busy (16)" What's wrong? Thanks in advance for your answer. Marcin _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From e973220 @ eve.u-ryukyu.ac.jp Wed Dec 18 22:16:24 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Wed, 18 Dec 2002 22:16:24 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: <200212111358.gBBDwA4n013854@crl.hitachi.co.jp> Message-ID: This is a multi-part message in MIME format. ------=_NextPart_000_0000_01C2A6E3.1A1D25A0 Content-Type: text/plain; charset="iso-2022-jp" Content-Transfer-Encoding: 7bit こんにちわ。 琉球大の金城です。 今回、PETScのインストール方法についての 質問のためにメールをさせてもらっております。 ご回答を頂く事ができたら非常に幸いです。 【環境】 Red Hat 7.3 (フルインストール) SCore 5.0.1 【達成したいこと】 PETScのインストール 【設定においてエラーがでてきたところ】 □ ひとつ [kinjo @ scic99 petsc-2.1.3]$ make BOPT=g testexamples >& examples_log $ cat examples_log (略) /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `sc_terminate' /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `score_self_node' collect2: ld returned 1 exit status make[6]: [ex1] Error 1 (ignored) (略) 【行った設定の手順】 http://www-fp.mcs.anl.gov/petsc/docs/installation/unix.htm を参照し設定を行いました。 とりあえず以下に、行った設定を記述します。 #環境変数の設定 [kinjo @ scic99 petsc-2.1.3]$ export PETSC_DIR=/home/kinjo/petsc-2.1.3 # petscarch でアーキテクチャーを調べる。 [kinjo @ scic99 kinjo]$ /home/kinjo/petsc-2.1.3/bin/petscarch linux # アーキテクチャーはlinuxという返事をもらったので、 # 環境変数を linuxとする。 [kinjo @ scic99 kinjo]$ export PETSC_ARCH=linux [kinjo @ scic99 kinjo]$ echo $PETSC_ARCH linux # 取得したfblaslapack.tar.gzを解凍 [kinjo @ scic99 kinjo]$ tar zxvf fblaslapack.tar.gz # 解凍後にできたfblaslapackディレクトリでmake [kinjo @ scic99 fblaslapack]$ pwd /home/kinjo/fblaslapack [kinjo @ scic99 fblaslapack]$ make # /home/kinjo/petsc-2.1.3に libflapack.a libblas.aを格納するための # blaslapackというディレクトリを作成 [kinjo @ scic99 petsc-2.1.3]$ mkdir blaslapack # libflapack.a libblas.a を上のblasalpackディレクトリへ移動 [kinjo @ scic99 fblaslapack]$ cp libflapack.a libfblas.a ../petsc-2.1.3/blaslapack/ # /home/kinjo/petsc-2.1.3/bmake/linux/packageを編集 $ emacs package ########################## # packageファイルの以下の記述を編集(抜粋) ########################## # 先ほどのライブラリファイルのディレクトリを指定 #BLASLAPACK_LIB = -L/home/petsc/software/blaslapack/linux -lflapack -lfblas #BLASLAPACK_LIB = -L/home/petsc/software/mkl_linux/LIB -lmkl32_lapack -lmkl32_def -lpthre\ ad BLASLAPACK_LIB = -L/home/kinjo/petsc-2.1.3/blaslapack -lflapack -lfblas # MPIのディレクトリを変更 #MPI_HOME = /home/petsc/software/mpich-1.2.0/linux MPI_HOME = /opt/score5.0.0/mpi/mpich-1.2.0/i386-redhat7-linux2_4 MPI_LIB = -L${MPI_HOME}/lib -lmpich MPI_INCLUDE = -I${MPI_HOME}/include MPIRUN = ${MPI_HOME}/bin/mpirun -machinefile ${PETSC_DIR}/maint/hosts.local # 最後の行付近、共有ライブラリは使用しないと思い、コメントアウト #C_DYLIBPATH = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib ${CLINKER_SLFLAG}/\ home/petsc/software/BlockSolve95/lib/libO/linux #F_DYLIBPATH = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib ${FLINKER_SLFLAG}/\ home/petsc/software/BlockSolve95/lib/libO/linux ########################### # packageファイルの編集終わり ########################### # http://www-unix.mcs.anl.gov/petsc/petsc-patches.html # で、取得したパッチを当てる。 [kinjo @ scic99 petsc-2.1.3]$ patch -Np1 < patchfile # /home/kinjo/petsc-2.1.3で、make [kinjo @ scic99 petsc-2.1.3]$ make BOPT=g all >& make_log # /home/kinjo/petsc-2.1.3で、 # make BOPT=g testexamples >& examples_log # ログにエラーが記録されていた。 [kinjo @ scic99 petsc-2.1.3]$ make BOPT=g testexamples >& examples_log ━━━━━━━━━━━━━━━━━━━━━━━━ エラー発生(抜粋) ━━━━━━━━━━━━━━━━━━━━━━━━ /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `sc_terminate' /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `score_self_node' collect2: ld returned 1 exit status make[6]: [ex1] Error 1 (ignored) ━━━━━━━━━━━━━━━━━━━━━━━━ このログファイルを添付させてもらいました。 ━━━━━━━━━━━━━━━━━━━━━━━━ SCoreのMLでこのような質問をしていいか 非常に迷いましたが、どうしても自分ひとりでは 解決できそうにない問題なので、思い切って投稿 させてもらいました。 どうかよろしく御願いします。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ ------=_NextPart_000_0000_01C2A6E3.1A1D25A0 Content-Type: application/octet-stream; name="examples_log.gz" Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="examples_log.gz" H4sICFlyAD4AA2V4YW1wbGVzX2xvZwDsnW1z4ji2x9/zKVS9L6a7NjxI4jF1e+omhO5mJglUINPd d2qKa4wCnjZ21jbpzn76lY4gIQRi4QcmO3W82xlAPsey9Lf1k+Qjv39vuhVIYSAEmfh2WI4CfzF2 RTjz/cjxpqVZNHeJ5U106ngxDcStHzwkFW78gMyEe0u+O9GMOF4YWa5rRY7vkdvAl57mYYn0XWGF goRC+un81rn6OvzUvfxYuA0cLxIT4i8iMhau/518nwmPPBzhwYPM4NAn4WIc2oEzFiTySTQTpN8Z DmyyCEUQkrnluMrEdcLoSB9J/aR2LcytP/1g4s/9/53bYcny3NLUv9MZVm7mIgytqTgmhccj3Ioo tIuW5/kLzxby+MaF+b7Q88hneVZnwia0SRg9rtWOa5z8MhgSVqkwIosmtB271SrJ/5QWxeB+8e1+ UbLs0p+3hQvLnjmeIPbMCiw7EoE8H8cOj8m54y1+7DYkrFQt0WaRk39QMpwtyMltoA5faRzzhjp8 52x5eKferJOF983zv3uFoulWuA5V8baJ7c9vHVcEx2Rq26R40++2SXFKSLFbnvlzUf7meH/6ZV1+ rERLfHdKeTy3vomyC2e2ey/Hs93FRKg9/NuoHNp+IGqlSqlSljlR/+xZkZaY/O7wZr0YiMnMihpF cMtG1Qf72K14phTVHn06+a0z+kJpvIW5z+tBZ3TWOb3++PSn897HJ99Pe/3haPrkp8HwpP2rshqN Bmfdq9Ho/U8l8lOhTdrLmiB38gKQF9wxkSJo1Vc19c9/rteV/IZ19ZfVlSz9l2vrg7zjBZa3XmON Bil+9vzi1PXHlhuqisN6y7XeCqta2FJXHy+vHyqpUqqVWF3dTSuVBqfk7ZW83X+youU9uiHrQ1Vt kVL+bo87rM6ObB4H3d7l6OLkl96VOju2mdC91Al0I2FwfarT+EZC/2TY/qQsWhsJZyfDDpTgm54d EU6PoIV4s3eroBviG9eayoYqs6vo0Dra+7Rt37txpotA444+/cI/JuJGNeDdy/b59VnnbAT5bPcu P4w+PST2T67an0Zw9Tz+BucDCZcnFx3yBpLfbKSr8vnQuxpenVyOfu1cXXbOBxt7QIn0e/3O5baE 8+5FdzhYz8qa0eez0SeyLeXi5Py8196ROBheSZrbkfixMzzrXZx0L9U5bdvhTJ7JWbW51fgaCmJ7 Sncw3JXbwdfBaNi96OzM79l593R7Ecjstj+fbaScqhLrd65Gp1/l9dLcdUhZqScX292qZKnq4fbU VX1eX57JC7Pdu9p+zs93W/u4zeCqcyLP9PLXrTXaubjo/ba9RnrXp+ed0cl59+PlsuZ3eIBddp3v VWfQu75qd56d86D7f53eh9Fvva68OEh1e2r3crgrSefvWT0sUz+c9052mp73Lj++lKZ32PQMd7Kv Uovdtrx+Tq9Orrqdgbz9bivy4fnZ6ON57/Tk/NkOfXmZDD+oaryQSmh/6rR/fWsdjd+R0ciKItnt WERiNCJv38o+1Vy2Jm+hf3RzRKwjMn737t2ugr4eDtR1skN5551Of1tC+8sXuM8M+iftzt63vlV7 f2tFM3XP/y8Ak4St2sQJhB35wf0x2ZHHJ7tbgT07JvrObnzAx96VNPz20LdSpP7ZPSoGqpSPdpWQ 64zVv+myKDeA8sGhwslpcn/yl8AKHKEq+9zQtOhC4jT0XQlSD18DZ7L6LLves9XnKFx9Cj3x+Nl9 /DyZP9jJy2P58U52s5cfM2AAeW6LMChLoLiqq1ORrjOC1Ey33VUwdq3QtW4t+5vM+s3jJ/W7Mkt0 EemCgP3kfyeu/KMKfcrU3/n+OpeegoWk6mS5GTteWXsgxbkeLrmRtL7r8izPLXkblYlhFJZc37bc fQZzTjsfJbtIviHDHmn3Lvpd2fRIYiFX15dk2BkMSefLyUX/vDMonC1gZGri3NyIQHgR8RZzETjy gCTwF96k6N/cqMEfWwSRzFJhmfeQhDLfxL+BwShpM9bjWffE8yP530gWuvhh2ZF7XzLPeSESYSTN 5rfyAhpRecPeef8qh4G95+7ytiqrQ+xrFd6HCUyS5G9pVr5zxHcRpLMuO9Iuacaf+CiHvv1NRJm4 skLbcTLxJK8nK7jP5vwkxnjTTFxNAut7Jo7uFpm4kRfiTMg/8nrOpqgc10/paGWZkZtytJCc41ip tf7oULpJfeF4kQhuLDvJzQb+m0ZIyjabHKS7iTx6KP/IwMdtuoyk1d0TJ+lEsuEqrYDB3SJyknsQ QeAnbm8mrpvUVBGQk/iGMhdzP3kT4I//lF2kxEW2NC9b88QuImee+OpMVd23rp+4uZMMu/ASNeFp LsCN625tEs/+75hieDby+3zAOdF489qkzZvthVV+I0G8UbILyXvnpOgrH+DHf6kft70rnU3XEXu4 +/ZwzWpJfYTUUugfE9njg0G3CQkEdAht6B7+P+RtNBa2dDkaL8L7n3JwP1nMb0eBmDry/hCEeRzh uxV4kvXzcD0V0UjWYh6uby3PsbN2PJraruzYyfK2JrnU5lIszsQV2eddFraeYh6pVjSXQp97Ipfa 9Bbz/JxbUWTZs9FEjBfTqQjyOITjOZHEVeffuRS7Kh3Pn2QvGXlLmTueFeWS61C4N8ts277rSjJk x8RV+0aLQBlR2Xg6EQkjK1qEBYUev9f/OCa/yyb1D9JR+C13eetMPelt8q4QzCXfqP9Dk1u4cEI1 BHmsni2bBtaceJZEx/7yCzTNjuzoB2TiixBG4OTR1CNljv5WED+EvYissSuOiDyU/NnyiKJ+T/gL +SWYLuZq8E+ekR6kLOk81lQe5dcd2UQO25PDKM8AxCjXnhDFXtgQxRDFEMUQxRDFEMVMUYzyGBZT jW6BHjGbHvHC/5DA8r6R97KxqTz9ouaMfybboe1n8ohtqiF/mdt+JgnITZ+C45G+KrKBiNr+fP7Z D9xJKd3Y28NANXKfGfetCkyzXxboB34Q/F7YEPwQ/BD8EPwQ/BD8jMEvjvueYN8lPO2mnn2TZGeL MPSDUJIfPVoxoMLB3yt/kF/kjq6KshGu6xMgMHM2zAUN+748rjRYBanqeFJ5tJHMvXoGUJqN/TuB hJeE8FgGhMfADxLeCxsSHhIeEh4SHhIeEp4p4bEYwmNAeNV9CW9w79kzCVyymp5gXikmnRRJ3woi 0u2WMmBFdlBWZMiKGbBiFhPBHPwgK76wISsiKyIrIisiKyIrmrJi3CwwN3giL3ZmN/0TeVuzuef8 7p3YO0hVmpSdvYM4tFXyqLSVfZJ4tHXb8lR4IrD2jlh64kMFjE5SnYKkD3mnT+ghaSDNhjnG0sTQ +9by+uun8nHtiP82jpc1ljPKmx0hJc2bHSQp0Jt5T8r0Zt6TYX2873Rkv5d8EsG9yRmk5HvDCkhE 4Wa+k1O+mf+0oG92lBSsb15MiXDfQETJid8s70mgv2H+CEAc9MfO2SeF/voD9G/NJiLc/gj3l87V I8IhwiHCIcIhwiHCIcJlhXAmc/xxCBc7lZ4e4bZmExFuf4SrZYBwNfCDCGe2IcIhwiHCIcIhwiHC 5YJwtRiEqxkgXC1/hNuazbSzsRhdvT8Lvp4Aa+RB5EHkQeRB5EHkQeTBQ87K0qPGs7Adx5s4tqQ/ xyOhiEhNJlYIlX8pYfIvI2p3TqrybxVSVQjOBycII2Uqfsh9X2mgNobeZIGKOPt76A1REVERURFR EVERUfEvm/2lR+z5Ij5rrPhWR3a8A2ikFaBGDtRYA2psADW2gBqpwskaoSq9TqjaoUGo2qNJqNql RZjapa/eh6rfPqqPo9/N6d4rX8qFMlS7q+MAosIR1c/gDXwxcx49cDA48mgWPPqXRoMjjyKPIo8i jyKPIo8ij2bFoyZR5JJHa0sePVXXMwllNZCneAqRwpsDmmrgcjgT5GY1ZAmJcm8hFbM0sQIBAFsB gOUAsC0AWMpiuBRMlMGSUatLTgVGrTyAKnug1eq6w6c53nDLV26YMdHms0r6LqLlT4k22ax+otcz KtvEhuki6xOH1et4ePGv5MayPlIceSZVPklinyaIHiPo9+j05Bw+j50dgw07O9jZwc4Odnaws4Od nVyWzHqt0fOIZnuiGT4YcegN2QzZDNkM2QzZDNksFzYzezCC0uVANFsb+119LuptLYU+fH6lzyXg IvUpSRAfSTj0hiSIJIgkiCSIJIgkmAsJmj2SQFePyPZX7z5S0VEbTwSs6HBtH/rH2u+P+7zSWX7k w5R8WM2AD6vgB/nQbEM+RD5EPkQ+RD5EPsyFD6sxfFgFPqztHCg0Rb3qQVGviqiXEvVwoc1Db4h6 iHqIeoh6iHqIermgnslCm8hJe3JSPQNOqoMf5CSzDTkJOQk5CTkJOQk5KRdOqsdwUl1PmfLlmNjO 4GhYz2f1DF1lNWL28DTdflOl9YOOn9Vx/CwlFzYy4MIG+EEuNNuQC5ELkQuRC5ELkQtz4cJGDBc2 knKhTq+uzauac2HjoFzYQC5MyYXNDLiwCX6QC8025ELkQuRC5ELkQuTCXLiwGcOFzQRcyJ6MGT48 blc15sLmQbmwiVyYkgtbGXBhC/wgF5ptyIXIhciFyIXIhciFuXBhK4YLW5oLmztCb7ctyL0ZequI sb58mUxzucp2aEvZyPOYEHmGkR8sXRXpmr+ieeBG66Ag2UKQTLvQciYrLVPtCVnSbEOWRJZElkSW RJZElsyFJWnsasv6tditF2ByEx4fYFAPOT7ypvFrsA/8HmyKcJgWDrNY65ky7Qnh0GxDOEQ4RDhE OEQ4RDjMBw7jlnum7OVV/kyGGndMWxuz4mHXgqa4GHRqVsxiNWjKtSdkRbMNWRFZEVkRWRFZEVkx H1aMWxCaxqwInWxa2hgTD7skNMU1oVNjYhaLQtOq9oSYaLYhJiImIiYiJiImIibmg4lx60LTavyL Q/jGv20vDqk8+WeMiYddTprietKpMTGLBaVpTXtCTDTbXhUmEuRE5ETkRORE5MS/ESfGLSqtWuu1 5xIryxHD5gb66TllNWbI9qDA2mEpsIYUmJYCs1gum9a1J6RAsw0pECkQKRApECkQKTAnCoxbMpsu 18yuxLxmeIWDmyOFq4nmPUcJD7toNsVVs1PzYRbLZtOG9oR8aLa9Kj5EPEQ8RDxEPEQ8/BvhYdzK 2VQvnc149vEpW8KbH32kjWk57OLbFFffTsuXLItZaFbTnpAvzbZXxZc4/oiAiYCJgImA+TcCTBY3 Cw2ttSRMXs2DMNd2ZH/oKWz5B9zByt1qR5YMRXc6M2VUdtg5coZz5KkZNYs5clbXnpBRzTZkVGRU ZFRkVGRUZNScGDVujhxaa8moK0SVYEruLHch3iv4kwi6/KaCqyVnrtIUI/7OV1+5+ew4O+zsOMPZ 8dRkmMVLYlhLe0IyNNuQDJEMkQyRDJEMkQxzIsO4F8VAay3JsFFX0dYtw+HLbe+GefndgxB/Q9X+ VBnQ1ktjmUxZMIjYURZMWTBlwZUFh/hvyA5EfysLriy4suDKgisLriyqEBWkLKrKogpnoCyqyqKq LKrKoqosqsqipixqyqKmLGrKogYnrSxqyqKmLGrKoqYs6sqirizqyqKuLOrKog7lpCzqyqKuLOrK oqEsGsqioSwayqKhLBrKogFFqywayqKhLJrKoqksmsqiqSyaEO2kLJrKogm1oSyayqKlLFrKoqUs WsqipSxayqKlLFrKogUVqGsQqrACdVjRr4nUb5XUo8hQjxWoyArUZAWqsgK2y+oHWy0ArQAtAa0B LQKtAi0D0AFlOkxLa0e/lRJsQQwU1PBswBzkQUEfFARCQSEUJEJBI5RrIYIvkAkFnVAQCgWlUJAK Ba1QEAsFtdCqfimmVjHYgmIoSIaCZiiIhoJqKMiGgm4oCIeCcmhNXwJgC+KhoB4K8qGgHwoCoqAg WtfRamALIqJ1ff2ALeiIgpAoKImClChoiYKYKKiJgpwo6Ik29MUHtiApCpqiICoKqqIgKwq6oiAs CsqiIC3a1Fcu2IK6KMiLgr4oCIyCwihIjILGKIiMgspoS1/2+rqHCx90xkBnDHTGKnpSAq7+ig7Y g+sfdMZAZ0y/uRR0xvTLS0FnTE9ogM6YDvYDnTHQGdP3G33DWd5xwFbfc/RNR9919G1H33f0jQd0 xUBXDHTFuL5dgS3oioGuGOiKga4Y6IqBrhjoioGuGOiKVfW9DmxBVwx0xUBXDHTFQFcMdMVAV8/m gkBnDHTGavrGCb5AZwx0xkBnDHTGQGcMdMZAZwx0xkBnrK7vumALOmOgMwY6Y6AzBjpjoDMGOmOg MwY6Yw19ywZb0BkDnTHQGQOdMdAZA50x0BkDnTHQGWvq+z3Ygs4Y6IyBzhjojIHOGOiMgc4Y6IyB zlhLNxa6tYDmAnTGQWccdMZBZxx0xkFnHHTGQWccdMapbmrAFnTGQWccdMZBZxx0xkFnHHTGQWcc dMaZbqfAFnTGQWccdMZBZxx0xkFnXLdwuonTbdyykQNb3czpdk43dLql000d6IyDzjjojIPOeFW3 kGALOuOgMw4646AzDjrjoDMOOuOgKw664jXdvIIt6IqDrjjoioOuOOiKg6446IqDrjjoitd12wy2 oCsOuuKgKw664qArDrrioCsOuuKgK97QDXujgHSCdIJ0gnSCdIJ0gnSCdPK66ETPjn3WI8XHpO3P 55Y3Ia7jiYfprJDcyCtkNXEWzvyFOyFjQabOnfCktXUTiYBEM/Fkcq1EyEkYLubSr0yzIlL0YMJM GtjbjgIHWXNSOlS+ZMO3d8YMphMP+6Jg9uxNwWqebDVpNqLE8Y7JrpG+53Nsi8gPHMsNcVLScFJy VWA6bDeLqF3w4+OkpMn2qiYlcU4S5yRxThLnJHFO8u8zJxn7umG9nssqYPc36Vvu7ApvKukMOi+b P5FqRQ9znbgu8QEU4ZG1cA1kPWEF5N8i8LX9wLYk+C2dtf3be7L6cvKl//Xh89f+l9XnwXfrlmz9 8nndpO87XvTdCcXFwo2e/Xjm3DmTh+NeaEP4n3lk8GEDgzdRGGvm1dQMw2ce03cvRBb9C6E9YQ/D aMMeBvYwsIeBPQzsYWAPI58ehojrYgjsY7xIsuKwKCuwl/GK6wb7Gen7GSyL8Crwg8FVZhv2MrCX gb0M7GVgLwN7GfnEVsWFVkEfo7ZjVahtL62ER8fMg+wP+1AMhthngIFZrBFaAz+IgWYbYiBiIGIg YiBiIGJgLhgYtz6ofkklY2tvqTQJWPseyOrypuROj3U6HhnLAgjuVab1b6WJFZFSqSR3VreHrTvf BP78+e5meTDl0MOuAvpsEVBZtvVUK6++FFaWZy1kndvXWl84fJy+35DFuq118IP9BrMN+w3Yb8B+ A/YbsN+A/YZc+g1xa7YuX2tKl2y7gkvJj9YmWjre7SJSZHlEQllP5D2trJO+jmcvLBeogDBciKeF RyYgwhVCoFvm67sednlXXN01C4RsZoCQTfCDCGm2IUIiQiJCIkIiQiJC5oKQzRiEbGqE3PViqm0D jPz5owns8dGEZ2l8PU2nmzJk86AM2USGzCJaLpPVOKj2hBhptiFGIkYiRiJGIkYiRuYTLhe7Igd9 8ijrpS/TfJngRU4gVtPd1VK1ode5XKWHi3FxmchLtK4XrNw3EUYvt/1uHjB14HUZni2ZgaiZBDWz iJiiTHtC1DTbEDURNRE1ETURNRE180HNuKApqqOm+K4xS7rl37OHJF/e58EPM/jvNt/xdsZoetgY LopBXFmgaRavSm2BH+RSsw25FLkUuRS5FLkUuTQXLo17TWpLz6SvAo0q+sFKTXt63luH7OhQKh1M pV831oCoqgr8pRBdxSC+ikOUV1WPb9b0vnVw25DmpgB52BdjPHsvxrJI6ocrksO8XcVy5Q1bCjWH d5kcusZYqjeZzK0ogYmEdVnON5ad5HhlR+4cJjYsT4QXJj+uNi+H4l9pXciqSe7Ccv5MZZzuBJSD VNkPZ8J1k5uPJ441TWmergS0i1RlME5Vh+PUlThOXYvWJI0IJymPPk9Vfk6KO0iYrurC9HUXpqm8 1e5pbMvKFt9YtXt46HlhlTN4W1W611XNFbrgKNHrGCUi+/ZxZO3lPExkdoSUw0RmB0k6TGTmPekw kZn3ZMNE8b7TDRPtJZ9Ew0QmZ5BymMiwAhIN45j5Tj5MZOY/7TCR2VFSDBOZF1OiYSIDESUfJjLL ez6vrlq9t2r1kJzMS+D8kF16Ty06HpL3hFaOyGpgYfKf9t61yXHcWtP9Xr+CMefDscOVSuJKMmfX jmhfxqdj224ftz1nJhwdOUqlMktupZQtKfviX38AkIBIiaIokmKByZfRXaWSSGABBB68a5EAij/k 33Gbmwx0bOF3n9dKXXz/S/AfAZnMb8w+v03P+tM/6v/u635HeHbZTpyyDp5bMpMOtOmlh1faFNIU 0hTSFNIU0vT9SFNWJU1Z+vgyzLQpvVkVBCCdRIIzWvqLINyshHj8CyOCi9JfCEvMdI7DX8gkieK4 zAIyiVm6quHxLzLhoSz9RUgZl1lNJpzHZUarG8Ti+jNHWK8Cl0HgthS4LVdXLy6vDoV72QGFC4UL hQuFC4ULhdv3Qut2lXWWKIVrIpxaFOj3uf483emNGH/1a/0WmdakhJr1sqXRp8RoUWFePjPraDNu PifsOImvHh9NKgdf/30zXW1f19u5+ZFE4cTkErGJeb0tkhNu/k4mZnpInP7J07PiKD0rCdOzEpae lciKjEoM+eN89/vF9Hm9mi5/9euP+hv7T7PPpTl9s/4pCO+CX4UflQwmvw6CXxH9iepPVH9i+hPT n7j+xPUnoT8J/UnqT1J/ivSnSH+K9adYf0r0p+RjoFLLsiJpVtRlRV1W1GVFXVbUZUVdVtRlRV1W 1GXFXFY0zYq5rJjLirmsmMuKuayYy4q5rJjLirmsuMuKpVlxlxV3WXGXFXdZcZcVd1lxlxV3WXGX lXBZ8TQr4bISLivhshIuK+GyEi4r4bISLivhspIuK5FmJV1W0mUlXVbSZSVdVtJlJV1W0mUlXVaR y0qmWUUuq8hlFbmsIpdV5LKKXFaRyypyWUUuq9hlFaVZxS6r2GUVu6xil1XssopdVrHLKnZZxS6r xGSlOpOGiOm4qrnpN1hNZ1Y3RL+/ajq4Mln9qdLo9S1WReT73S+vl7/F2ot52/kP08W//LRNuRuz 3VdXePu3970y7r8yhqaVffjyNhNVwyU1LVo3XKE/SdOE9adEfyLmOkKjXkZK78bCTka5TsavTkam TsacTkaTTsaJTkaAmmwPzf/g+mC4/tt3wfXfVnEdbhDcILhBcIPgBg1huDTzxfy07j06Qqa64QrB FYIrBFdo7Gx/Z85QOdvhDsEdgjsEdwju0BCGTLP2gp/WvUd3yFQ33CG4Q3CH4A6Nne3vzB0qZ3uk 2J6cQDtPqRrRFMFhhmIap38Lmbko6WmUpOdRHpbBuAfnyDv8l7lDV3N+rubqXM2xuZobczWn5Wou ytUcErgfjc1TdG3y8oJ/gwA1ZqbF+RjcrF4/HS3diXEA4wDGAYwDGAdKx4FmT248HgmyZyMYCzAW YCzAWICxoP5Y0Cxs5fFYkAWGMBZgLMBYgLEAYwHiQxTjAMYBjAMYBzAOjD4+hLEAYwHGAowFGAsQ H8JYgLEAYwHGAowF444PMYwDGAcwDmAcwDgw+vgQxgKMBRgLMBZgLEB8iGHTmlab1sgOdmWUJh3s WXPpgT1rsGcN9qzBnjXYswZ71lxlzxpZtWeNNHvWREm2K+PXyoifg+18p0XaqyqTkm27xXqlfvrL 28uDUnnrp2CxelzMlNZbrMyZVEvvMEhXL1Ousxboyo/VCl05u1qip4u1COVma5EemLXNooDoM+NA n5gExLjGKhXzN1H+sHHPA7OYCwv0hYSrE4yzHqQLpQXEuNNB6kcHqftsVrygKiHzt0rIbNuoDDKb NLIgdesDPrbC5iIAPHPIbkjmcekPRV/+xjnGmcuWfiEL52r33CVDs3OZ/SIqnKs9bpcMy87l9ou4 cK52ol0yPDs3KZwi8maK7BTp7A4LJ8u74+KmPnzOTnUKKVwV3R0XPPX3cxarq2jhqvjuuArShdRy hVBXscJVyd1xZdj13dTJvHiL9G0U+bLyvPnq08Et1ff0qG7SC3i+COpT8QYTfYeP6ie9gOeLoT4V bzfR9/uojtILCmVSn4o3n+i7f1RP6QXplcWWQHRTyBXKNgbiSkyLrYGY5nBUWekVPF8WdWmxSRDd Jo5rK72C5wujLi22C6IbxnF1pVcUyqUuLTYOolvHcX2lV6T9s9hAqG4g+3JR20IOSkN1uziupvQ8 XlIGajr8UeWk5/ESy6luBcdVkp5Xarm++ccVkZ6n1zqsu2uu7DUoIbFrbssARNxBACI26SAAcemB AAQCEAhAIACBAAQCEFcJQMRVAYjYBCBImAUgTrqpB5q40k09EJVlbmrRRWL55I6806JTxO+Ordq7 qU51F/0hcXds3t5xLXpAMu9CHnipOd/00Lwj3zTnkR5aZT1SdYq6+5vFz0oUr/4936y3waeAqcyn SwVV1Zge8z9wUVt/x73q7xj6u6X+TjrQ34lJB/r70gP6G/ob+hv6G/ob+vsq+jup0t+J0d+cZ/pb SbjZfLtVJ/8z/O5Dun68eciln3Dpx1v62VbxPPKdeZplzgzNU6rQPKQy2xaRMH3WJUrSvtFf3pjN jcxZN0l6tX5IdkPiuCwb8226CxEzmdEsy/S1XVHlQvALXAhx3oXIa39V/GNPofSZV3TkTIS5hLN0 jryJ+MibOCxVyWOw5MitOCxe2VOw8MjTYCc9jYNHZvHBY6ySB3fJ3XGpck+6Dh7VhHfHxSl55JV/ 0HVUEPega+/sLFZP682LedYb/Colf7B9e9n++k6dY4681xOfcIeIeepakeTL9OfSFKk4kaIMaztY Sa8OVgIHq6WDRcIOPCwSpinBx7r0gI8FHws+Fnws+Fjwsa7iY5GwysnSY/aJpxw31kdxLsChh2Id lBvrdRT9knB/af6M1C0p+CLFTFJdb92MoktC90nkz0jnABbckGJmqba3DkXR9+D7JPJnpNu0FvyN YmappLeuRNHZkPskSs5I7g4zSZ2IS14k0pKrR6FNQijttkqbdKG0SZoSlPalB5Q2lDaUNpQ2lDaU 9nWUNqlU2sQobSqOlbaoGfo/nuRC8xdfOpOF5y++eN6KzF/dfEpKnE/m8tkmpFh97SaUkEJ1tpwp QgrV23AySKGSW0/yKNR1s8kbtFDfzSZq0EI1f7mpGFpK9+lBkUMPKqPB4bNBkXX+MOv8Ydaf7QO4 MOui9sFemPW1MOs1YdZpwppYqUja9ePTaWeefnhgtGhtNCtP+ATeKpJ2FAkL+CtJ+7CmxcVGi4Oa PncPi5gtT/qQZKHlUWhxFFochQVE1yjh4W0R58wIL7IiOnMPz7a74vhRbcgezyWWxM3q4/COi3b1 kdSzon6T5pfYcTh41mvZbpCtU850aEs/2GSJTZfYhEmRTuSuNnTOjerV5uyHy0p76IV1c1z3orO6 YdW2XNYvDmVLtTl7ORAWpU27ujluN6Jh3RxoqpqN80B3nczlUM+kX9m0qU2bFjp4Ktvqc+Gg3KKG ReFlBkUnDbqwyxwozDM27cVZmVFxq1o6bh2ibS0lFxh0Yefhl5h0qLcv6BVOnF9Q7lTAX4DISpF/ OhvapCjH9SWq8mDn87iw5Z72PmoWZe8WVdz7MucFKwPugu38h4cmy4X3V3cPJiK7Xfzb0xoUV1hU sX+n+WiLDeM0ywqfWRTQfvm6MWF2SsGHjfKJNlg0JsxOyXkQTUNvxXIe+23Z+NU6Nlcseon/w/L5 NFoqxunEA/+ieAtbrxNzPKwfKPTC3W2/RswpjVupX+svEHNOONJCA+hicZizkqvQFJovDFOqY1pF Gw8r5VhJXDkQ2c949P18/nqvX9eeP94r47bvAv1HK6mn8dIY8dKShBEvRbwU8dIzTRrx0sqbf1kw APFSxEv3uSBeingp4qWIl77feGlrHwthXYR1EdZNfXuO2STtZpPwLmaT8DQlzCa59MBsEswmwWwS zCbBbBLMJrnObBJeOZuEm9kk4uzqtNhEJRfuyl2FTVSwiQo2USl9Wl6snKDHTVT0BlZc8e6GKCdX /WG+UH8TvXmV/iCzb80pVH3L9Ico+9acwtS3XH+Is2/NKfq7JJ+kUF+Y1EiYT1OkufA0TULyKcs0 L56mTGg+/SjNMcuEsOy3vSGJLhjPvhZZxjzLgdjS5iwi2ug0E2KLnTOK6NKn+RBb/pxdhLn8iK2I nGlE1wexFZJlqKskzYq6OsmZR3S1pHlRWy95+4iumjQzausmbyCJXZ7U1k/eQqKriNoqSvOkuo72 ueWMo6ZNuHxyZlFdM/sccgZRVsghZ4reiuyCiWO832AJx9IbbYMlootgiUhTQrDk0gPBEgRLECxB sATBEgRLrhMsEZXBEpEGSyi28skHTfrbyqfJfsaJ8dTM2u1mfXdqVntnZn/hdONgYdZ+l2Zz4sis /R6bfYX/h5LP89XiTWtx1QRU0tlS2IROEmlWW/hmNQ8Of42NoU+6i/5S9luu1YQTKgoNh5Y2nNxp 6qNUR2RPtj+x083pIAX1OZT5NHSSUSwim0zhd5Oc+SIqb4lpiodGhUSnaFudySHhzCao/q1/dW2w cH55Ay4pt0siMzqSQogsC/VzwgRL9jnQOArjfQbmdHm67ZdUSsijmMtkX4gw5lQmtl70FUn2T5n+ nggR5jIxF0RHXee4dhiRISG52qEiEpHMUtZlEyGLbbrqfM6StKzF3mR7XkltJJRTvjeVhIRH7h1k 9XNMwtglaH6OC51UZskcGEJjJux1+ueEhGmBzX4Jub/Dg3/bv8/9/5esP80NpNV3k/mN2Qv8xA+1 XXHRrysu4Iq3dcW72NGLJGlKcMUvPeCKwxWHKw5XHK44XPHruOKVm3rpMRua6VLNRLvYo4eGaUrQ TJce0EzQTNBM0EzQTNBMV9FMtHKPHpru0RPrdz11VPzPaUz6m4d/qTzSbRz1dK9P2/kP08W/PupY 3/aTft9LmaE/pGesd9PlndvT8RMnZVs9fkp3S9XHm468BV/f6BKpJN92quDbu+BprWpBv52jv99+ DJaLF1Wmt61KZLENrrbLqYtc5+LL4cdTz0U62ZTUBWNz4dP8W5wHr3wWHwHU20306E1REtrcCHGf 6OHLlocvZx681snuSuwqfznz4LVO7vIU7pM8eimSl10a3ZWZVPLu5P6Nyf0LkNWN+uFxMX2u2ayT sLRZJ7ZVm7l9gZ7b90k1iZV7+KSzWK+mKmF117RKn93sk9nu1pvp8zxLQp+aXan6Q8AD1WmDMNCv kQU3+rmU+u8/bHoB/0/1z6/+qU77qE76LvhkHiiYY/4b09nUj0L9SE79GKsf+akfE/WjOPUjoerX +OSvTP2anPxVapvoyZ8j/TMr/blQfpKVn5wrf2URqwtxzkx53swwMzN0ZvK93ST/BXe28r3xIv9F 7Azm+xIkhUTp3mqeLwgrfCX3xvN8eSL3VaEMNyRXCNuc9qWghW94ruHsyyEL38S5BrIvCQmLSdN8 S8gXhhe/k3vT3XemOPH+u2J5eK48/Kg84qg88VF5kqPyEHpcIFZSIFlSIGd8n5POZ+vVj/f+T+k2 VOx+XjLtd5c7il3uWsequtjljpI0JcSqLj0Qq0KsCrEqxKoQq0Ks6jqxqspd7mi2y528JFYlM59e lrr0tNylZ9al1yqwNFhVFYsqf2GzEIs6mOyYP+VoNnQxtMXujnPav/JbDG3xg5d2S04Rd8c52fiV OuWf4XeBgo4ta5hGJHQ0wkx6OzyF3KUTIM2kynTy4uEp1J5C96fwshNVQfM56el16dzGwxNVKWmW zKlTVCnzOenJiAEa0PUbEDacyLmxTRYmq+HE9ru4Fj3aaBBO7KVOLO3CiaVpSnBiLz3gxMKJhRML JxZOLJzY6zixtNKJpekLFySbL9pk+iLVr0KEAdXX65VJPpgZjNolZgHRMxb16iUf9CRGMyFRBkSf GQVEnxmb2Y9JQPQzPqJSMX/rhVI+mDVX9PWEmbctCFcnfDDrpZisZDrlKkpnZsVmuiRJzLwtqhIy f+sVW/TfyiB9FmVmfiNNZ1W2KGw6WVN82E/WNKZxY4SdrWmK68oZmXKyrJhhVkyZFtNYR1LrSGqd KqapS13OKC2oqTiSVpkqqalVVVRTV7qoPC2quROqqOYeUJ7WaaeFpWlhjX3utnJT2sQUlpnCUntT WVbaJCutTEtLsuLGaXFlVlqalZanpU1LnaT1qIsbpcVNi582EVVamhZW3Ye6M+q0au3TWaFwVtrO qJNdzKiTaUpwVi494KzAWYGzAmcFzgqclevMqJOVM+qkcVZk5qskE/uKY8Anwn7UwnT/L7Y/RwvX /b/ohIr9D50lVXsxB9nvYg4S0rOl9BRdLOYgkjQlSM9LD0hPSE9IT0hPSE9Iz6tIT1G5mIMes5X0 JCXrKtoXYWj2Bgs7WPTQ7hQtD1+hodmF7OA1GbtCnMwujA5frGEH8wjt8noyu9Cu9xYX3rLJvdcj sgtldqFdRy/OLkwOd8O2K/PJ7EK76FycXWjXbSNh4U2cMLuCZFfQ7AqWXcHTK9JL9y/xHFQs2xez WIHsoDhHFSUOMk/6yaKuE6DVYI9OgEgOnQDykfJWDdrMKY2y1fXsqnpJNv+TuJ1+05UC9VYVhLbo BSY3u5afXUyQ2H2Fs0zCNJMsO9ai75jskiw7YrcxJnZ6a5ZLmOaS5cdbdDmTH7HbJhM7nzbNJ3HZ hGk2WYaiTVdNc7QrmaYZxTajxOUTpvlkOcpWXTzNktosmc3STjHOMgrTjLIsiytShllWJMuKZlkx mxW3WQmblbRZRTar2GaVuJzCNKcszz08s53q4yzPJMszzYvZvLjNS9i8pM0rsnnFNq/EZRWmWWWZ 7gGVbUqfZJmmmVGbGbOZcZuZsJlJm1lkM4ttZonLK0zzSnOle2hnm9BnPdfmRm1uzObGbW7C5iZt bpHNLba5JS6zMM0sy7YwFzzN16KHWPYQCx9i6UMsfojlD7EAIpZAxCKIOgRRhyCaQ1DGIGIhRCyF 3LKtxHKIWBARSyJiUUQsi6hlEXUsoo5FlNUYfQpscF316O3bkmGp2OVc8z8CYMmAddCKXXsShzCz 3c51AdcYXasQuVoqgsk1Zdem2FEdW/rmOoI4bBruFtnqIra+iK0wWkdLoKo7q2p/BQ89FDxM9i94 0lUlsuHbsYy4e0gczYjDGYkKY1BfYikz1S27kRno+EccAIkjIIkKrag3oZXZKpyt0tkaOVtjZ2ti bc2Nd/2JtMxY6YyNnLGxMzaxxlK3c3wOZT0KvMzayFkbO2sTay1129xTt/xJbmztUxxm5sbO3MSa mxkpnJHSDclRYUjuVVhm9ibW3sxK7qwUzkqZWpnZy7+QKE0NzsxkzkzuzBTOTJmamRksvpSgzSx2 ywFldnJnp3B2ytTOzGL5xcRwZjJ1JjNnMncmC2eydCZHX05IZza7oY26oY26oY26oY26oY3GX06E Zza7MY66MY66MY66MY66MY7uxziSDXLEjnLEDnN7qWQHur3SskMdsWMdtWMdtWMddWMddWMddWMd dWMddWMddWMddWMddWMd2491JBvsiB3tiB3uiB3v9vLOjnjEDnnUDnnUDnnUDnnUDXnUDXnUDXnU DXnUDXnUDXnUDXnMDXmssExXarMd9Igd9Ygd9ogd9/aS1A581A581A581A581A181A181A181A18 1A181A18zA18zA18LOdUWhlthz5ixz5iBz9iRz9qRz9qRz9qRz9qRz9qRz/qRj/qRj/qRj/qRj/q Rj/mRj/mRj/mRj+2H/1INvwRO/4ROwASOwJSOwJSOwJSOwJSOwJSOwJSOwJSNwJSNwJSNwJSNwIy NwIyNwIyNwIyNwKy/QhIsiGQ2DGQ2EGQ2kGQ2kGQ2kGQ2kGQ2kGQ2kGQ2kGQukGQukGQukGQuUGQ uUGQuUGQuUGQuUGQiTbe6IHGcEN21MpRPRhW3Rh1JOMv82EPhhGHZNLSvT3ApkMQa+v5HnDC9TnR 2ik+6BmulR3FMvdjiOOxY5vjhOtzrv3ae0ftvcsNT9EhNR2BXG92PcPePmpvH7W3j9rblwNyfMgJ 1+fsDaT2BlJ7A6m9gdTeQGZvYA5B6BroGugaB13D38Aaw+uErV4nlF3scyDDNCW8TnjpgdcJ8Toh XifE64R4nRCvE17ldUJZuc+BTPc5YEm2dtzJtbfk+bW33IpY0dEiXEfbNLulseKjRbiO1t5yq2cl R4twnd6m2S73n/MQjrYhIORg+4FcoQ72Zw4ONxuI7o4r52in5uBwr4H47riayjY2KC5NltwdV1jp xgbFJchMDP6w8tLzC8UPjnYzIHclNZleULoRAb3L1cHRbgn5sO9RdQbHeyTkQ65HFZmexsuKK+5K qjA9jZeV0uyycFR5wZn9Fo4qLbD7LajTlCM0m2+3qrP9M/zuQ7p1743dwzf/f+5E8p09iZednTuT ViTZ7/LoSz9Xk4uusJCc7Hc1dInV0Ft7tF2shi5JmhI82ksPeLTwaOHRwqOFRwuP9joebeVq6DJd DZ2deLs2fau26MaWvHab812zL+o+AZH9LjwsjxYeTssuuy97P87Fw3XWg+7/tlDI+HYyXnQh40Wa EmT8pQdkPGQ8ZDxkPGQ8ZPx1ZLyolPFqzIZmulgzdbEsrZRpStBMlx7QTNBM0EzQTNBM0EzX0UyV y9LqMfuDFgNWGdyTYLG6C06V4lhIvO3WG3XftlBeNZWXrbB0U4B24ivbFMAkBO116eGV9gogviC+ IL4gviC+3o/4qnzsTJpJr7fdQqmtBheq/58em1z4Ot3sFma/rTYX3y7UZY0MX28e55smF6rbtb74 wq06rck1Slaqlvg0nc0bXf06a3hZ63yb3ZjCxbf/ms7WD4t2aazWq3ZFuN02u9v7BJZvLQ34PF8u 2yXx0EVVvjy3u36+2M5XLZvEom1lLmbNu4RJYLp9aXk7m6LApaDU0+t6u9i1bNhq3FBj1HS1a9ks 2t+Tto1CdfOLh5GDKv28Vv/+/pd2qbx2089advbt7PNbS2Spca5pAvaSttenT5MQADoZACqvsC4C QK3iP9os+/nxBVGh9PAqKnSpR6Nv6ZWjQjWzaBkWqplL07hQzeSbBoZqJt8sMlQj8XahocsaUaPY UK0ytAwO1b0JjaI3NRNvHh6qmUHb+FDNbFoEiC6oqUYRojpNqXmIqKb1TWJEUc0YUTjV8xJq7czY 78aMmHbagQCkHQhAatKBAOzmgACEAIQAhACEAIQA7EMA0ioBSM3U1Him92/88B/B395WGnfB7DlV YfqZidJlqiOuHs1TNvWjOi0IwuC/vv1r8Lf5dvH4Nl2q81SCZMIJpyQwJ5CSE8JJFEYkjNIzaOkZ PCI8FOkZrPQMJpgQLD2Dl55BYxrz7AxRcsZ/KFPnN0QvWUPTb9ZPRqRu7E80+Mvby4NSuuqHhbq5 U132bSA+9Dnv9Pvt6/3ul9e5nyvbqCbipV2m2rYvqqnuMgek22m7tFcniMIJ6sAJYh04QcykAyeo mwNOEJwgOEFwguAEwQnqwwliVU4QSzewJ8oLoiTnBT2/bNTYbZTY1kjTen5QOElkHEle5QgxScKQ VDlClEeMJlWOUBiHcUJElScUEhonpx0hdULIIhFaW+WJc0Ka8DCh6UlRuesXxpLMb6zrFpecxCY8 jiVTJxkPsNTDiuFhOfPS5uelae2crH5MfJ15fG+3PlebMu5++8vLy3y3Wcyu4EKzXl1oBhe6Axea d+BCc5MOXOhuDrjQcKHhQsOFhgsNF7oPF5pXudDcuNBUZGvchhNh/qTpXyT7O5T2A8u+On9u5Vkn Tyj5se5yubxXdcoP1WnryRJuxYwmKSm/rul1LScKmhQazxR0V9/Omk142SfwMHtubUOz+XH5BNqa YIIHba34PH9oNg9qn4byID+3TGK5/aHtPX3dzNerZduy7GY/vLS1ZPfUPo0fWrevh0XrJJ66aGFq sGufiA5VLH9olEirKWqYn3ZJWOHKk9MQVOjkQFABQQUEFRBUQFABQYWrBhXqrmAEVXWpqupyxhdU VScHVBVUFVQVVBVUFVRVH6rq/JSvbD++vxQmP4lJEkZEzG/COP9OHul/2pOJLd4vlFG7z+vLJxph Fs+7U7VdTuGBqu3kgKqFqoWqhaqFqoWq7UPV1pjDk9gpPKdm5ghOkjiqnJlDIxHRypk5IYllXDUz h3AZRrxqYg4JKaHVM3METxIeVU7MoUTGETk9LSe30MFfypc5+Hov86NeVb7XszPStXv9tG0IU29e /LRL+GlWPx7vF550AzaDzWCzByaCzWAzRTSyXTSyy9mQiEZ2ciAaiWgkopGIRiIaiWhkH9HIGtMh 4fEOxeOF3/be/DbEMLz2eL/wJOuMzbxiLeuQciEq0cyjxK5DXY5mQkQSVi/hRhLORSWbw5BRScKK 5azNCm1CslBW8JlPpCBxvF+hrYzQfEKEYJE6SQZHlFZVwmiS/ojQ5MgW9cIwjGEYg0k2mLCLH20p jZ4kceXWCArhSZQkVeNJGFIqqzdHUCMBTyhN+V0+pEQTzqSBvDg9ppAJ5zHNLehZNqYQ5VpECbfD xamlQalycrhb9fNgTCFRIjGmnLYu3SpbuZ9+mgdkA9lDQLbAE692T7yiDp54RSYdPPHq6MATLzzx whMvPPHCEy888erjiVdU9cQrwlodTVZAS7pYAi1JU4Kw6uiAsIKwgrCCsIKwgrDqZRG0pHIVtATS qskyaF28o015mhKkVUcHpBWkFaQVpBWkFaRVLyuhVb6mTdP3tAmdqT/0vjH6LYbf/fHu5Pakn9QQ FukdYg9fceBJIvUrDv89yLLLdjwVPBFmQbVJlvqfv/7L3/7wbYMcBI9oaQ4iFCSfw7f/+89//tP/ e50y4LWMzLrFzNd36JTC9LjetvMftg/Txb+usaRfv+8U0JKXig1IzItgdUDCSzohjyPziu1BJxQT QuIouhQkJ3IQrDyHRPJLQdK0DACJ9yBR1aaMu1/Of5wvPd2GmvppFhjcH4NpKwaT8IhfdBLzJDZ6 p8iveCJYQvQMiuQCBpfnIKiISnPgMmH5HGowuHEZwODMugev52Nt3x7uva4+f4cwvzms6PZ+OHw0 JyLlcFRTCydHDLOTgosAs99eooKbpl1H/16eNqgL6r5v6mZV57vzQPw0C4NWf4MWb7/1dsm+29jS 1KsDj5zxyBmPnPHIGY+c8cjZiy1NdXhS+cZJxXoBURiRsHphMCIpjStXn4njJKaVC4PRJLQrDpxY fCYRjMuKtWdya3rpH795+Jeqqjtzutawd4GZSWz+HQR//LPx1dUXu+lm94mFH4M3rQmDf6xe1kqI LVS9/lFpwZtvZ59fFo+74Deq8Gq4ebVrA/w4V9nrm2Y03jdmcvJ6pZuxccmL2Xyevr7+EjwoZH7/ uP5ppW7uUiWibzOZ37DQnPwy/Xnx8vaS8+o/kVAdSnKmHSR4fptvjQPz7/lmnZbLprO9C1RZlsau T/oRfPRRCcntevm2M/8WoZaXP843z7pxpQmbFJbzp51Sowq3q8eFzlXVgfrhr78rqb/USU4vUwWf boLtL6pKXpTpu83i5+CTTSj7Ir32z+mP+eTSBD9t5z8o9f4x2Kx/0mX9qAT8Un+w56x30+Wdurcr Xd7tJxqrMi3V2KP62uP+a2HPD4wwT+/i1ze6w6iU33bK0u3JZd4+5pd66H9vOc9XK+hl+j3p1dMi x0/KqdSv3MQVCExkHEleiUCpuhSpXBuRR4xWL8AVh3FCRCUDCY2r10YMWSRCa+uJxRHDkCY8TGjV Qik8jGVuyZW45CQ24XEsmV1NJQiSkpPoJI4Sot8WMnYDzNcA83a9yYr17Td/uzNfKhi7FbY+FiPF qgMomfI81R/fBczZhMZhpN8XSQo8TxDgxnJwGK0HPVofvVNBI/uC7KnVMgWN46qxmktC7DB7YqyO eVK9thlhCSNR9VCdUEHPLJUpBSH83GAtEskqljJmExmJc2N1Mgll+kbt6aE6nlBmXtTASH21kdot oWa++4P9193BiJz74R+mSh8XU1M1wXam6kd98avH+dP0bbn79TsZwRmLYoIRHIvvYYC8bIBkWE2u 0eRc+4g0naDbxfxckw4elXZ04FEpHpXiUSkeleJRKR6V9jI7t3JyrnlUKquXVmcTSojdY6M89JAw KqsflIZMkDOrqkdxFCVx9T4dIYsjGonjVc7THxMahSQfFeZ49IWFultU18pPu3ytrl48UdrvK6wX 77JOJxHjSSUvo0TwuHrLOal3dKgEZiRocoaXlCkokupYraCEioodKPQ5hIsoZqdjtenD1yhiJDmB ZppQVSl5NGP3OaAZaAaa26D56ClaUv3KC50oqFahmUwII6xyxzkRiYRWP0QLY7dJ5ykwE0Zpxd5A 6Z50grLkzEO0OOI0jM+QWW8ARNgp0az/o1+OzF4/ncD7Be9/3H2XZCzdP63i9YJ4QiPJ5GkyKlVL KKt4FZBMOGV2/7VyMLL9+9QnuCi5lFYYn+Jikog4OSNYKZMaatVYVCQP6clYQkQTDizioS2oU586 HA9t2z+0xTZgHSTc7YGHtnhoi4e2eGiLh7Z4aOvFNmDal9MOHa0IdYlEVExvVeUjid1UujzSFSU8 sS9Wlzt0QoSMV+yDrVw+TqWsDHRRLsK48l1xQpVjmVQ6czyilJ5+TdzMMONhxE+/JW4iblzw7DEH ObHJeBhKJsKszOTUNuMhpSQ1h5RVLZ8kRMaJe7WdlNVuMmGC2n2/D7f0Vk5wzMz1OQeVMDxSOXhG sNZ99cfF/CdPDezFC4x69QKjwwem8AKbeIGiAy9QmHTgBXZ0wAuEFwgvEF4gvEB4gX14gaLKCxSp F8irH+vxCZGhfXPrhBtIaRxVuYGSijCSVW4gJUSQMy88hESIeosc1VrR5lSBhSqwlJV+b0gIr3zD g3KiHMrKd++4oFHIqt9VpkkYJry7IuPpY2ad14saD8Ar7sXpFL06naJk+SNW/Zou4XRCK154EHIS SbviUBkoaDzhUlSs/kak5l7FwkdywqJIVrzuQPUKc7zyHTCZxHESVQXHSJzIytAYIyS0KzqcCo2R iIWiIjR2GcyyyfeltyUik4RXvKInyCSKREXgUlU7lVHFu9NikrCoekGqKI6IbRzlYUsiZGhf8jvx FgqTjJx7a1oQG9k8cXPCkMec2dG17Pao+uAhpTaaeBgqlDGL9AoZAisQYDjxdDjpz9DNbr300zzd 1fVae8Mfiiniv+3jv0kH8d/EpIP4b0cH4r+I/yL+i/gv4r+I//YR/02q4r9Jusp9PCMf2ell7tkk ClnVspFkQqKQVq7wLEXiQrcn4r+UJVVxDjMTmVAbUz01sYPqFZVPe9SXhRhkRUw8loyTymWvOWeV MXHlb1PBqmPE2rmPhKhY/F+Hd4jZpbTkJR82ISwOzY+FgvGTBctVUHnBCieUFaxwQlmxCieUFalw wpmo97VvM0+kndh+anVzKu3a5afucyxEVLnDg37bK4xYWHGfRRpAK7/PQrc2Xnafe4zQ+LrLMwJH 7zxw5O/dNSEtP00bTshtS+/9vssPs2dfb7KqO+CvZcNrTMDzUdWk16hqgrdqu4iqki5WxCU0TQmB 1Y4OBFYRWEVgFYFVBFYRWO1l+9DKRXGJWRV3Rj7Ko1iNsjsknJtATn7iXf/LzF5/v4d+1w4hR+ts QuA2ErisC4HL0pQgcDs6IHAhcCFwIXAhcCFwexG4rFLgsvTdAbtW7ktAkmAV0DBTuXY5R064eXG8 zil96l9PF8pWNeSlXb6ulK0ak5d29eRfsX79Kwb/qhP/qot1OYhIU4J/1dEB/wr+Ffwr+Ffwr+Bf 9eJfVS7NQcTBCo3Yc/4ae85vP8+Xy6xg3+rPd8Gff/lr7tr55kNnm8irwX6/ibyQ2SbyQtpzDjeR 1yUs2UWeJbTkBeAkjIhQtRQXHir161TrTnPv8UqJb9v55j7rzvevPm93cn3Xsd8JveRocQ24jo1c R9mF6yjTlOA6dnTAdYTrCNcRriNcR7iOvbiOstJ1lMZ15NZzLJkqKNOVnr5N3Rlyl/cZkvK9zEgo 44TaS2itS2TIWGIvYXUuoYRFsTOMH1zSpy+z0gDxdFoP99OsnjwX2a/nIuG5dOG50C5mzVCapgTP paMDngs8F3gu8FzgucBz6cNzoZWzZihNPZdwvy3ZqRXaacQ4i4RZ71L5MtnqKsHJK1S5eSQII1LI mMx/E4b5K04s8s6J4LGkYcRjlQc5l4e6IuSSMSk5NyvykHN5RBPOhIySRDBhrmD7K8pzUOeSJEyY FCQplqK8DFQyTrlMSBSROmWQEx7HLCGq2HHIDmu2dC3liaBMVVKYUEJZsQynVtVJeJjEScg4IfLw ivKNw+NQ0EiGyj1kes8zfq6ewkiSWPmSkfIpi+Uuryd1HiNUqJsXxflSl58t4liyMIyVRbRoTbk9 yYRToZxbXWpB67QMVQKmDGJhpA5R586JSawanxQsoiGVde6c0mlcEhFJSiJWq/WpxqcqllL1Nznf +tgk4lzGSSRizmu1PjqRMomjmAoa8qRePakuGtMwiUgk4zokIBMeRiFLWBzz6IgdJ3pRKFWv0/EJ KevUk0iSkKq2Rxjl51sf1etrKwqQRFVWkreobEGpeKJakeoFhPAk1C0jqsGlOOFM6hetWVKHfZqv keo/scrDcONsrXJVRzxSJY55kkT1Wp+ySERUkVyQWq1PhrGMSKK6HmF1Wl8SchoSEsWCHbWlE2NE otdb51QmpgfVaH2MMaHKISWjR7QsJ0FCJFf1qpcEq8U+qdnHWKzaEzukzYnWJ2OpWodUObDzrU/d OdVDRUSElKLQ+sp3lCQxVS2DEzX+avuToNew3Ovs/uXZ4wVtnt6Wnq4NfvP4ompOh+iut54N7XfC L8WE325ic11M+KUsTQmxuY4OxOYQm0NsDrE5xOYQm+slNlc54ZdmE371ojan1woPJ1EYkbBi78Rw woikNK5aMZnEcRJXLphMaBImFaslq2EvEUy5u7W2TsS79dd4tz5d27O71+e38x/2r8+TMHt9PtsG ruT1+bj07XkROm9YOyTpXfz6RncZlfLbTlm6rbdseL/v1g9kLearv/5B+53zTI/mPCsGhmAgGPhF GFiYQtSYgVEIwoFwe8Jhs70ugmhdrOpARZoSgmgdHQiiIYiGIBqCaAiiIYjWSxCtclUHPbJ/CKfk I6unBPudpE2PJmn7bOqBaN0pt9Qqs3uiHMC74FTjcErubbdYbi++UgeIGlyjxKpquE/T2eW2Fq6+ Xa0X22ZpvDw1y1qd3bDI+srbVhfvNm0uVle2uPxl2ehie36ri43tW/hip32x49pKl0joYoUEk876 ch9stffB4I+VHcP2x1bX98fqZdHWH6uXS2N/rF7yjf2xesk39MfOJ97SH7uoETXzx+qUoa0/VvMm NHOX6iXewh+rl0Frf6xeNm38sfo11cwfq9GUWvhj9axvs1RC5UoJ+U163l4elPeyfgr+Mv9pt17l Vx741O9Gyj3No+93Gv3xY9RIz/IS2WPUb//yh2+D//G2mukad3vCh5GQ3D5HLT2FRKGQ7kFq+Slh KLjbe770lDDkJGJU2oepJSclEyJDwu3+2/p5aslZfML1Ht3EvHNf3aR6XppP9TTfn64ZG/19tX/n a729S1zQQ1zolVCz5/4ncJFEserGlbgIw0SIOEoqgBFNRCRlZBbIOc0MMeExI9kEmHNdnaGrH26/ Md3dq6F8vVFfedzlt77O5TH3+OnR1aGnZr787KdhsZ9m3bz84qdhSs94adf7HPpYuycbq9J3VBBJ rhtJLi64i2gyosmIJiOajGgyosmIJiOafCaa/DHJzQ0piRtIs6oUrQhS8EkUy0hWRCjoJIkll5UR TcpCSXlFPFPHQtLlTirCmUSvT2UWBcnCKrLsrNwsklVlHETH2YcWSB9CzMY/FwbLcnTge3SyYq5J B75H9wd8D/ge8D3ge8D3gO/Rh+9RvXKu8T2YnphOuVLZ0916aScxb7LPYfxRpbv/rGdP7z7pM9Sn p9wE51LHRUz08pFx5dNVmggqql/GUHlwEVKaVHgvqprjxDyBNWeZM46nVi/tvHQjj7fz6UaNjD9O lXxa7e7MRb97e1jM/qR+/db8mJ0+Xb5+nn5KNygxRddT1D/p5UxN/cxfsyrKFiAumWOeVZn5+sla Pv9xunzLT0I/mm1emGweH082N/9S16e/Z5fv9FR951TZOeTr5Y/qi8K099LzS63j5tTD+f5lM/57 m/N/0az/ZvP+q2b+i5oz/0/O/Q8OZ/+XzP+/aAWAE2sAlK2EIuw+ovtzDlYBIKR0FQC6v6J6LZRq p55pp/5wOQEy4UmkVzrWaxTkVhTo902I1drT58+pvz/TjXGZOf2ebjU0iLdJjI0e7zv7OvP4HZcU UX7a1tOCG/1OXTx+EzbVbRF0G3QbdBt0G3QbdNsodNtu82La9/366clTEyEtIS0HJC0Znru2f+7a xW4IzKSD567dH3juiueueO6K56547ornrn08d63cFSHdFCG2M9nfU/ju3JRWRA8QPXj/Dly/a3GX bDYQ22nvYAvYMtRA0HT74qdhZiECf+st3e7BT9tM1Snr7hXnFkp8+doxMOhi0D0z6B6tNQNBnx90 CQZdsAVsacYWPJHp4IlMF1vrCJMOnsh0f+CJDJ7I4IkMnsjgiQyeyPTxRKZyix1hnshI7cDRlmsL h4Qr/+msH0YIU15WhR8mJwnlxPlhJxbkyK2icWYt6uDJuncRj1SyRGJ90QMbMwq696i9tjJ9TW56 uZXnvZ1+d2US96To7gS2K7Zd5htdEV3R667Yj5XTx8Xs5WkMwMDYDWB4DQw9LQdDN3oieuKXtrJl T8TIjZEbvBgRL54ex9ANMWyjG77bbogxG2M2YDEiWOiuOIaOiFEbHfEdd0SM2xi3gYuuZl8spw++ 4wJPuNEV0RW9sBJPuP0CBsZuAMNrYOAJN3oieqIPVuIJt1e8wMgNXnjNCzzhRjdEN/ziVuIJtz+w wJgNWHgNCzzhRkdER/TASjzh9gkXGLdHi4s06uU5LfCAGz0RPdEHI/F82y9eYOQGL3zmBR5voyOi I3pjJMZtT3CBcRu48BkXeLiNXohe+KWNxLNtf1iBERus8JkVeLSNfoh++OWNxJNtL2iBLWCabAEj O9gCRpp0sAVM9we2gMEWMNgCBlvAYAsYbAHTxxYwsmoLGOm2gElOe2RfcB/OU7tvwqn6AvtByl7d AXm8wfu5EF63DTVk1Q014gn1r6G+PHnaRNGNvlA3othWtb1PTXgHTjXhaUpwq7s/4FbDrYZbDbca bjXc6j7casKr/Go9yCuHRVQ71uGEyTiirPpRJw1pTHmFx8KV00xFonwRUeGxqLEsiuc3JAzOPsZk 2WNMcwkR+iJ43F/CVdCCsUdfgfBjnxtNGE14WE0Y/m4X/m7Shb+bBGlScHi7P+DwwuGFwwuHFw4v HN5eHN6k0uFNjMNLQvuIbrl4DH6cq9692P2i9Lh+qkbkRyXXlK7cLYP/S32nfA0lEpV+fUr/WeVl hDyUktAKN4NNGCORUvqhrHA0iLJDuxDkvAvxXkrRp9vz+PLyfL9azlWdbf30erifZrV0GGv4YUm/ flhyHEpI4SDeSbd6H6UAHN4/HHqc19F4WoePAEMgqYNAEqUdBJIoTVNCHKn7A3EkxJEQR0IcCXEk xJH6iCNRWhVH0oP8h3Bqgki9+SXT++fN4vH+Zz+VNQn9tOtmtb68xs7rfK31etT5lB4GKqDzGz0w jrt4YBynKUHnd39A50PnQ+dD50PnQ+f38rw4rnxerAZ5KK1mEVXSRUSVpClBaXV/QGlBaUFpQWlB aUFp9RJRJZURVWLezGNn1s6IJ1KGVPCQRTHn85uQVLyIwicsooxwRlh6ctXcHjV2hYJwIZNQCJa+ mIJlMYrWef1mx5XivKTfOC9BnLcT74N14X2wNCV4H90f8D7gfcD7gPcB7wPeRy/eB6v0PpjxPiLl fbDQ+Aj6KPVAVDmihPOERySKwvlvwjBwF5R6IWQiRURjGmnfQiovhO4vKPVE6IQmNOFJEhMRyf1r 9PooXXCATaJYEKGMYkms36ln9oLSEkhlEGVcKj9HknDvQ52wX0xkGMWJTFik0t+vfXDaj6IJ4yFn kWA0XQah99f336m70mMN2vX6lUt6//ToqaWZz3y/++V17qeJP736aZerOmXW69tODQyq7079tHW1 9tOu0jp889PWBnVYIzbC+o2NMMRGOomNdLFIKOVpSoiNdH8gNoLYCGIjiI0gNoLYSC+xkcpFQvUg D6XVTGmJLpSWSFOC0ur+gNKC0oLSgtKC0oLS6kVpiUqlJdw7cMnZRZFE4Yw/KWunm4Nlk/Q6Tl/9 qL55nu9P2Aa3Nr1PAZ/QUB/6MVavT2leN/Pleurpc4X10+Wv4dWIlva7TzEVx0ubddayorMtS0w4 Wta7bVkHa07t5kr4ZS7QPQkWq7vgFHqrXKb5zyR8bJTY226x3F565a7BFcq9VDf6aTq7uND6WnVu ozz1dap2XpeL2WLXOoHb+dtyvmmcjP6zlR02gduHbgy5na0ap/G6nb89rhtcbs9ucemtvnSL0MrJ 0MpRXaVLOHSxgoNJZ10VACgPqey2CK7UPQYdXNldO7RSK4OWgZVaeTQNq9RKvGlQpVbizUIqZ5Nu F1C5pOE0CqfUsL9lMKVe5TeKdNRKunkgpVbybcMotTJpEUSpXUeNQijnm0/zAEoty9ss1lC5VsNk /aGNE1fXwdRKJHXiarpwfRjl3ib1yKbdNvdipj92GafDN6O0jJlPN6pf3CvZuFlcdjfLQwS5RanP xQcaRAdMvxS6X6p/nuia6I4e2YTueNENXO17pH0XHn0SfRJ98ksPkbP1SknD1Q4DJTolOuWXrqys U/443Sx0r0CnRKdEp/zSlbVXr5Cu6JCj6pAPfvbIU5vYe2RiqwhUHwa+zrxscQq2l9kEvPp1A4FX 4HUIEUUwFowFY8FYMPaKEeIRQ3b5BsQCsUAsEIt4P8ABcAAceCZxFhptpv/YiW+YAlRvClBxJ1dM A8I0IEwDwjQgTAPCNCBMA8I0oNw0IDIjH2VhFYt0nneg+4Fi6KtexILwQFk3XZovg2Qixfw3lPS6 VsUp2d7p6hD9bmB1tH/VhQL58eXyK26nF8/gNxc1X8whu7zJeg65S28fptvFrE0CL9PXV3X3myXR dAmD4tVYxeCMC1NWXZ17MJc6MHBP7DFo9+Tx5cruSa0MWrontfJo6p7USrype1Ir8Wbuydmk27kn lzScRu5JDftbuif1Kr+R/1Ar6ebuSa3k27ontTJp4Z7UrqNG7sn55tPcPalleRP3JDrrnuw9lI+J 3mus4KPMlYw2zsVipVT443yjHQW9GJ9WGLOb//zq9VV5EK+vN/9pvsg2SbZ/2M/Zdsj2D/s52/jY /mE/m69ZYP+wn83XPLB/2M/q63+G3wX0ozL9Iw/+qmvz72tl0nIxM4sDqlSJSsKeGJrTcr//fW2u Uabqk1JXy3sPhnwkst7NImHzuyVyd4vu7xbJ3S2+v1syd7fk/m7R3N2Kzdcm2Sj9Wuxbgszdcrm/ 5ebEOP3afBbm6zjXEsznyHydBPYP+/l8AyHKCmkKeKaBSFOAf5K6qZGzqfna3Ohhc6OsZnNrAYd8 c2OuuZEw19zkvrmRXHNL9s1N7ptbtmm7TtaK/MPmRnPNje+bW5RrbpFrboTumxsJ982N7ZsbMXan JqdtNv1sLDFGkPTs1CDTlNNk06acfjbdJD0xbcrmMzF2E1Oy7Oz0c40WHqqSE1N7Z5p4ktbauTae S6+6kdv0aO306Pn0fO01DFuBtYw/0C42pzDpIP7Q/ED8AfEHxB8Qf0D8AfGHbuIP9Ez8gZr4A6/n Y9AaLkY2qKaf9y5G5kukn2vrSNrvWvbHzn7UXWCG5yqG7yuG5Spm73udCszkfS+y972y2uV+1+6R b0tIvepNalRvnKveeF+9Ua56o331ylz15lxbkatecTrulZ2Y3Tqxv3VHri3du7bZrYv2ty7O3brY 71sHB6utg8U6cLCYSafBK6rwsOwBDwseFjwseFjwsOBhdeNhsTMeFjMeFrVPDb/65vfT3TT4r/kv d8H3819I8Kf56lmpLBF889NK8fTz4vXOPBIVgRGJ2fnfzp+1WrsLtvNnEvxWs2Cr7qMSm4/q53R2 3Gqnrwjv9DhnZOUN0buumXTIXfqF+5qYr2n6NXVfU/M1S79m7mtmvubp19x9zU/aSHM2sr2Nj+s3 JSxzZk7Cg0PvEZemX/YTP/2TKJTzTLqkIl1S/EkUKupMurQiXVr8SRRq+ky6rCJdVvxJFG7VmXR5 Rbq8+NPp9shy95rs7/Vy/byYTZf5Nrm/Q/nmF+ZqguSsN98f9Bfasr+gLb6TtljXU2a9esrsMIQE T/liT1l04CkLkw485RYHPGV4yvCU4SnDU4an3I2nXLHfvfGU0x3vCe/IUzbXlHomBU+Z5LR6mNPX LKeJ+Rmv5Fq28RO2kRO2sfq6uN9two/2n4cuvlgXRx3o4sikA13c4oAuhi6GLoYuhi6GLu5GF0dn dHFkdLGkmHd2ybyzfTUtVo+L2dzU0q+2u83icf7rYDvfmXTNrBxTBfoTcZPRqJu3yNzsHe5modVM W8/QMWXVn4gpnpnf435lphD6E3d2f62a2c8mDSW4X1WjVRJcT8VpVSziikVdsZgrFm9QLOGKJV2x IleseCzFKk37CuY2tbKuOxj16g5GrRcGKvpIbvHMRum87RaNLn2cNrpIf2p2YYtFenJXY5Ge8x74 UXV9+WVG4YHbAx44PHB44PDA4YHDA+9zlZ6YZkuJKtmsZPlWna+Uu/r3jXwff+TKRUy5kvfwR5+L uLrdM97Tqq3wFC72FHgHngI36cBTaHHAU4CnAE8BngI8BXgK3XgK/IynwNN32GScuQrqvz+afhD8 T5XNerO9K/EfQs//P/QLiOf/5+yl2l7q+f85e5m2l3n+v/5v+F4V79Wr4u0feRVcjRaPvFQ6TR95 vW2b7C+hrspyhCtZ4Uq6alIu5GL1+rZr7USaVLK0sC5j8wN+JPxI+JHwI+FHwo9s6UeabevMiHza k8wGbKilumppt1nM1qsf55v2kmmfVD5ViKfmB8QTxBPEE8QTxBPEUxfiaT8sn1ZQ+aH70oDVy3z7 uck1zXeQTa9usoHs/spbVeTp6vltOd10ksgteewmHdosHTOf6dIrnzeLi3PT1zS/denVTW7d/soW t640kQa3rjydy2+dSedxsZ2pXrz4dzrBp30SLW/PYWKN71ZZQm1v3pk0m97L88neKkAqtq5210pf P6K5WqXc/vA2fdyony+eSlMrg05aflmy16wV2qZWlGva5JoWXdNc3agvuivbdL6yRJrc9+16+WOD kSq9rEX12QQa1WD+4tvnh/nbskURTCL/ms7WD5e3OwUhVf0PDS+73V4+By93aeMJdWVpYFrdmZjd 6UrrfHLdpcG6zLTLX7XN+oD7p8K0C/spFWs/77b203Y1339e7j8jXGiPQYcLs/Zw5Zhh/VxaBg7r Z9Q0elg/h6YhxPo5NIsj1ku/XTDx4mbVKKJYtyQtw4oX3JBGwb/66TcPMNbPo22UsX5OLUKNl1VZ o3hjzcbVPOhYvwxXnijY5p3Ium9Eksf0hciar0P2YdLrfLNYPy5mvhkW+mbQzaNe2sUvm4hvBt0o wbKaLZb3Py0ed599s87f6krXkPXLuMt6YPmL2xdMhm3w0jaQ7ZVhQPagGQRkDx7Zl9UWkA1k+2YQ kD14ZFPfDPIa2VDZQDaQDWQD2YNBNlQ2kA1kj4dBXiLb3xHOR2RDZQPZQDaQDWQPBtlQ2UA2kA1k o7oGg2yobCAbyB4Pg4DswSMbKhvIBrK7ton5ZpDfyEZgBCobyPakwQDZfhgEZL8fZENlA9lANpCN wMhgkA2VDWQD2UA2kD0YZENlA9kDd2I9RLZ/leQ1sv2tLh+RDZUNZA+8ewHZQPaYkA2VDWQPvHsB 2UNHNgIjUNlA9ohoBGQD2WNCNlQ2kD1wGnmIbH8Z5CWy/WtTPiMbKhvIHnj3ArKB7DEhGyobyB54 9wKyh45sf6vLR2RDZQPZQPZ4GARkDx7ZUNlANpDdtU2YSjPwNuUzsqGygeyBdy8gG8geE7KhsoHs gXcvIHvoyEZgBCobyAaygWwg+10iGyobyMayUO9/XPMa2f5Wl4/IhsoGsoHs8TAIyB48sqGygWwg ezwM8hLZCIxAZQPZnjQYINsPg4Ds94NsqGwgG8geD4O8RLa/I5yPyIbKBrKBbCAbyB4MsqGygWwg G8hGdQ0G2VDZQDaQPR4GAdmDRzZUNpANZHdtE6bSIDDiSQ8EsoFs3wwCsoHsUSEbKhvIBrKBbARG BoNsqGwgG8gGsoHswSAbKhvIHrgT6yGy/askr5Htb3X5iGyobCB74N0LyAayx4RsqGwge+DdC8ge OrIRGIHKBrJHRCMgG8geE7KhsoHsgdPIQ2T7yyAvke1fm/IZ2VDZQPbAuxeQDWSPCdlQ2UD2wLsX kD10ZPtbXT4iGyobyAayx8MgIHvwyIbKBrKB7K5twlSagbcpn5ENlQ1kD7x7AdlA9piQDZUNZA+8 ewHZQ0c2AiNQ2UA2kA1kA9nvEtlQ2UA2loV6/+Oa18j2t7p8RDZUNpANZI+HQUD24JENlQ1kA9nj YZCXyEZgBCobyPakwQDZfhgEZL8fZENlA9lA9ngY5CWy/R3hfEQ2VDaQDWQD2UD2YJANlQ1kA9lA NqprMMiGygaygezxMAjIHjyyobKBbCC7a5swlQaBEU96IJANZPtmEJANZI8K2VDZQDaQDWQjMDIY ZENlA9lANpANZA8G2VDZQPbAnVgPke1fJXmNbH+ry0dkQ2UD2QPvXkA2kD0mZENlA9kD715A9tCR jcAIVDaQPSIaAdlA9piQDZUNZA+cRh4i218GeYls/9qUz8iGygayB969gGwge0zIhsoGsgfevYDs oSPb3+ryEdlQ2UA2kD0eBgHZg0c2VDaQDWR3bROm0gy8TfmMbKhsIHvg3QvIBrLHhGyobCB74N0L yB46shEYgcoGsoFsIBvIfpfIhsoGsrEs1Psf17xGtr/V5SOyobKBbCB7PAwCsgePbKhsIBvIHg+D vEQ2AiNQ2UC2Jw0GyPbDICD7/SAbKhvIBrLHwyAvke3vCOcjsqGygWwgG8gGsgeDbKhsIBvIBrJR XYNBNlQ2kA1kj4dBQPbgkQ2VDWQD2V3bhKk0CIx40gOBbCDbN4OAbCB7VMiGygaygWwgG4GRwSAb KhvIBrKBbCB7MMiGygayB+7Eeohs/yrJa2T7W10+IhsqG8geePcCsoHsMSEbKhvIHnj3ArKHjmwE RqCygewR0QjIBrLHhGyobCB74DTyENn+MshLZPvXpnxGNlQ2kD3w7gVkA9ljQjZUNpA98O4FZA8d 2f5Wl4/IhsoGsoHs8TAIyB48sqGygWwgu2ubMJVm4G3KZ2RDZQPZA+9eQDaQPSZkQ2UD2QPvXkD2 0JGNwAhUNpANZAPZQPa7RDZUtr5DFMjGslDvelzzGtn+VpePyIbKBrKB7PEwCMgePLKhsoFsIHs8 DPIS2QiMQGUD2Z40GCDbD4OA7PeDbKhsIBvIHg+DvES2vyOcj8iGygaygWwgG8geDLKhsoFsIBvI RnUNBtlQ2UA2kD0eBgHZg0c2VDaQDWR3bROm0iAw4kkPBLKBbN8MArKB7FEhGyobyAaygWwERgaD bKhsIBvIBrKB7MEgGyobyB64E+shsv2rJK+R7W91+YhsqGwge+DdC8gGsseEbKhsIHvg3QvIHjqy ERiBygayR0QjIBvIHhOyobKB7IHTyENk+8sgL5HtX5vyGdlQ2UD2wLsXkA1kjwnZUNlA9sC7F5A9 dGT7W10+IhsqG8gGssfDICB78MiGygaygeyubcJUmoG3KZ+RDZUNZA+8ewHZQPaYkA2VDWQPvHsB 2UNHNgIjUNlANpANZAPZ7xLZUNlANpaFev/jmtfI9re6fEQ2VDaQDWSPh0FA9uCRDZUNZAPZ42GQ l8hGYAQqG8j2pMEA2X4YBGS/H2RDZQPZQPZ4GOQlsv0d4XxENlQ2kA1kA9lA9mCQDZUNZAPZQDaq azDIhsoGsoHs8TAIyB48sqGygWwgu2ubMJUGgRFPeiCQDWT7ZhCQDWSPCtlQ2UA2kA1kIzAyGGRD ZQPZQDaQDWQPBtlQ2UD2wJ1YD5HtXyV5jWx/q8tHZENlA9kD715ANpA9JmRDZQPZA+9eQPbQkY3A CFQ2kD0iGgHZQPaYkA2VDWQPnEYeIttfBnmJbP/alM/IhsoGsgfevYBsIHtMyIbKBrIH3r2A7KEj 29/q8hHZUNlANpA9HgYB2YNHNlQ2kA1kd20TptIMvE35jGyobCB74N0LyAayx4RsqGwge+DdC8ge OrIRGIHKBrKBbCAbyH6XyIbKBrKxLNT7H9e8Rra/1eUjsqGygWwgezwMArIHj2yobCAbyB4Pg7xE NgIjUNlAticNBsj2wyAg+/0gGyobyAayx8MgL5Ht7wjnI7KhsoFsIBvIBrIHg2yobCAbyAayUV2D QTZUNpANZI+HQUD24JENlQ1kA9ld24SpNAiMeNIDgWwg2zeDgGwge1TIhsoGsoFsIBuBkcEgGyob yAaygWwgezDIhsoGsgfuxHqIbP8qyWtk+1tdPiIbKhvIHnj3ArKB7DEhGyobyB549wKyh45sBEag soHsEdEIyAayx4RsqGwge+A08hDZ/jLIS2T716Z8RjZUNpA98O4FZAPZY0I2VDaQPfDuBWQPHdn+ VpePyIbKBrKB7PEwCMgePLKhsoFsILtrmzCVZuBtymdkQ2UD2QPvXkA2kD0mZENlA9kD715A9tCR jcAIVDaQDWQD2UD2u0Q2VDaQjWWh3v+45jWy/a0uH5ENlQ1kA9njYRCQPXhkQ2UD2UD2eBjkJbIR GIHKBrI9aTBAth8GAdnvB9lQ2UA2kD0eBnmJbH9HOB+RDZUNZAPZQDaQPRhkQ2UD2UA2kI3qGgyy obKBbCB7PAwCsgePbKhsIBvI7tomTKVBYMSTHghkA9m+GQRkA9mjQjZUNpANZAPZCIwMBtlQ2UA2 kA1kA9mDQTZUNpA9cCfWQ2T7V0leI9vf6vIR2VDZQPbAuxeQDWSPCdlQ2UD2wLsXkD10ZCMwApUN ZI+IRkA2kD0mZENlA9kDp5GHyPaXQV4i27825TOyobKB7IF3LyAbyB4TsqGygeyBdy8ge+jI9re6 fEQ2VDaQDWSPh0FA9uCRDZUNZAPZXduEqTQDb1M+IxsqG8geePcCsoHsMSEbKhvIHnj3ArKHjmwE RqCygWwgG8gGst8lsqGy9R1iQDaWhXrX45rXyPa3unxENlQ2kA1kj4dBQPbgkQ2VDWQD2eNhkJfI RmAEKhvI9qTBANl+GARkvx9kQ2UD2UD2eBjkJbL9HeF8RDZUNpANZAPZQPZgkA2VDWQD2UA2qmsw yIbKBrKB7PEwCMgePLKhsoFsILtrmzCVBoERT3ogkA1k+2YQkA1kjwrZUNlANpANZCMwMhhkQ2UD 2UA2kA1kDwbZUNlA9sCdWA+R7V8leY1sf6vLR2RDZQPZA+9eQDaQPSZkQ2UD2QPvXkD20JGNwAhU NpA9IhoB2UD2mJANlQ1kD5xGHiLbXwZ5iWz/2pTPyIbKBrIH3r2AbCB7TMiGygayB969gOyhI9vf 6vIR2VDZQDaQPR4GAdmDRzZUNpANZHdtE6bSDLxN+YxsqGwge+DdC8gGsseEbKhsIHvg3QvIHjqy ERiBygaygWwgG8h+l8iGygaysSzU+x/XvEa2v9XlI7KhsoFsIHs8DAKyB49sqGwgG8geD4O8RDYC I1DZQLYnDQbI9sMgIPv9IBsqG8gGssfDIC+R7e8I5yOyobKBbCAbyAayB4NsqGwgG8gGslFdg0E2 VDaQDWSPh0FA9uCRDZUNZAPZXduEqTQIjHjSA4FsINs3g4BsIHtUyIbKBrKBbCAbgZHBIBsqG8gG soFsIHswyIbKBrIH7sR6iGz/KslrZPtbXT4iGyobyB549wKygewxIRsqG8geePcCsoeObARGoLKB 7BHRCMgGsseEbKhsIHvgNPIQ2f4yyEtk+9emfEY2VDaQPfDuBWQD2WNCNlQ2kD3w7gVkDx3Z/laX j8iGygaygezxMAjIHjyyobKBbCC7a5swlWbgbcpnZENlA9kD715ANpA9JmRDZQPZA+9eQPbQkY3A CFQ2kA1kA9lA9rtENlQ2kI1lod7/uOY1sv2tLh+RDZUNZAPZ42EQkD14ZENlA9lA9ngY5CWyERiB ygayPWkwQLYfBgHZ7wfZUNlANpA9HgZ5iWx/RzgfkQ2VDWQD2UA2kD0YZENlA9lANpCN6hoMsqGy gWwgezwMArIHj2yobCAbyO7aJkylQWDEkx4IZAPZvhkEZAPZo0I2VDaQDWQD2QiMDAbZUNlANpAN ZAPZg0E2VDaQPXAn1kNk+1dJXiPb3+ryEdlQ2UD2wLsXkA1kjwnZUNlA9sC7F5A9dGQjMAKVDWSP iEZANpA9JmRDZQPZA6eRh8j2l0FeItu/NuUzsqGygeyBdy8gG8geE7KhsoHsgXcvIHvoyPa3unxE NlQ2kA1kj4dBQPbgkQ2VDWQD2V3bhKk0A29TPiMbKhvIHnj3ArKB7DEhGyobyB549wKyh45sBEag soFsIBvIBrLfJbKhsoFsLAv1/sc1r5Htb3X5iGyobCAbyB4Pg4DswSMbKhvIBrLHwyAvkY3ACFQ2 kO1JgwGy/TAIyH4/yIbKBrKB7PEwyEtk+zvC+YhsqGwgG8gGsoHswSAbKhvIBrKBbFTXYJANlQ1k A9njYRCQPXhkQ2UD2UB21zZhKg0CI570QCAbyPbNICAbyB4VsqGygWwgG8hGYGQwyIbKBrKBbCAb yB4MsqGygeyBO7EeItu/SvIa2f5Wl4/IhsoGsgfevYBsIHtMyIbKBrIH3r2A7KEjG4ERqGwge0Q0 ArKB7DEhGyobyB44jTxEtr8M8hLZ/rUpn5ENlQ1kD7x7AdlA9piQDZUNZA+8ewHZQ0e2v9XlI7Kh soFsIHs8DAKyB49sqGwgG8ju2iZMpRl4m/IZ2VDZQPbAuxeQDWSPCdlQ2UD2wLsXkD10ZCMwApUN ZAPZQDaQ/S6R7b/Kfpl+P/+n/O4u+Kf6p8riu+AP6vyNsvxXi+fVejN//PWH3VzV8c/Tl9flfHuv irS6C24/r1/mt98vVv9a377Od9vZDZ2QCbvdbma3s/Vqt1k83G4fp7f2stvd2269WUyX2zapqX83 vXz9MN+oe9Dy8tvl9HU5nS2mq/sfyIfn2Sy4efrr178LbtSH5+Dm6xNJnf7l9kHfgFvVMN5+rjhr sZot3x7n+oz16+52O1M3RkzCSXir7qP+f/b5hkyo+veCxfJG3TXV+qIbkyy95/vrf//XP/z929/d /z9f/c8/3P8vQtwX//j2D/e//8Nv//HHwjd/+qb4799+89e/3z8Xvvr271/97r/UN/f33/7+67/d 33/6b+eq7fa/BS/TxWoyQ/01rb/p6+uPi/lPqMJWVbhcTx9Rha2qcLp8nj9spqjFVrU4X871sKxq cfOiKtHgMa3Q5yC4+f+WH282r9Pd54+namSpUlf/P2dVF9ysTRIpZteOFmvX6Nf5e7fOm7AObv5U M5ubpflxu1JaxH5e7j8/vthPL1qlpR9/nM/sx6D9oUx9225u1b37m9SWqaT1ffTtOF2jD8vpVjWH 6ex7ZfrT/pP+Xl/WqH2nFWHOU38/LtUfutKfqf7z5UO9u6s/uts72a7vgrfV4/xJ6dfHYDN/mm+U 5p5rHfl/jH33D3OlcdVfb9tf/u8rZfH49vJ6v5k/K8U732yvlctPqVNwreSf57t7dVevlfzrdLWY XSPx++fZcj37XtX/9PFqdzhrRIvH5fw6ZVCV/7xcP0yVs7h4uUoe5ia8rOZXu8Ort5frZjDd7aaz z/eP84e35+f55lrZLFaLnXIHF/++2m3QNbVaP16nKSkEKS9/urua9dv58ikzf7ZeLuezHb0Llvrc 3dtGX0S0878Ltrvp7m2bc+P1oF/mxO+lxaWSoEufWQ1n06UOULRN9OFto1rn9v7H+UYlc/8w3c4f 4ZNX6dC37fMtfdQVqdrManf/sNDhqOkG/niruoMv3rb64Ic3r76nt9Vst1A/oAKbVeBitZs/b6a7 9aZP9zuX6zp3D+F9d3/A+4b3De8b3je8b3jfX8777sjbfXyCpwtPF57uQKsPni483S/Z/rbz3XT5 3PNz5ixT+LnXPeDnws+Fnws/F34u/FyPnzLnRUBOHLR1kFdb5RL/EHaRDFW+dcNkltPP018aP9pW 92731Pj9+OnjovHL8fraThLQ/1ptF7NWpbj940b9NV/tLk3kQbXuzy/TzfcXZ//6dPkVt/ohzuZp Orv4hutr1bkNrEyvc/K+cQJbfZ+eG1xuz25xaW4qCPy4U35caX0pJ27+M7H+b2OfzUwkUumsK72G cj8M/pY9Bu1vPb5c2duqlUFLX6tWHk09rVqJN/WzaiXezMs6m3Q7H+uShtPIw6phf0v/ql7lN3J+ aiXd3LeqlXxbz6pWJi38qtp11MirOt98mvtUtSxv7FGdmHubOlTqv3TEvlR3Pa03u83l016zy26n Sno0vXb2tt2tX5pe/dRgrq+99vu5qunL5HWm7xpccvvU5tok1IL8kksf18q7+t1an7pTzUmR9lXH +J8DPcF887ZamcnnKr3AafVPdY8P/z9IB/ttObENAA== ------=_NextPart_000_0000_01C2A6E3.1A1D25A0-- From kameyama @ pccluster.org Thu Dec 19 09:40:43 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 19 Dec 2002 09:40:43 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: Your message of "Wed, 18 Dec 2002 22:16:24 JST." Message-ID: <20021219004044.EF71920046@neal.il.is.s.u-tokyo.ac.jp> 亀山です. ファイルを眺めただけで, 実際に make はしていませんが... In article "金城 尚志" wrotes: > $ cat examples_log > (略) > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to > `sc_terminate' > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to > `score_self_node' SCore 関係のライブラリがリンクされていないようです. この library は /opt/score/lib/i386-redhat7-linux2_4 あたりにはありますが, 繁雑なのと SCore の vesion によって変わる可能性があるので, gcc, g77 の変わりに scorecc, scoref77 などを使用することを推奨します. > # /home/kinjo/petsc-2.1.3/bmake/linux/packageを編集 > $ emacs package この file に加えて bmake/linux/variables も編集してください. このファイルの中で gcc, g77, g++ をそれぞれ, scorecc, scoref77, scorec++ に変更してください. (C_CC の -fPIC は削除して良いかも...) gnu 以外のコンパイラを使用したい場合は, score* の引数に -compiler フラグを追加してください. あと, SCorre program は基本的に static link を行いますので, shared library を作成しないように config/configure_options.linux に --disable-share を入れておいてください. from Kameyama Toyohisa From kameyama @ pccluster.org Thu Dec 19 10:05:15 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 19 Dec 2002 10:05:15 +0900 Subject: [SCore-users-jp] Re: [SCore-users] PM/Ethrnet In-Reply-To: Your message of "Wed, 18 Dec 2002 17:15:20 JST." Message-ID: <20021219010516.0A33B20046@neal.il.is.s.u-tokyo.ac.jp> In article Marcin Krol wrotes: > I have installed SCore 5.2.0 using EIT on just two nodes - the server is a > compute node as well. The server and the other node have different > ethrenet cards. During the installation I had to add sis900.o driver to > the boot diskette, but the it went smoothly. After the installation all > score programs failed and I noticed that pm_ethernet does not work. When I > wanted to run it on the server node (# /etc/init.d/pm_ethernet start) I > got the error message > etherpmctl: ERROR on unit 0 :"Operation not supported (95)" If you want to use PM/ethernet, you must change kernel with PM/ethernet driver. If you don't reboot server host after end of EIT, please reboot the server host. > On the compute node the error was: > etherpmctl: Error on unit 0: " Device or resource busy (16)" I think the compute host already execute /etc/init.d/pm_ethernet when the host is booted. (If you reboot server host, pm_ethernet script is executed on server host, too.) Please check: % dmesg | grep pm or % cat /proic/p/ethernet/0/info from Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From e973220 @ eve.u-ryukyu.ac.jp Thu Dec 19 12:57:14 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Thu, 19 Dec 2002 12:57:14 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: <20021219004044.EF71920046@neal.il.is.s.u-tokyo.ac.jp> Message-ID: 亀山様: 劉さま: 琉球大の金城です。 亀山様、劉様アドバイスありがとうございました。 亀山様、劉様からのアドバイスをそれぞれ反映して 設定を行いました。 しかしながら、どうも上手くインストールがいきません、 やはり 【エラー】 /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `score_self_node' が、発生してしまいます。 亀山様、劉様からのアドバイスをそれぞれ反映して設定したのは、 以下の通りです。 (手法;1、手法:2) ■■■■■■ 手法:1 ■■■■■■ 【1】 >この file に加えて > bmake/linux/variables >も編集してください. >このファイルの中で gcc, g77, g++ をそれぞれ, >scorecc, scoref77, scorec++ に変更してください. 上記の通りに、gcc, g77, g++を変更しました。 【2】 > config/configure_options.linux >に > --disable-share >を入れておいてください. このファイルはなかったので、設定はしていません。 ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package において、下記の通りにコメントアウトしているので、OKかと思われます。。 # 最後の行付近、共有ライブラリは使用しないと思い、コメントアウト #C_DYLIBPATH = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib ${CLINKER_SLFLAG}/\ home/petsc/software/BlockSolve95/lib/libO/linux #F_DYLIBPATH = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib ${FLINKER_SLFLAG}/\ home/petsc/software/BlockSolve95/lib/libO/linux 【4】 /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g all ここでは、すんなり上手くいっているようです。 エラーメッセージ、警告等はありませんでした。 【5】 /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g testexamples >& examples_log を行うと、先のメールのエラーメッセージと同じ エラーが発生します。 $ cat examples_log (略) /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `score_self_node' (略) ■■■■■■ 手法:2 ■■■■■■ 【1】 とりあえず、 今まで、使っていたフォルダをすべて 削除し、新たにpetsc-2.1.3フォルダを作成 $ rm -Rf petsc-2.1.3 $ tar zxvf petsc.tar.gz 【2】 手法:1の設定を行う (make以降の設定はしていない) 【3】 petsc-2.1.3ディレクトリ内の makefileを編集 以下の行を追加、 LIBSは-lgmodule -lglib -ldl -lXext -lX11 -lXi -lm 【4】 /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g all ここでは、すんなり上手くいっているようです。 エラーメッセージ、警告等はありませんでした。 【5】 /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g testexamples >& examples_log を行うと、先のメールのエラーメッセージと同じ エラーが発生します。 $ cat examples_log (略) /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `score_self_node' (略) 【6】 /opt/score/bin/bin.i386-*/にあるにmpc++.exeとscorec++.exeを編集 staticの値を1から0に変更 【7】 >/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so >はすべてのノードにマウントされているか、あるいは許可を許しているかを確認 [kinjo @ scic99 linux]$ ls -l libpetscdm.so -rwxrwxr-x 1 kinjo kinjo 1021030 Dec 19 12:24 libpetscdm.so 【8】 >/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so >は標準ライブラリではないので、 >/etc/ld.so.conf >に上記のライブラリのPATHを追加しなければなりません。 >PATHを追加したら必ずldconfigを実行してください。 # emacs /etc/ld.so.conf で、/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so を追加記入し、 # ldconfig 【9】 /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g all ここでは、すんなり上手くいっているようです。 エラーメッセージ、警告等はありませんでした。 【10】 /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g testexamples >& examples_log を行うと、先のメールのエラーメッセージと同じ エラーが発生します。 $ cat examples_log (略) /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference to `score_self_node' (略) まだ上手くいきません。。。 一生懸命やっていますが、こちらの知識不足で、 僕の設定は亀山さん、劉さんのアドバイスをきれいに反映していないかもしれませ ん、 どうかよろしく御願いします。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From kameyama @ pccluster.org Thu Dec 19 13:25:16 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 19 Dec 2002 13:25:16 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: Your message of "Thu, 19 Dec 2002 12:57:14 JST." Message-ID: <20021219042516.A994920046@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article "金城 尚志" wrotes: > 【エラー】 > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference SCore の library は static link 版のみしか提供していないため, SCore の 関数/変数を使用している library が shared library になっていると うまく link できないようです... > > config/configure_options.linux > >に > > --disable-share > >を入れておいてください. > > このファイルはなかったので、設定はしていません。 すみません. 一度 make した後にはできるのですが... 作成して中に書き込んでください. > ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package > において、下記の通りにコメントアウトしているので、OKかと思われます。。 > > # 最後の行付近、共有ライブラリは使用しないと思い、コメントアウト > #C_DYLIBPATH = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib > ${CLINKER_SLFLAG}/\ > home/petsc/software/BlockSolve95/lib/libO/linux > #F_DYLIBPATH = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib > ${FLINKER_SLFLAG}/\ > home/petsc/software/BlockSolve95/lib/libO/linux 実際に使用していて問題になっているのですが... 多分, これとは無関係に confdefs.h の中で PETSC_USE_DYNAMIC_LIBRARIES が #define されているかどうかで決定されていると思います. (makefile の中で configure を動かしてこのファイルを作成しているようです. なんかややこしい...) from Kameyama Toyohisa From 劉学振\ Thu Dec 19 13:26:44 2002 From: 劉学振\ (LIU XUEZHEN) ) Date: Thu, 19 Dec 2002 13:26:44 +0900 Subject: [SCore-users-jp] PETScのインストール方法 References: Message-ID: <007601c2a716$d6bf3710$6c03c9a0@IWS0098> 金城様 > 【2】 > > config/configure_options.linux > >に > > --disable-share > >を入れておいてください. > > このファイルはなかったので、設定はしていません。 > ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package > において、下記の通りにコメントアウトしているので、OKかと思われます。。 > > # 最後の行付近、共有ライブラリは使用しないと思い、コメントアウト > #C_DYLIBPATH = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib > ${CLINKER_SLFLAG}/\ > home/petsc/software/BlockSolve95/lib/libO/linux > #F_DYLIBPATH = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib > ${FLINKER_SLFLAG}/\ > home/petsc/software/BlockSolve95/lib/libO/linux --disable-share関係のファイルがなかったら,makeのオプションに -static を入れたらどうでしょうか. また,以下を訂正してください: > 【3】 > petsc-2.1.3ディレクトリ内の > makefileを編集 > > 以下の行を追加、 > LIBSは-lgmodule -lglib -ldl -lXext -lX11 -lXi -lm これは例を挙げただけで,上記のライブラリが必要がありますでしょうか.なかったら削除してください. > > 【6】 > /opt/score/bin/bin.i386-*/にあるにmpc++.exeとscorec++.exeを編集 > staticの値を1から0に変更 > scorecc, scoref77, scorec++ のどれかを使っていますか?関係あるコンパイラーのファイルを編集してください. > 【8】 > # emacs /etc/ld.so.conf > で、/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so > を追加記入し、 > # ldconfig もしこれが関係があるなら,ファイル名ではなく,PATH名を追加することです. (/home/kinjo/petsc-2.1.3/lib/libg/linux ここまで) もうちょっと試してみてください. 以上 劉@三菱プレシジョン(株) ----- Original Message ----- From: "金城 尚志" To: Cc: ; Sent: Thursday, December 19, 2002 12:57 PM Subject: RE: [SCore-users-jp] PETScのインストール方法 > 亀山様: 劉さま: > > > 琉球大の金城です。 > 亀山様、劉様アドバイスありがとうございました。 > > 亀山様、劉様からのアドバイスをそれぞれ反映して > 設定を行いました。 > > しかしながら、どうも上手くインストールがいきません、 > やはり > 【エラー】 > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference > to > `score_self_node' > が、発生してしまいます。 > > > > 亀山様、劉様からのアドバイスをそれぞれ反映して設定したのは、 > 以下の通りです。 > (手法;1、手法:2) > > ■■■■■■ 手法:1 ■■■■■■ > > 【1】 > >この file に加えて > > bmake/linux/variables > >も編集してください. > >このファイルの中で gcc, g77, g++ をそれぞれ, > >scorecc, scoref77, scorec++ に変更してください. > > 上記の通りに、gcc, g77, g++を変更しました。 > > 【2】 > > config/configure_options.linux > >に > > --disable-share > >を入れておいてください. > > このファイルはなかったので、設定はしていません。 > ただ、/home/kinjo/petsc-2.1.3/bmake/linux/package > において、下記の通りにコメントアウトしているので、OKかと思われます。。 > > # 最後の行付近、共有ライブラリは使用しないと思い、コメントアウト > #C_DYLIBPATH = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib > ${CLINKER_SLFLAG}/\ > home/petsc/software/BlockSolve95/lib/libO/linux > #F_DYLIBPATH = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib > ${FLINKER_SLFLAG}/\ > home/petsc/software/BlockSolve95/lib/libO/linux > > > 【4】 > /home/kinjo/petsc-2.1.3 > において、 > $ make BOPT=g all > > ここでは、すんなり上手くいっているようです。 > エラーメッセージ、警告等はありませんでした。 > > > 【5】 > /home/kinjo/petsc-2.1.3 > において、 > $ make BOPT=g testexamples >& examples_log > を行うと、先のメールのエラーメッセージと同じ > エラーが発生します。 > > $ cat examples_log > > (略) > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference > to > `score_self_node' > (略) > > > > > ■■■■■■ 手法:2 ■■■■■■ > > 【1】 > とりあえず、 > 今まで、使っていたフォルダをすべて > 削除し、新たにpetsc-2.1.3フォルダを作成 > > $ rm -Rf petsc-2.1.3 > $ tar zxvf petsc.tar.gz > > > 【2】 > 手法:1の設定を行う > (make以降の設定はしていない) > > 【3】 > petsc-2.1.3ディレクトリ内の > makefileを編集 > > 以下の行を追加、 > LIBSは-lgmodule -lglib -ldl -lXext -lX11 -lXi -lm > > 【4】 > /home/kinjo/petsc-2.1.3 > において、 > $ make BOPT=g all > > ここでは、すんなり上手くいっているようです。 > エラーメッセージ、警告等はありませんでした。 > > > 【5】 > /home/kinjo/petsc-2.1.3 > において、 > $ make BOPT=g testexamples >& examples_log > を行うと、先のメールのエラーメッセージと同じ > エラーが発生します。 > > $ cat examples_log > > (略) > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference > to > `score_self_node' > (略) > > > 【6】 > /opt/score/bin/bin.i386-*/にあるにmpc++.exeとscorec++.exeを編集 > staticの値を1から0に変更 > > 【7】 > >/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so > >はすべてのノードにマウントされているか、あるいは許可を許しているかを確認 > > [kinjo @ scic99 linux]$ ls -l libpetscdm.so > -rwxrwxr-x 1 kinjo kinjo 1021030 Dec 19 12:24 libpetscdm.so > > > 【8】 > >/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so > >は標準ライブラリではないので、 > >/etc/ld.so.conf > >に上記のライブラリのPATHを追加しなければなりません。 > >PATHを追加したら必ずldconfigを実行してください。 > > > # emacs /etc/ld.so.conf > で、/home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so > を追加記入し、 > # ldconfig > > > 【9】 > /home/kinjo/petsc-2.1.3 > において、 > $ make BOPT=g all > > ここでは、すんなり上手くいっているようです。 > エラーメッセージ、警告等はありませんでした。 > > > 【10】 > /home/kinjo/petsc-2.1.3 > において、 > $ make BOPT=g testexamples >& examples_log > を行うと、先のメールのエラーメッセージと同じ > エラーが発生します。 > > $ cat examples_log > > (略) > /home/kinjo/petsc-2.1.3/lib/libg/linux/libpetscdm.so: undefined reference > to > `score_self_node' > (略) > > > > まだ上手くいきません。。。 > > > 一生懸命やっていますが、こちらの知識不足で、 > 僕の設定は亀山さん、劉さんのアドバイスをきれいに反映していないかもしれませ > ん、 > > どうかよろしく御願いします。 > > > > > ━┛━┛━┛━┛━┛━┛━┛━┛━┛ >   琉球大学理学部 物質地球科学科 >   金城 尚志 (キンジョウヒサシ) > ━┛━┛━┛━┛━┛━┛━┛━┛━┛ > > From e973220 @ eve.u-ryukyu.ac.jp Thu Dec 19 16:20:40 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Thu, 19 Dec 2002 16:20:40 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: <007601c2a716$d6bf3710$6c03c9a0@IWS0098> Message-ID: 亀山様: 劉様: 琉球大の金城です。 亀山様、劉様アドバイスありがとうございます! どうやら、PETScのインストールできたようです。 が、、、、、プログラム実行時に問題が残っているようです。。。 、とりあえず、 結局その後、変更した点は以下です。。。 ■ config/configure_options.linux   --disable-share を記入 ■ /opt/score/bin/bin.i386-*/ にある   scorecc.exe , scoref77.exe, scorec++.exe を編集 ■ /home/kinjo/petsc-2.1.3/lib/libg/linux    と、パス名の変更と # ldconfig の、以上です。 で、実際にサンプルプログラム ${PETSC_DIR}/src/sles/examples/tutorials の 中の、ex1 プログラムをコンパイルしたところ、 次のようなメッセージが帰ってきました。 とりあえず、OKだと僕は認識しています。 ━━━━コンパイル時のメッセージ━━━━ ━━━━     始まり      ━━━━ [kinjo @ scic99 tutorials]$ make BOPT=g ex1 scorecc -fPIC -c -g -I/home/kinjo/petsc-2.1.3 -I/home/kinjo/petsc-2.1.3/bmak e/linux -I/home/kinjo/petsc-2.1.3/include -I/opt/score5.0.0/mpi/mpich-1.2.0/ i386-redhat7-linux2_4/include -DPETSC_HAVE_X11 -DPETSC_USE_DEBUG -DPETSC_USE _LOG -DPETSC_USE_BOPT_g -DPETSC_USE_STACK -D__SDIR__="src/sles/examples/tuto rials/" ex1.c scorecc -g -Wl,-rpath,/home/kinjo/petsc-2.1.3/lib/libg/linux -o ex1 x1.o -L/home/kinjo/petsc-2.1.3/lib/libg/linux -lpetscsles -lpetscdm -lpetsc mat -lpetscvec -lpetsc -L/usr/X11R6/lib -lX11 -L/home/kinjo/petsc-2.1.3/blaslapack -lflapack - lfblas -L/opt/score5.0.0/mpi/mpich-1.2.0/i386-redhat7-linux2_4/lib -lmpich - ldl -lc -lg2c -lm rm -f ex1.o ━━━━     終わり      ━━━━ ━━━━コンパイル時のメッセージ━━━━ 次に、コンパイルしたプログラム(ex1)を実行してみました。 $ mpirun -np 8 ./ex1 SCore-D 5.0.1 connected. <0:0> SCORE: 8 nodes (8x1) ready. <0:0> SCORE: 8 nodes (8x1) ready. <4:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <5:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <1:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <2:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <3:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <6:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <4:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <4:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <4:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <4:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <4:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <4:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) <7:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <5:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <5:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <5:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <5:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <5:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <5:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) <1:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <1:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <1:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <1:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <1:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <1:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) <2:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <2:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <2:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <2:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <2:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <2:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) <3:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <3:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <3:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <3:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <3:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <3:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) <6:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <6:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <6:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <6:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <6:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <6:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) <7:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <7:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc078, esp=0xbfffbfb0 <7:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <7:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <7:0>SCore: esp_at_signal=0xbfffbfb0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <7:0> Trying to attach GDB (DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0): Exception signal (SIGSEGV) SCORE: Program aborted. なにか、Xの設定に問題があるようです。 一応、設定として、 $ xhost + $ export DISPLAY=scic99.sci.u-ryukyu.ac.jp:0.0 は、やっています。 とりあえず、報告まで。 これから、 /home/kinjo/petsc-2.1.3/bmake/linux/package などのXの設定について調べてみます。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From kameyama @ pccluster.org Thu Dec 19 16:26:48 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 19 Dec 2002 16:26:48 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: Your message of "Thu, 19 Dec 2002 16:20:40 JST." Message-ID: <20021219072648.C094520040@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article "金城 尚志" wrotes: > 次に、コンパイルしたプログラム(ex1)を実行してみました。 > > $ mpirun -np 8 ./ex1 エラーのとき gdb を起動させるには $ mpirun -np 8 -score debug ./ex1 のように, -score debug オプションをつけてください. from Kameyama Toyohisa From e973220 @ eve.u-ryukyu.ac.jp Thu Dec 19 17:09:08 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Thu, 19 Dec 2002 17:09:08 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: <20021219072648.C094520040@neal.il.is.s.u-tokyo.ac.jp> Message-ID: 亀山様: 琉球大の金城です。 アドバイスありがとうございます。 しかし、恥ずかしながら僕にはdebug の知識がなく、 どうしていいのかわからない状況です。 一応、 $ mpirun -np 8 -score debug ./ex1 >& ex1-debug.log としました。 申し訳ありませんが、どうかアドバイスを御願いします。。。 $ cat ex1-debug.log SCore-D 5.0.1 connected. <0:0> SCORE: 8 nodes (8x1) ready. <0:0> SCORE: 8 nodes (8x1) ready. <4:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <5:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <1:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <2:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <3:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <6:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <7:0>SCore: *** SIGNAL EXCEPTION eip=0x401aa75a, cr2=0x 0 *** <4:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <4:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <4:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <4:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <4:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <4:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <5:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <5:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <5:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <5:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <5:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <5:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <1:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <1:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <1:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <1:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <1:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <1:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <0:0> No debug option. <2:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <2:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <2:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <2:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <2:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <2:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <3:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <3:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <3:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <3:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <3:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <3:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <6:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <6:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <6:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <6:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <6:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <6:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <7:0>SCore: gs=0x0000, fs=0x0000, es=0x002b, ds=0x002b <7:0>SCore: edi=0xffffffff, esi=0x00000000, ebp=0xbfffc0b8, esp=0xbfffbff0 <7:0>SCore: ebx=0x401b9300, edx=0x00000012, ecx=0x00000000, eax=0x00000000 <7:0>SCore: trapno=0x0000000e, err=0x00000004, eip=0x401aa75a, cs=0x0023 <7:0>SCore: esp_at_signal=0xbfffbff0, ss=0x002b, oldmask=0x00000000, cr2=0x00000000 <7:0> Trying to attach GDB (DISPLAY=133.13.130.99:0.0): Exception signal (SIGSEGV) <1:0> GDB invoked by SCore (xterm) <2:0> GDB invoked by SCore (xterm) <3:0> GDB invoked by SCore (xterm) <4:0> GDB invoked by SCore (xterm) <5:0> Number of attached debuggers reaches the limit. <6:0> Number of attached debuggers reaches the limit. <7:0> Number of attached debuggers reaches the limit. あと、当然かもしれませんが、 他のサンプルプログラムを実行しても、 SCORE: Program aborted. と、なり中断しているようです。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From e973220 @ eve.u-ryukyu.ac.jp Thu Dec 19 18:37:13 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Thu, 19 Dec 2002 18:37:13 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: Message-ID: 琉球大の金城です。 すみません、設定をひとつ間違えていました。 >■ /opt/score/bin/bin.i386-*/ にある >  scorecc.exe , scoref77.exe, scorec++.exe を編集 ここがまだ、0ではなく、1になっていました。 雰囲気的に、うまくいきそうです。 報告まで。失礼します。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From e973220 @ eve.u-ryukyu.ac.jp Thu Dec 19 19:23:39 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Thu, 19 Dec 2002 19:23:39 +0900 Subject: [SCore-users-jp] PETScのインストール方法 In-Reply-To: Message-ID: 琉球大の金城です。 PETScのインストールができたようです。 (使い方がまだわからないので、確認できないのです) 先ほどまででていた、プログラム実行時のエラーが 発生しなくなりました。 亀山様、劉様、本当にありがとうございました。 アドバイスがなかったら、僕には設定が できなかったと思います。 ----------------------------------------- 1週間前からしこしこと取り組んでいましたが、 僕はまったくインストールの設定ができなかったのです。 ----------------------------------------- 以下に、PETScのインストール手順をまとめておきます。 (インストールがうまくできているかどうか自信はありませんが。。。) (1/14)━━━━━━━━━━━━━━━━ http://www-fp.mcs.anl.gov/petsc/docs/installation/unix.htm を参照する。 (2/14)━━━━━━━━━━━━━━━━ petsc.tar.gz , fblaslapack.tar.gz、パッチファイルを取得し、 それぞれ展開しておく。 (3/14)━━━━━━━━━━━━━━━━ 環境変数を設定する $ export PETSC_DIR=/home/kinjo/petsc-2.1.3 $ export PETSC_ARCH=linux (4/14)━━━━━━━━━━━━━━━━ 取得したパッチファイルをpetscディレクトリ内で当てる。 $ patch -Np1 < patchfile (5/14)━━━━━━━━━━━━━━━━ fblaslapackディレクトリで、make し libfblas.a , libflapack.aを 作成する。 (6/14)━━━━━━━━━━━━━━━━ # /home/kinjo/petsc-2.1.3に libflapack.a libblas.aを格納するための # blaslapackというディレクトリを作成 [kinjo @ scic99 petsc-2.1.3]$ mkdir blaslapack (7/14)━━━━━━━━━━━━━━━━ # libflapack.a libblas.a を上のblasalpackディレクトリへ移動 [kinjo @ scic99 fblaslapack]$ cp libflapack.a libfblas.a ../petsc-2.1.3/blaslapack/ (8/14)━━━━━━━━━━━━━━━━ # /home/kinjo/petsc-2.1.3/bmake/linux/packageを編集 $ emacs package ########################## # packageファイルの以下の記述を編集(抜粋) ########################## # 先ほどのライブラリファイルのディレクトリを指定 #BLASLAPACK_LIB = -L/home/petsc/software/blaslapack/linux -lflapack -lfblas #BLASLAPACK_LIB = -L/home/petsc/software/mkl_linux/LIB -lmkl32_lapack -lmkl32_def -lpthre\ ad BLASLAPACK_LIB = -L/home/kinjo/petsc-2.1.3/blaslapack -lflapack -lfblas # MPIのディレクトリを変更 #MPI_HOME = /home/petsc/software/mpich-1.2.0/linux MPI_HOME = /opt/score5.0.0/mpi/mpich-1.2.0/i386-redhat7-linux2_4 MPI_LIB = -L${MPI_HOME}/lib -lmpich MPI_INCLUDE = -I${MPI_HOME}/include MPIRUN = ${MPI_HOME}/bin/mpirun -machinefile ${PETSC_DIR}/maint/hosts.local # 最後の行付近、共有ライブラリは使用しないと思い、コメントアウト #C_DYLIBPATH = ${CLINKER_SLFLAG}/home/alice/software/egcs/linux/lib ${CLINKER_SLFLAG}/\ home/petsc/software/BlockSolve95/lib/libO/linux #F_DYLIBPATH = ${FLINKER_SLFLAG}/home/alice/software/egcs/linux/lib ${FLINKER_SLFLAG}/\ home/petsc/software/BlockSolve95/lib/libO/linux (9/14)━━━━━━━━━━━━━━━━ bmake/linux/variablesの編集 このファイルの中にある gcc, g77, g++ をそれぞれ, scorecc, scoref77, scorec++ に変更する (10/14)━━━━━━━━━━━━━━━━ /opt/score/bin/bin.i386-*/にあるに scorecc.exe, scoref77.exe, scorec++.exeを編集 staticの値を1から0に変更 (11/14)━━━━━━━━━━━━━━━━ # emacs /etc/ld.so.conf で、/home/kinjo/petsc-2.1.3/lib/libg/linux を追加記入し、 # ldconfig (12/14)━━━━━━━━━━━━━━━━ /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g all (13/14)━━━━━━━━━━━━━━━━ config/configure_options.linux に --disable-share を入れる。 (14/14)━━━━━━━━━━━━━━━━ $ msgb -group almond & $ scout -g almond #( alomond = グループ名 ) /home/kinjo/petsc-2.1.3 において、 $ make BOPT=g testexamples >& examples_log 以上の設定で、【おそらく】 大丈夫かも。。。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From emile.carcamo @ nec.fr Thu Dec 19 23:53:46 2002 From: emile.carcamo @ nec.fr (Emile CARCAMO) Date: Thu, 19 Dec 2002 15:53:46 +0100 Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? In-Reply-To: Your message of "Wed, 18 Dec 2002 19:53:52 +0900." <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp> Message-ID: <200212191453.gBJErkY07276@emilepc.ess.nec.fr> s-sumi @ flab.fujitsu.co.jp said: > Have you used mpi_zerocopy=on on your benchmark? The default option > MPICH/SCore is mpi_zerocopy=off. > > Which benchmark are you using? Could you show the performance results? > Dear Shinji-san, Sorry for not replying earlier ... Yes we have used the option "mpi_zerocopy=on" when issuing the scrun command within a SCore scout session : scrun -nodes=2x1,mpi_zerocopy=on ./sendrecv With this sample benchmark, we noticed a peak transfer rate looking like this : 405 Mbytes/sec with GM/Myrinet 325 Mbytes/sec with PM/Myrinet Here is the URL of another test we've also ran on our Myrinet-2k cluster : http://www.hlrs.de/mpi/b_eff and we noticed in that case about 100 Mbytes/sec with PM/Myrinet and two times faster using GM/Myrinet ... Please let us know if you need more inputs. I'll be glad to hear from anybody who already performed such kind of tests ... Thanks for your help, and best regards. -- Emile_CARCAMO NEC European http://www.ess.nec.de System Engineer Supercomputer mailto:emile.carcamo @ nec.fr Systems France GSM mailto:emile.carcamo @ orange.fr (+33)1-3930-6601 FAX (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ bd6.so-net.ne.jp Fri Dec 20 00:21:57 2002 From: s-sumi @ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Fri, 20 Dec 2002 00:21:57 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? In-Reply-To: <200212191453.gBJErkY07276@emilepc.ess.nec.fr> References: <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp> <200212191453.gBJErkY07276@emilepc.ess.nec.fr> Message-ID: <20021220.002157.74750815.s-sumi@bd6.so-net.ne.jp> Hi. Thank you for the information. I will invesitigate the performance. Shinji. From: Emile CARCAMO Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? Date: Thu, 19 Dec 2002 15:53:46 +0100 Message-ID: <200212191453.gBJErkY07276 @ emilepc.ess.nec.fr> emile.carcamo> emile.carcamo> emile.carcamo> s-sumi @ flab.fujitsu.co.jp said: emile.carcamo> > Have you used mpi_zerocopy=on on your benchmark? The default option emile.carcamo> > MPICH/SCore is mpi_zerocopy=off. emile.carcamo> > emile.carcamo> > Which benchmark are you using? Could you show the performance results? emile.carcamo> > emile.carcamo> emile.carcamo> Dear Shinji-san, emile.carcamo> emile.carcamo> Sorry for not replying earlier ... Yes we have used the emile.carcamo> option "mpi_zerocopy=on" when issuing the scrun command emile.carcamo> within a SCore scout session : emile.carcamo> emile.carcamo> scrun -nodes=2x1,mpi_zerocopy=on ./sendrecv emile.carcamo> emile.carcamo> With this sample benchmark, we noticed a peak transfer emile.carcamo> rate looking like this : emile.carcamo> emile.carcamo> 405 Mbytes/sec with GM/Myrinet emile.carcamo> 325 Mbytes/sec with PM/Myrinet emile.carcamo> emile.carcamo> Here is the URL of another test we've also ran on our emile.carcamo> Myrinet-2k cluster : emile.carcamo> emile.carcamo> http://www.hlrs.de/mpi/b_eff emile.carcamo> emile.carcamo> and we noticed in that case about 100 Mbytes/sec with emile.carcamo> PM/Myrinet and two times faster using GM/Myrinet ... emile.carcamo> emile.carcamo> Please let us know if you need more inputs. I'll be glad emile.carcamo> to hear from anybody who already performed such kind of emile.carcamo> tests ... Thanks for your help, and best regards. emile.carcamo> emile.carcamo> -- emile.carcamo> Emile_CARCAMO NEC European http://www.ess.nec.de emile.carcamo> System Engineer Supercomputer mailto:emile.carcamo @ nec.fr emile.carcamo> Systems France GSM mailto:emile.carcamo @ orange.fr emile.carcamo> (+33)1-3930-6601 FAX emile.carcamo> (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ emile.carcamo> (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / emile.carcamo> emile.carcamo> emile.carcamo> emile.carcamo> _______________________________________________ emile.carcamo> SCore-users mailing list emile.carcamo> SCore-users @ pccluster.org emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users emile.carcamo> _______________________________________________ emile.carcamo> SCore-users-jp mailing list emile.carcamo> SCore-users-jp @ pccluster.org emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users-jp emile.carcamo> ----- Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From mykrol @ cyf-kr.edu.pl Fri Dec 20 22:22:29 2002 From: mykrol @ cyf-kr.edu.pl (Marcin Krol) Date: Fri, 20 Dec 2002 14:22:29 +0100 (MET) Subject: [SCore-users-jp] [SCore-users] IRQ Message-ID: Thank you for the PM/ethernet answer, the problem was that EIT didn't change the grub.conf file and after reboot the server machine startes with the old kernel. Unfortunately I have another problem - when I run all mpic++ applications except for hello.cc (found in examples directory), either in single-, or multi-user environment, the server machine hungs and I have to switch the power off to reboot it. hello.cc works, but it takes about 1 min to execyte it. A compute node writes out a message: spurious 8259A interrupt in IRQ7 I checked /proc/interrupts on the server and the compute nodes and they look like: Server: marcin @ node6 marcin]$ more /proc/interrupts CPU0 0: 104979 XT-PIC timer 1: 440 XT-PIC keyboard 2: 0 XT-PIC cascade 4: 4554 XT-PIC serial 8: 1 XT-PIC rtc 10: 2051 XT-PIC usb-uhci, eth0 11: 0 XT-PIC usb-uhci 12: 0 XT-PIC usb-uhci, via82cxxx 14: 12039 XT-PIC ide0 NMI: 0 LOC: 104941 ERR: 14 MIS: 0 [marcin @ node6 marcin]$ and the compute node CPU0 0: 57890 XT-PIC timer 1: 2307 XT-PIC keyboard 2: 0 XT-PIC cascade 5: 0 XT-PIC usb-ohci 8: 1 XT-PIC rtc 12: 389 XT-PIC usb-ohci, eth0, PS/2 Mouse 14: 19309 XT-PIC ide0 NMI: 0 LOC: 57853 ERR: 1 MIS: 0 How can I find and fix any overlapping? Thank you in advance for your help Marcin _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From s-sumi @ bd6.so-net.ne.jp Sat Dec 21 15:37:34 2002 From: s-sumi @ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Sat, 21 Dec 2002 15:37:34 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] IRQ In-Reply-To: References: Message-ID: <20021221.153734.41631492.s-sumi@bd6.so-net.ne.jp> Hi. Are you using sis900.o for PM/Ethernet? If so, could you add the follwing patch and re-build your sis900.o modules? Some NIC devices cause dead lock on PM/Ethernet because of their spin-lock use in device driver. Index: sis900.c =================================================================== RCS file: /develop/cvsroot/score-src/kernel/linux2.4.18/drivers/net/sis900.c,v retrieving revision 1.2 diff -u -r1.2 sis900.c --- sis900.c 18 Feb 2002 11:40:11 -0000 1.2 +++ sis900.c 21 Dec 2002 06:34:42 -0000 @@ -1584,7 +1584,9 @@ skb = sis_priv->rx_skbuff[entry]; skb_put(skb, rx_size); skb->protocol = eth_type_trans(skb, net_dev); + spin_unlock (&sis_priv->lock); netif_rx(skb); + spin_lock (&sis_priv->lock); /* some network statistics */ if ((rx_status & BCAST) == MCAST) =================================================================== Shinji. From: Marcin Krol Subject: [SCore-users] IRQ Date: Fri, 20 Dec 2002 14:22:29 +0100 (MET) Message-ID: mykrol> Thank you for the PM/ethernet answer, the problem was that EIT didn't mykrol> change the grub.conf file and after reboot the server machine startes with mykrol> the old kernel. mykrol> Unfortunately I have another problem - when I run all mpic++ applications mykrol> except for hello.cc (found in examples directory), either in single-, or mykrol> multi-user environment, the server machine hungs and I have to switch the mykrol> power off to reboot it. hello.cc works, but it takes about 1 min to mykrol> execyte it. A compute node writes out a message: mykrol> spurious 8259A interrupt in IRQ7 mykrol> I checked /proc/interrupts on the server and the compute nodes and they mykrol> look like: mykrol> Server: mykrol> mykrol> marcin @ node6 marcin]$ more /proc/interrupts mykrol> CPU0 mykrol> 0: 104979 XT-PIC timer mykrol> 1: 440 XT-PIC keyboard mykrol> 2: 0 XT-PIC cascade mykrol> 4: 4554 XT-PIC serial mykrol> 8: 1 XT-PIC rtc mykrol> 10: 2051 XT-PIC usb-uhci, eth0 mykrol> 11: 0 XT-PIC usb-uhci mykrol> 12: 0 XT-PIC usb-uhci, via82cxxx mykrol> 14: 12039 XT-PIC ide0 mykrol> NMI: 0 mykrol> LOC: 104941 mykrol> ERR: 14 mykrol> MIS: 0 mykrol> [marcin @ node6 marcin]$ mykrol> mykrol> and the compute node mykrol> CPU0 mykrol> 0: 57890 XT-PIC timer mykrol> 1: 2307 XT-PIC keyboard mykrol> 2: 0 XT-PIC cascade mykrol> 5: 0 XT-PIC usb-ohci mykrol> 8: 1 XT-PIC rtc mykrol> 12: 389 XT-PIC usb-ohci, eth0, PS/2 Mouse mykrol> 14: 19309 XT-PIC ide0 mykrol> NMI: 0 mykrol> LOC: 57853 mykrol> ERR: 1 mykrol> MIS: 0 mykrol> mykrol> mykrol> How can I find and fix any overlapping? mykrol> Thank you in advance for your help mykrol> Marcin mykrol> mykrol> mykrol> _______________________________________________ mykrol> SCore-users mailing list mykrol> SCore-users @ pccluster.org mykrol> http://www.pccluster.org/mailman/listinfo/score-users mykrol> ----- Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From ishikawa @ is.s.u-tokyo.ac.jp Mon Dec 23 23:40:55 2002 From: ishikawa @ is.s.u-tokyo.ac.jp (Yutaka Ishikawa) Date: Mon, 23 Dec 2002 23:40:55 +0900 (JST) Subject: [SCore-users-jp] Preliminary Announcement of the second PC Cluster Consortium Message-ID: <20021223.234055.607955242.ishikawa@is.s.u-tokyo.ac.jp> SCoreユーザの皆様、 本メールの末尾に添付しました通り、来年2月20日〜21日に第二回PCクラスタ シンポジウムを開催致します。 WEB登録のためのページは現在準備中で、準備が整い次第、また、御連絡致し ます。まずは、概要のアナウンスをさせていただきました。 石川@コンソーシアム会長 ------------------------------------------------------------------------------- [シンポジウム概要] 会期:2003年2月20日(木) 〜21日(金)  ※2月20日は会員のみ対象のワークショップ 会場:日本科学未来館7階 みらいCANホール     (ゆりかもめ 船の科学館下車徒歩5分)      2/20には会員向けの懇親会を未来館内で行います。 参加費:無料(懇親会参加者:3000円) 定員:300名 登録:http://www.pccluster.orgの登録ページから事前登録して下さい。 備考:併設して企業展示があります。 プログラム概要(予定): (1) ワークショップ 2月20日(木) 10:00 受付開始 10:30〜11:00 オープニング(年次報告) 11:00〜12:00 招待講演:Myrinetの先端技術とロードマップ(仮) 12:00〜13:30 昼食および企業展示見学 13:30〜17:00 部会活動報告&コンソーシアムの今後の活動について   合同部会/パネル討論 17:30〜 懇親会 (2) シンポジウム 2月21日(金) 10:00 受付開始 10:30〜11:00 オープニング・コンソーシアム活動紹介 11:00〜12:00 基調講演:研究グリッドNaReGI(仮) 12:00〜14:00 昼食および企業展示見学 14:00〜15:20 SCoreクラスタ導入事例・応用事例・今後の取り組み 15:30〜16:30 招待講演:ロードマップ、PCI Express(仮) ※プログラム詳細は追って、ホームページにも掲載し、ご連絡致します。 From suga @ sse.co.jp Tue Dec 24 09:44:48 2002 From: suga @ sse.co.jp (Sugano, Mitsukuni) Date: Tue, 24 Dec 2002 09:44:48 +0900 Subject: [SCore-users-jp] PM ethernet/ethernet device already opened References: <3DEEBE5F.FA3CFA92@sse.co.jp> <20021205.120211.35660830.s-sumi@flab.fujitsu.co.jp> <3DEEF1B9.CA822316@sse.co.jp> <20021210.204458.108741987.s-sumi@flab.fujitsu.co.jp> Message-ID: <3E07AE00.E5CD7E4C@sse.co.jp> 住元様: 亀山様: 住商エレクトロニクスの菅野です。 いつもお世話になっております。 先日来、ご質問させていただいておりました内容に関しまして、無事 解決することができましたので、ご報告させていただきます。 1.ddで丸ごとコピー 再度、正常なノードのHDをddで丸ごとコピーしたHDの以下のファイル を編集したところ、今回は、正常動作しました。 ・/etc/hosts ・/etc/sysconfig/network ・/etc/sysconfig/network-scripts/ifcfg-eth0 ・/etc/sysconfig/network-scripts/ifcfg-eth1 2.一般ユーザでのscrun 一般ユーザでのscrunが動作しない不具合に関して、/varパーティショ ンがフルであるため、scrunの際、/var/scored/singleuser/ を作成することができずに起こっていたものと確認できました。 お手数をおかけして、すみませんでしたが、おかげさまで、解決する ことができました。 今後とも、よろしくお願いいたします。 From masa @ nssnet.co.jp Tue Dec 24 18:39:23 2002 From: masa @ nssnet.co.jp (MASA(tm)) Date: Tue, 24 Dec 2002 18:39:23 +0900 Subject: [SCore-users-jp] SCore での ifc7 および icc7 Message-ID: <200212240946.SAA02572@nss-ntsv4.nssnet.co.jp> 菊池です。こんにちは。  SCore5.2.0 + RedHat7.3 の環境に ifc/icc7 を載せるべく調査 をしています。  元々は ifc6/gcc2.96 のつもりだったのですが、  ・ifc6 (BUILD 020312Z) では実行時エラーを起こすソースがあ   る。    module 内で allocatable な変数を定義、よそで allocate   すると SEGV。  ・ifc6 の最新版や ifc7 では上記が解決している(らしい)   (最小限の問題コードが提示できますが、既知の問題でしょう   か?google のキャッシュに情報があったのですが、今は検索   できません。XLSoft によると、最新版では確認できない問題   のようです。)  ・ifc6 は gcc2.96 の C++ 生成コードととバイナリ互換が無い。  ・i?c6/7 は混在利用できない。  ・ifc6 の最新版が(短期的には)入手しづらい。 とのことで上記環境を調査しています。  手をつけ始めたばかりですが、  ・ifc6 から ifc7 で、モジュールの拡張子と *.pc, *.pcl の扱   いが変更になっており、mpif90 が内部的に付加する -cl 等が   無効となる。  ・依存関係まで追えていないが、make 毎に全てのファイルをコ   ンパイルしているように見える。 などいくつか問題点があるようです。  SCore 側の対応状況などを教えていただければと思い投稿しまし た。よろしくお願いいたします。 以上です。 -- ---------------------------- 菊池 匡洋 mailto:masa @ nssnet.co.jp ---------------------------- From h995011b @ mbox.media.nagoya-u.ac.jp Tue Dec 24 20:28:26 2002 From: h995011b @ mbox.media.nagoya-u.ac.jp (Naoshi Ueda) Date: Tue, 24 Dec 2002 20:28:26 +0900 Subject: [SCore-users-jp] (no subject) Message-ID: <200212242028.JEB93058.96902IC2@mbox.media.nagoya-u.ac.jp>  名古屋大学の上田です.  DIMENSIONの大きさ(コンパイラのメモリ制限?)についての疑問及び 質問があります.以下の内容についての御回答よろしくお願いします    条件  OS :Red Hut Linux 言語:FORTRAN77+MPI    大きな配列を宣言する時,ある程度大きく宣言するとコンパイラ時に エラーが出てしまいます.これは,恐らくコンパイラ自身にメモリの制 限(静的確保の上限?)があると思うのですがどうでしょうか?仮にそう であるならば,積んであるメモリに関係ないという事なので,PCにいく らメモリを積んでもあまり用を成さないように思われます.  また,何らかの操作を行えば制限の上限を変えることができるような ことを一度聞いたことがあるのですが,それはどのように行えばいいの でしょうか?FORTRAN90なら動的確保でどうかなるようなことも聞いた ことがありますが,F77を使用しているために残念ながら参考にするこ とが出来ません.    なお,私はメモリやOS,システムなどについての知識がほとんど無い ので,恐縮でありますができる限り詳しく教えていただきたいです.   ================================ 名古屋大学工学部 コンクリート構造研究室 上田 尚史 E-mail:h995011b @ mbox.media.nagoya-u.ac.jp ================================ From kameyama @ pccluster.org Tue Dec 24 21:41:12 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Tue, 24 Dec 2002 21:41:12 +0900 Subject: [SCore-users-jp] (no subject) In-Reply-To: Your message of "Tue, 24 Dec 2002 20:28:26 JST." <200212242028.JEB93058.96902IC2@mbox.media.nagoya-u.ac.jp> Message-ID: <20021224124112.52E312003E@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <200212242028.JEB93058.96902IC2 @ mbox.media.nagoya-u.ac.jp> Naoshi Ueda wrotes: >  DIMENSIONの大きさ(コンパイラのメモリ制限?)についての疑問及び > 質問があります.以下の内容についての御回答よろしくお願いします >   >  条件 >  OS :Red Hut Linux > 言語:FORTRAN77+MPI >   >  大きな配列を宣言する時,ある程度大きく宣言するとコンパイラ時に > エラーが出てしまいます.これは,恐らくコンパイラ自身にメモリの制 > 限(静的確保の上限?)があると思うのですがどうでしょうか?仮にそう まず, 大前提として, x86 系の CPU を扱うコンパイラは pointer は 32 bit として扱っており, 4 GB が理論上の上限となります. 更に, linux ではそのうちの 1 GB を kernel が使用しますので, user が使用できるのは 3 GB までです. (これは code 部分などを含むので, データとして配列にとる場合は これより小さくなります.) ただ, x86 系でも, kernel の設定によってはそれ以上の memory (64 GB まで) を 認識できます. (最大は 64 GB になります.) しかし, 一つのプロセスが使用可能なメモリの上限は 4 GB のままです. > であるならば,積んであるメモリに関係ないという事なので,PCにいく > らメモリを積んでもあまり用を成さないように思われます. 4 GB 以上つんでいても process が複数あれば, それ以上の memory を 使用することになります. (しかし, 現在の version の SCore では, myrinet で zerocopy 通信を行う場合, 4 GB 以上のアドレス空間にアクセスできません. http://www.pccluster.org/pipermail/score-users-jp/2002-November/000942.html を参照してください.) ここまでがハードな限界です. そのほかに soft 的な上限が設定できます. bash なら ulimmit, csh なら limit コマンドで制御できます. もし, 配列全体の大きさが 3 GB 以下ならば limit コマンドを変更すれば なんとかなるかも知れません. from Kameyama Toyohisa From kameyama @ pccluster.org Tue Dec 24 21:49:39 2002 From: kameyama @ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Tue, 24 Dec 2002 21:49:39 +0900 Subject: [SCore-users-jp] SCore での ifc7 および icc7 In-Reply-To: Your message of "Tue, 24 Dec 2002 18:39:23 JST." <200212240946.SAA02572@nss-ntsv4.nssnet.co.jp> Message-ID: <20021224124939.C5F0E2003E@neal.il.is.s.u-tokyo.ac.jp> 亀山です. In article <200212240946.SAA02572 @ nss-ntsv4.nssnet.co.jp> "MASA(tm)" wrotes: >  ・ifc6 は gcc2.96 の C++ 生成コードととバイナリ互換が無い。 SCore では gcc と intel compiler は別々の mpi library を作成しているので, これは問題にはなりません. >  SCore 側の対応状況などを教えていただければと思い投稿しまし > た。よろしくお願いいたします。 少なくても, source から compile する場合に関しては version 7 特有の 問題はありませんでした. ただ, mpich 1.2.4 で Fortran 90 を使用する場合は, SCore に bug がありました. http://www.pccluster.org/pipermail/score-users/2002-December/000384.html の oatch をあててください. これでコンパイル/リンクできなければお知らせください. なお, version 6 では fortran 90 の module が作成できませんでしたが, version 7 では生成できました. from Kameyama Toyohisa From s-sumi @ flab.fujitsu.co.jp Wed Dec 25 18:29:37 2002 From: s-sumi @ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Wed, 25 Dec 2002 18:29:37 +0900 (JST) Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? In-Reply-To: <20021220.002157.74750815.s-sumi@bd6.so-net.ne.jp> References: <20021218.195352.126786579.s-sumi@flab.fujitsu.co.jp> <200212191453.gBJErkY07276@emilepc.ess.nec.fr> <20021220.002157.74750815.s-sumi@bd6.so-net.ne.jp> Message-ID: <20021225.182937.41640146.s-sumi@flab.fujitsu.co.jp> Hi. Could you let me know your measurement envinronment? 1) Which Myrinet Cards are you using, PCI64B or PCI64C? 2) How about your host environment, CPU, chipset and memory? Shinji. From: Shinji Sumimoto Subject: Re: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? Date: Fri, 20 Dec 2002 00:21:57 +0900 (JST) Message-ID: <20021220.002157.74750815.s-sumi @ bd6.so-net.ne.jp> s-sumi> Hi. s-sumi> s-sumi> Thank you for the information. s-sumi> s-sumi> I will invesitigate the performance. s-sumi> s-sumi> Shinji. s-sumi> s-sumi> From: Emile CARCAMO s-sumi> Subject: [SCore-users-jp] Re: [SCore-users] GM availability on SCore, when ??? s-sumi> Date: Thu, 19 Dec 2002 15:53:46 +0100 s-sumi> Message-ID: <200212191453.gBJErkY07276 @ emilepc.ess.nec.fr> s-sumi> s-sumi> emile.carcamo> s-sumi> emile.carcamo> s-sumi> emile.carcamo> s-sumi @ flab.fujitsu.co.jp said: s-sumi> emile.carcamo> > Have you used mpi_zerocopy=on on your benchmark? The default option s-sumi> emile.carcamo> > MPICH/SCore is mpi_zerocopy=off. s-sumi> emile.carcamo> > s-sumi> emile.carcamo> > Which benchmark are you using? Could you show the performance results? s-sumi> emile.carcamo> > s-sumi> emile.carcamo> s-sumi> emile.carcamo> Dear Shinji-san, s-sumi> emile.carcamo> s-sumi> emile.carcamo> Sorry for not replying earlier ... Yes we have used the s-sumi> emile.carcamo> option "mpi_zerocopy=on" when issuing the scrun command s-sumi> emile.carcamo> within a SCore scout session : s-sumi> emile.carcamo> s-sumi> emile.carcamo> scrun -nodes=2x1,mpi_zerocopy=on ./sendrecv s-sumi> emile.carcamo> s-sumi> emile.carcamo> With this sample benchmark, we noticed a peak transfer s-sumi> emile.carcamo> rate looking like this : s-sumi> emile.carcamo> s-sumi> emile.carcamo> 405 Mbytes/sec with GM/Myrinet s-sumi> emile.carcamo> 325 Mbytes/sec with PM/Myrinet s-sumi> emile.carcamo> s-sumi> emile.carcamo> Here is the URL of another test we've also ran on our s-sumi> emile.carcamo> Myrinet-2k cluster : s-sumi> emile.carcamo> s-sumi> emile.carcamo> http://www.hlrs.de/mpi/b_eff s-sumi> emile.carcamo> s-sumi> emile.carcamo> and we noticed in that case about 100 Mbytes/sec with s-sumi> emile.carcamo> PM/Myrinet and two times faster using GM/Myrinet ... s-sumi> emile.carcamo> s-sumi> emile.carcamo> Please let us know if you need more inputs. I'll be glad s-sumi> emile.carcamo> to hear from anybody who already performed such kind of s-sumi> emile.carcamo> tests ... Thanks for your help, and best regards. s-sumi> emile.carcamo> s-sumi> emile.carcamo> -- s-sumi> emile.carcamo> Emile_CARCAMO NEC European http://www.ess.nec.de s-sumi> emile.carcamo> System Engineer Supercomputer mailto:emile.carcamo @ nec.fr s-sumi> emile.carcamo> Systems France GSM mailto:emile.carcamo @ orange.fr s-sumi> emile.carcamo> (+33)1-3930-6601 FAX s-sumi> emile.carcamo> (+33)1-3930-6613 PHONE / Your mouse has moved. Windows NT must be restarted \ s-sumi> emile.carcamo> (+33)6-8063-7003 GSM \ for the change to take effect. Reboot now? [ OK ] / s-sumi> emile.carcamo> s-sumi> emile.carcamo> s-sumi> emile.carcamo> s-sumi> emile.carcamo> _______________________________________________ s-sumi> emile.carcamo> SCore-users mailing list s-sumi> emile.carcamo> SCore-users @ pccluster.org s-sumi> emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users s-sumi> emile.carcamo> _______________________________________________ s-sumi> emile.carcamo> SCore-users-jp mailing list s-sumi> emile.carcamo> SCore-users-jp @ pccluster.org s-sumi> emile.carcamo> http://www.pccluster.org/mailman/listinfo/score-users-jp s-sumi> emile.carcamo> s-sumi> ----- s-sumi> Shinji Sumimoto E-Mail: s-sumi @ bd6.so-net.ne.jp s-sumi> _______________________________________________ s-sumi> SCore-users mailing list s-sumi> SCore-users @ pccluster.org s-sumi> http://www.pccluster.org/mailman/listinfo/score-users s-sumi> s-sumi> ------ Shinji Sumimoto, Fujitsu Labs _______________________________________________ SCore-users mailing list SCore-users @ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From masa @ nssnet.co.jp Wed Dec 25 21:41:37 2002 From: masa @ nssnet.co.jp (MASA(tm)) Date: Wed, 25 Dec 2002 21:41:37 +0900 Subject: [SCore-users-jp] SCore での ifc7 および icc7 In-Reply-To: <20021224124939.C5F0E2003E@neal.il.is.s.u-tokyo.ac.jp> References: <200212240946.SAA02572@nss-ntsv4.nssnet.co.jp> <20021224124939.C5F0E2003E@neal.il.is.s.u-tokyo.ac.jp> Message-ID: <200212251249.VAA03046@nss-ntsv4.nssnet.co.jp> 菊池です。こんにちは。  ご回答ありがとうございます。特に問題があるわけではないので すね。> i[fc]c7 on SCore5.2 kameyama @ pccluster.org wrote in <20021224124939.C5F0E2003E @ neal.il.is.s.u-tokyo.ac.jp> at Tue, 24 Dec 2002 21:49:39 +0900 > >  ・ifc6 は gcc2.96 の C++ 生成コードととバイナリ互換が無い。 > > SCore では gcc と intel compiler は別々の mpi library を作成しているので, > これは問題にはなりません.  記述が足りませんでした。   既存 Fortran ソース → C の API → C/C++ 等 や、dlopen() 等を使用するため Fortran/C/C++ 混在である必要が あるのでした。 > ただ, mpich 1.2.4 で Fortran 90 を使用する場合は, SCore に bug がありました. > http://www.pccluster.org/pipermail/score-users/2002-December/000384.html > の oatch をあててください. > これでコンパイル/リンクできなければお知らせください.  上記のパッチを当てて、   # cd /opt/score/score-src; ./configure; make; しました。ちらほらとエラーが出ているようでしたが、アプリケー ションのビルドは正常なようです。  先のメイルに書いた、 MASA(tm) wrote in <200212240946.SAA02572 @ nss-ntsv4.nssnet.co.jp> at Tue, 24 Dec 2002 18:39:23 +0900 >  ・依存関係まで追えていないが、make 毎に全てのファイルをコ >   ンパイルしているように見える。 については、モジュールファイルの出力形式が   {大文字のモジュール名}.mod となったようで、Makefile の内容と齟齬がありました。 # pgi では {小文字のモジュール名}.mod, ifc6 で{小文字モジュ # ール名}.d 。うーん。  適宜修正して収まりました。  ありがとうございました。 -- ---------------------------- 菊池 匡洋 mailto:masa @ nssnet.co.jp ---------------------------- From e973220 @ eve.u-ryukyu.ac.jp Sat Dec 28 15:47:03 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Sat, 28 Dec 2002 15:47:03 +0900 Subject: [SCore-users-jp] 【エラー】クラスタセットアップ In-Reply-To: <3DB3BD19.4030008@st.cs.kumamoto-u.ac.jp> Message-ID: 琉球大の金城です。 今回質問があってメールさせてもらいました。 アドバイスを頂けたら非常に幸いです。 【問題点】 8台のうち1台の計算ホストのインストールができない。 【具体的な問題点】 SCoreブートディスクを利用して、 計算ホスト(ホスト名:comp0〜comp7)のインストールを試みたが、 comp6の画面において、次のエラーメッセージが出てインストールができない。 (略) Code : 8b 40 28 85 c0 74 04 56 ff d0 59 80 a6 ae 00 00 00 fd 8d 86 /usr/bin/anaconda-sh: line3: 44 Segmentation fault /usr/bin/anaconda $@ また、ホストサーバの画面においては、comp6のみインストール開始画面ウィンドウ (青色)の ままです。 これだけでは情報不足かもしれませんが、 アドバイスをよろしくおねがいします。。。 【環境】 SCore 5.0.1 Red Hat 7.3(フルインストール) ホストサーバ(Celleron) 計算ホスト(Pentium4) ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From ishikawa @ is.s.u-tokyo.ac.jp Sat Dec 28 16:32:04 2002 From: ishikawa @ is.s.u-tokyo.ac.jp (Yutaka Ishikawa) Date: Sat, 28 Dec 2002 16:32:04 +0900 (JST) Subject: [SCore-users-jp] 【エラー】クラスタセットアップ In-Reply-To: References: <3DB3BD19.4030008@st.cs.kumamoto-u.ac.jp> Message-ID: <20021228.163204.596521946.ishikawa@is.s.u-tokyo.ac.jp> > SCoreブートディスクを利用して、 > 計算ホスト(ホスト名:comp0〜comp7)のインストールを試みたが、 > comp6の画面において、次のエラーメッセージが出てインストールができない。 > > (略) > Code : 8b 40 28 85 c0 74 04 56 ff d0 59 80 a6 ae 00 00 00 fd 8d 86 > /usr/bin/anaconda-sh: line3: 44 Segmentation fault /usr/bin/anaconda $@ > また、ホストサーバの画面においては、comp6のみインストール開始画面ウィンドウ > (青色)の > ままです。 /usr/bin/anaconda実行中にanacondaがどうも死んだように思えます。 インストールしているマシン(この場合comp6)上の/usr/binは、サーバの /opt/score/RedHat/instimage/usr/binをmountしています。 (正確には、/opt/score/RedHat/instimage/をmountしてchrootした上で、動か しています。) そのような状況で、comp6だけが死ぬと言うことは、 1)comp6のハードウエアがそもそも不安定 2)サーバ側のNFSが腐った 位しか思いつきません。 石川 From e973220 @ eve.u-ryukyu.ac.jp Sat Dec 28 16:52:37 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Sat, 28 Dec 2002 16:52:37 +0900 Subject: [SCore-users-jp] 【エラー】クラスタセットアップ In-Reply-To: <20021228.163204.596521946.ishikawa@is.s.u-tokyo.ac.jp> Message-ID: 琉球大の金城です。 石川様アドバイスありがとうございます! >1)comp6のハードウエアがそもそも不安定 >2)サーバ側のNFSが腐った とのことですが、実はその後 サーバホストにSCore5.2.0をインストールして、 同じ計算ホストを利用して、クラスタセットアップを試みました。 そうすると、 SCore5.0.1で問題のあったcomp6は正常に動作しますが、 comp5に問題が発生します。 ホストサーバ側の【Cluster Setup】画面で次のような表示になります。 (略) Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX (略) Host5(comp5)においてうまくサーバとネットワークが繋がらないようなのです。 つまり、SCore5.2.0においては、comp6は正常に動作しているようなので、 comp6はハードウェア的には大丈夫だと思います。 また、この現象はホストサーバを変更しても同じように エラーが発生しています。 お手数を掛けますが、なにかアドバイスがあればよろしくおねがいします。。。。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From ishikawa @ is.s.u-tokyo.ac.jp Sat Dec 28 17:21:02 2002 From: ishikawa @ is.s.u-tokyo.ac.jp (Yutaka Ishikawa) Date: Sat, 28 Dec 2002 17:21:02 +0900 (JST) Subject: [SCore-users-jp] 【エラー】クラスタセットアップ In-Reply-To: References: <20021228.163204.596521946.ishikawa@is.s.u-tokyo.ac.jp> Message-ID: <20021228.172102.971164869.ishikawa@is.s.u-tokyo.ac.jp> > SCore5.0.1で問題のあったcomp6は正常に動作しますが、 > comp5に問題が発生します。 > ホストサーバ側の【Cluster Setup】画面で次のような表示になります。 > (略) > Host 5 -> Mac XX:XX:XX:XX:XX:XX:XX IP XXX.XXX.XXX.XXX インストール計算機側からDHCPのDISCOVER要求が来て、サーバ側が、その マシンをホスト番号5に設定して、IPアドレスをアサインし、 DHCPのOFFERパケットを出したことを意味します。 このメッセージが連続して出ていると言うことは、インストール計算機側は、 サーバからのOFFERパケットを取れていない、ということになります。 ネットワーク周り、 ケーブルあるいはスイッチ に問題がありませんか? あるいは、IPアドレス的にサブネットマスクなどがおかしいとか。 石川 From e973220 @ eve.u-ryukyu.ac.jp Sat Dec 28 21:01:31 2002 From: e973220 @ eve.u-ryukyu.ac.jp (金城 尚志) Date: Sat, 28 Dec 2002 21:01:31 +0900 Subject: [SCore-users-jp] 【エラー】クラスタセットアップ In-Reply-To: <20021228.172102.971164869.ishikawa@is.s.u-tokyo.ac.jp> Message-ID: 琉球大の金城です。 石川様、本当にアドバイスありがとうございます。 SCore5.0.1についての問題のみ【解決】しました。 原因は、石川様のアドバイスにあったネットワーク関連でした。 【問題の原因】 PCIバスの一番上にIEEExxxxのアダプタがささっていたこと。 IEEExxxxのアダプタを一番下のPCIバスに接続して、使用するLANアダプタ を一番上のPCIバスに接続したところ問題は解決しました。 (すみません初歩的なミスでしょうか。。。?) SCore5.2.0の問題については謎です。 ネットワーク関連(スイッチング・ケーブルなど)は問題ないようですし、、、、 またサブネットマスクなどにも問題はないようです。。。。 でもとりあえず、一段落着きました。ありがとうございます。 ━┛━┛━┛━┛━┛━┛━┛━┛━┛   琉球大学理学部 物質地球科学科   金城 尚志 (キンジョウヒサシ) ━┛━┛━┛━┛━┛━┛━┛━┛━┛ From biggumane @ hotmail.com Mon Dec 30 04:17:25 2002 From: biggumane @ hotmail.com (=?iso-2022-jp?b?YmlnZ3VtYW5lIBskQiF3GyhCIGhvdG1haWwuY29t?=) Date: Mon, 30 Dec 2002 04:17:25 +0900 Subject: [SCore-users-jp] 生涯権利収入の極密情報---未承認広告 Message-ID: <510742115420023@hotmail.com> This is a multi-part message in MIME format. ------_NextPart_843861546629781 Content-Type: text/plain; charset="ISO-2022-JP" Content-Transfer-Encoding: QUOTED-PRINTABLE LIFE CHANGE-NET =8A=94=82=E2=95=F3=82=AD=82=B6=82=C5=82=A8=8B=E0=82=F0=8E=CC=82=C4=82=C4=82=A2=82=DC=82=B9=82=F1=82=A9=81H=82=A8=82=A9=82=B5=82=A2=98b=82=C8=82=F1=82=C4=82=C8=82=A2=81I=82=C6=8Ev=82=A2=82=DC=82=B7=82=A9=81H =82=B1=82=CCHP=82=F0=82=B2=97=97=82=CC=95=FB=82=BE=82=AF=82=C9=8C=A0=97=98=8E=FB=93=FC=82=C6=8C=BE=82=A4=96{=93=96=82=CC=83r=83W=83l=83X=82=F0=8B=B3=82=A6=82=DC=82=B7=81B =8D=A1=82=B7=82=AE=82=A0=82=C8=82=BD=82=CC=90l=90=B6=82=F0=95=CF=82=A6=82=DC=82=B5=82=E5=82=A4=81I=8E=91=97=BF=90=BF=8B=81=82=CD=8D=A1=82=B7=82=AE=89=BA=82=CC=83=8A=83=93=83N=82=A9=82=E7=81B =83p=83\=83R=83=93=97p=81Fhttp://www.geocities.co.jp/WallStreet/8239 =8Cg=91=D1=81@=81@=97p=81Fhttp://www.i-paradise2.jp/~getch/ch.html (=92=8D=81F=83=8A=83=93=83N=82=C5=82=AB=82=C8=82=A2=8F=EA=8D=87=82=CD=83A=83h=83=8C=83X=82=F0=83A=83h=83=8C=83X=97=93=82=C9=83R=83s=81[=82=B5=82=C4=83=8A=83=93=83N=82=B5=82=C4=82=AD=82=BE=82=B3=82=A2=81j ------_NextPart_843861546629781 Content-Type: text/html; charset="ISO-2022-JP" Content-Transfer-Encoding: QUOTED-PRINTABLE

LIFE  CHANGE-NET

=8A=94=82=E2=95=F3=82=AD=82=B6=82=C5=82=A8=8B=E0=82=F0=8E=CC=82=C4=82=C4=82=A2=82=DC=82=B9=82=F1=82=A9=81H=82=A8=82=A9=82=B5=82=A2=98b=82=C8=82=F1=82=C4=82=C8=82=A2=81I=82=C6=8Ev=82=A2=82=DC=82=B7=82=A9=81H

=82=B1=82=CCHP=82=F0=82=B2=97=97=82=CC=95=FB=82=BE=82=AF=82=C9=8C=A0=97=98=8E=FB=93=FC=82=C6=8C=BE=82=A4=96{=93=96=82=CC=83r=83W=83l=83X=82=F0=8B=B3=82=A6=82=DC=82=B7=81B

=8D=A1=82=B7=82=AE=82=A0=82=C8=82=BD=82=CC=90l=90=B6=82=F0=95=CF=82=A6=82=DC=82=B5=82=E5=82=A4=81I=8E=91=97=BF=90=BF=8B=81=82=CD=8D=A1=82=B7=82=AE=89=BA=82=CC=83=8A=83=93=83N=82=A9=82=E7=81B

=83p=83\=83R=83=93=97p=81Fhttp://www.geocities.co.jp/WallStreet/8239

=8Cg=91=D1=81@=81@=97p=81Fhttp://www.i-paradise2.jp/~getch/ch.html

(=92=8D=81F=83=8A=83=93=83N=82=C5=82=AB=82=C8=82=A2=8F=EA=8D=87=82=CD=83A=83h=83=8C=83X=82=F0=83A=83h=83=8C=83X=97=93=82=C9=83R=83s=81[=82=B5=82=C4=83=8A=83=93=83N=82=B5=82=C4=82=AD=82=BE=82=B3=82=A2=81j

------_NextPart_843861546629781--