From krcuqikp1 ＠ greenpointer.org  Mon Dec  1 00:26:37 2003
From: krcuqikp1 ＠ greenpointer.org (Lee Vaughn)
Date: Sun, 30 Nov 03 15:26:37 GMT
Subject: [SCore-users-jp] repetitious lehigh
Message-ID: <15-7gmg4d16-npw08@x2q2al9ugt>

HTMLの添付ファイルを保管しました...
URL: <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031130/bb67a4c9/attachment.html>

From ishuprtyg ＠ surfbvi.com  Mon Dec  1 01:22:53 2003
From: ishuprtyg ＠ surfbvi.com (Betsy Rocha)
Date: Sun, 30 Nov 03 16:22:53 GMT
Subject: [SCore-users-jp] [SCore-users] burlap
Message-ID: <50--6k9qw-$3jc4$3-opdg06$1@bv3d.xe>

HTMLの添付ファイルを保管しました...
URL: <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031130/ce7e9324/attachment.html>

From kameyama ＠ pccluster.org  Mon Dec  1 10:28:47 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 01 Dec 2003 10:28:47 +0900
Subject: [SCore-users-jp] LinpackでHPL.dat が開けない＆プロセッサ数の異なるホストの混在
In-Reply-To: Your message of "Sun, 30 Nov 2003 08:49:04 JST."
             <004901c3b6d3$5f0ba820$6f501da0@airfoceone>
Message-ID: <20031201011738.6C3B912894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <004901c3b6d3$5f0ba820$6f501da0 ＠ airfoceone> "Yoshihiro ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com> wrotes:
> pm-ethernet-*.confのパラメータはいじっていません．

特に trunking を行う場合, パラメータをいじる必要があると
思います.

ところで, trunking なしで eth0 のみ, もしくは eth1 のみの場合は
動きますでしょうか?

> 現在の構成では，
> 
> Pentium4のホスト
> eth0：eepro100（Intel Pro 100B）
> eth1：e1000（Intel Pro 1000MT）
> 
> Xeonのホスト
> eth0：e1000（Intel Pro 1000MT）
> eth1：e1000（Intel Pro 1000MT）
> 
> となっており，Xeonのeth0系は100Base-TXのスイッチにつなげて使っています．

100 Base と 1000 Base の trunking を行うことに無理がありそうな
気がしますけど...
(パラメータによっては動くかもしれませんが, 1000 Base のみで通信したほうが
良いような気がします.)

                       from Kameyama Toyohisa


From yoshihiro551230 ＠ bc.wakwak.com  Tue Dec  2 13:23:48 2003
From: yoshihiro551230 ＠ bc.wakwak.com (Yoshihiro ISHIKAWA)
Date: Tue, 2 Dec 2003 13:23:48 +0900
Subject: [SCore-users-jp] LinpackでHPL.dat    が開けない＆プロセッサ数の異なるホストの混在
Message-ID: <014d01c3b88c$158473c0$6f501da0@airfoceone>

亀山　様

ご回答感謝致します．しかしながら，いまだに問題を解決できず，
急いでやりたい計算があるため，XeonとPentium4を分けて構築
することにしました．

また，eth0のみ，eth1のみでも動きませんでした．

そこでまた問題が発生したのですが，i875チップセットを搭載した
Pentium-4のPEを含んでクラスタを構築すると，scoredのマルチ
ユーザ環境がうまく動作しませんでした．

以前，どこかでi875には対応していないと書いてあったのを
覚えているのですが，SCore 5.4は本当にi875には対応して
いないのでしょうか？対応していない場合，SCore5.6では
使えますか？

====================================
岩手大学大学院工学研究科機械工学専攻
航空宇宙システム部門/船崎・山田研究室
修士課程１年　石川慶拓 Yoshihiro Ishikawa
mail yoshihiro551230 ＠ bc.wakwak.com
====================================


----- Original Message ----- 
From: <kameyama ＠ pccluster.org>
To: "Yoshihiro ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com>
Cc: "SCoreメーリングリスト" <score-users-jp ＠ pccluster.org>
Sent: Monday, December 01, 2003 10:28 AM
Subject: Re: [SCore-users-jp] LinpackでHPL.dat が開けない＆プロセッサ数の異
なるホストの混在


> 亀山です.
>
> In article <004901c3b6d3$5f0ba820$6f501da0 ＠ airfoceone> "Yoshihiro
ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com> wrotes:
> > pm-ethernet-*.confのパラメータはいじっていません．
>
> 特に trunking を行う場合, パラメータをいじる必要があると
> 思います.
>
> ところで, trunking なしで eth0 のみ, もしくは eth1 のみの場合は
> 動きますでしょうか?
>
> > 現在の構成では，
> >
> > Pentium4のホスト
> > eth0：eepro100（Intel Pro 100B）
> > eth1：e1000（Intel Pro 1000MT）
> >
> > Xeonのホスト
> > eth0：e1000（Intel Pro 1000MT）
> > eth1：e1000（Intel Pro 1000MT）
> >
> > となっており，Xeonのeth0系は100Base-TXのスイッチにつなげて使っています．
>
> 100 Base と 1000 Base の trunking を行うことに無理がありそうな
> 気がしますけど...
> (パラメータによっては動くかもしれませんが, 1000 Base のみで通信したほうが
> 良いような気がします.)
>
>                        from Kameyama Toyohisa
> _______________________________________________
> SCore-users-jp mailing list
> SCore-users-jp ＠ pccluster.org
> http://www.pccluster.org/mailman/listinfo/score-users-jp
>
>




From yoshihiro551230 ＠ bc.wakwak.com  Tue Dec  2 19:05:33 2003
From: yoshihiro551230 ＠ bc.wakwak.com (Yoshihiro ISHIKAWA)
Date: Tue, 2 Dec 2003 19:05:33 +0900
Subject: [SCore-users-jp] LinpackでHPL.datが開けない＆プロセッサ数の異なるホストの混在
References: <20031202042745.B352112894C@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <016501c3b8bb$d2f01390$6f501da0@airfoceone>

亀山　様

Xeon＋Pentium-4の混在で動きました！

原因は，NICの設定で，MACアドレスにバインドしていた
ことと，マルチユーザ環境に入る際にscoredをリセット
しなかったことが主な原因のようでした．

従って，

・/etc/sysconfig/network-scripts/icfg-eth*から
　MACアドレスを消去．
・# scored -reset

を実行した結果，正常に動きました．

様々なアドバイスを戴き，ありがとうございました．

====================================
岩手大学大学院工学研究科機械工学専攻
航空宇宙システム部門/船崎・山田研究室
修士課程１年　石川慶拓 Yoshihiro Ishikawa
mail yoshihiro551230 ＠ bc.wakwak.com
====================================

----- Original Message ----- 
From: <kameyama ＠ pccluster.org>
To: "Yoshihiro ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com>
Cc: <kameyama ＠ pccluster.org>
Sent: Tuesday, December 02, 2003 1:38 PM
Subject: Re: Re: [SCore-users-jp] LinpackでHPL.dat が開けない＆プロセッサ数
の異なるホストの混在


> 亀山です.
>
> In article <013801c3b889$e4b19720$6f501da0 ＠ airfoceone> "Yoshihiro
ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com> wrotes:
> > そこでまた問題が発生したのですが，i875チップセットを搭載した
> > Pentium-4のPEを含んでクラスタを構築すると，scoredのマルチ
> > ユーザ環境がうまく動作しませんでした．
>
> チップセットに対応していないという場合,
> インストールできないとか kernel が boot できないとか,
> IDE の DMA が動かないとかいうことはあっても, そのせいで
> PM レベルでは動くのに score が動かないとか,
> chipset のせいで multi user mode が動かないとかいうのは考えにくいです.
> 多分, 別の原因ではないかと思います.
>
>                        from Kameyama Toyohisa
>
>




From master ＠ 127.0.0.1  Tue Dec  2 23:18:13 2003
From: master ＠ 127.0.0.1 (master)
Date: Tue, 2 Dec 2003 23:18:13 +0900
Subject: [SCore-users-jp] ------|120M倡亭麼字腎寂+120M二匍喨蕉+1倖忽縞囃兆叙弁330圷/定|------
Message-ID: <200312021418.hB2EIDF15000@pccluster.org>

??????????:
     ????!
     ????????????????????????????????.????????????????????,????????????????.
????????????????????????,????????????????????????,??????????????????.
     ??????????????????????????????????????????linux+PHP+Mysql;NT+asp+acess????????????
??????????????????????????????:www.host-china.com
????1.30M????+30M???????? + ???????????? ????????????????198??/????
????2.120M??????120M??????????1??????????????????????????330??/????
    3.200M??????50M??????????1??????????????????????????450??/????
    4.300M??????50M??????????1??????????????????????????580??/????
    
     ??????????????????????????????????????????"????????????????????":
     100M??HTML????+????????????,????80??/??;
     ????60????????????????; ??80??????????????????.
     ??????????:www.host-china.com/profile.html

????
????????????????????????????????????????????????????????????????????????????????
????????????????????????????????????????????????????????????????????????????????
??????????????????????,????????:li_9888 ＠ hotmail.com
    ??????????????????,????????!

   

   ????????????????
????????????????????????????????????????webmaster of http://www.host-china.com 
                                        ??????????????????????????
                                        http://www.host-china.com
                                        ??????0592-5915491
                                        ?????????????? ??????
































































































---------------------------------------------------------------
????????????,??????????????????(http://www.21cmm.com)

??CMM????(http://www.21cmm.com)????????????????


From janet_2lunxzqgg ＠ yahoo.com  Thu Dec  4 02:09:15 2003
From: janet_2lunxzqgg ＠ yahoo.com (Djl)
Date: Wed, 03 Dec 2003 17:09:15 -0000
Subject: [SCore-users-jp] [SCore-users] Have amazing s\ex up to 20 times per day     rzkgrbn
Message-ID: <rmbhxv.111136635ukqfywi@Djlrhpqyk>

HTMLの添付ファイルを保管しました...
URL: <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031203/0ef46b25/attachment.html>

From jure.jerman ＠ rzs-hm.si  Thu Dec  4 19:15:31 2003
From: jure.jerman ＠ rzs-hm.si (Jure Jerman)
Date: Thu, 04 Dec 2003 11:15:31 +0100
Subject: [SCore-users-jp] [SCore-users] sc_watch problem
Message-ID: <3FCF0943.1060707@rzs-hm.si>

Dear Score users,

we have a Score 5.4 14 node cluster. The cluster and score are working well
and very stable except one little annoying detail:

Under heavy (IO ??) load from cluster members the sc_watch seems to get some kind
of a timeout and it decides to rerun itself. This usualy happens once or twice
per night, when we are running many jobs.


We run scored from sc_watch with next option:

$INSTALL_ROOT/bin/sc_watch -g $SCORED_GROUP -f $LOGFILE $ACTION -pid \
	$INSTALL_ROOT/deploy/scored -restart -syslog $SCBCAST_HOST \
	-nomemlimit -server tuba0 \
	-sysmon $SCBCAST_HOST $NETOPTION -operator sms


The message in a log file is:
[03/Dec/2003,20:28:40] System failure detected.
[03/Dec/2003,20:28:40] System has been shutdown.
[03/Dec/2003,20:28:40] Local Action: /etc/scorereset
[03/Dec/2003,20:28:45] Rebooting System [10 times, first retry]: /opt/score5.4.0/deploy/scored

I do not know what makes sc_watch to believe that there is a system failure. Is it some time
out or some other diagnostics?

What would be the best way to tackle the problem?


Thank you very much for any hint,


Jure Jerman

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From hori ＠ swimmy-soft.com  Thu Dec  4 19:03:53 2003
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Thu, 4 Dec 2003 19:03:53 +0900
Subject: [SCore-users-jp] Re: [SCore-users] sc_watch problem
In-Reply-To: <3FCF0943.1060707@rzs-hm.si>
References: <3FCF0943.1060707@rzs-hm.si>
Message-ID: <3153409433.hori0004@swimmy-soft.com>

Hi,

>Under heavy (IO ??) load from cluster members the sc_watch seems to 
>get some kind
>of a timeout and it decides to rerun itself. This usualy happens 
>once or twice
>per night, when we are running many jobs.

The sc_watch periodically communicate with SCore-D, and when a 
timeout happens (there is no answer with in a certain time duration), 
it assumes something worng.

Under a heady load situation, a timeout can happen because compute 
hosts are very busy and response to sc_watch is late.

To avoid this, you may set the timeout duration by "-t" option 
followed by a number of time duration in minute. The default timeout 
is set to ten minutes.

----
Atsushi HORI
Swimmy Software, Inc.

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From m-kawaguchi ＠ pst.fujitsu.com  Sat Dec  6 20:49:58 2003
From: m-kawaguchi ＠ pst.fujitsu.com (Mitsugu Kawaguchi)
Date: Sat, 6 Dec 2003 20:49:58 +0900
Subject: [SCore-users-jp] -lpthread、-nostatic指定でコンパイルしたジョブを実行すると異常終了
Message-ID: <000101c3bbef$13013550$570aa8c0@Globus>

亀山様

富士通プライムソフトテクノロジの川口です。
いつもお世話になっております。
下記環境でジョブが実行できない現象が発生しています。

[環境]  RedHat Linux8.0 + SCore5.6.1
[操作]　% mpicc -nostatic a.c -lpthread
          % scrun -group=all ./a.out
          FEP:ERROR Illegal resource specification, or
          './a.out' is not an SCore application.

どうやら、strverscmp関数を呼び出すところで
SIGSEGVが発生しているようです。
(以下、富士通デバッガで表示）
---
The program: a.out starting.
Signaled SIGSEGV(11): strverscmp().
0x400a1d3b (strverscmp + 0x3bb) movl    (%eax),%eax
fdb* traceback
#0 0x400a1d3b (strverscmp + 0x3bb) (0xbffff5f2,0x80a5d1c,0x0)
#1 0x0804b8ce (kernel_has_rtsig + 0x36) (0x400d3230,0x40011960,0xbffff838)
#2 0x0804b8ed (init_rtsigs + 0xb) (0x40035a30,0xbffff788,0x40011ab0)
#3 0x0804bb70 (pthread_initialize + 0x50) (0x40148e58,0x401486b8,0xbffff858)
#4 0x080a5c75 (__do_global_ctors_aux + 0x19) (0x80a5c80,0x0,0xbffff878)
#5 0x0804ada6 (_init + 0x16) (0x0,0x40008f00,0x4000968c)
#6 0x400444b6 (__libc_start_main + 0x72) (0x804b820,0x1,0xbffff8a4)
#7 0x0804b791 (_start + 0x21) ()
---

試しにRedHat Linux7.3 + SCore5.6.1で同一操作を行ったところ
問題なく実行できました。

[操作]　% mpicc -nostatic a.c -lpthread
          % scrun -group=all ./a.out
          SCOUT: Spawning done.
          SCore-D 5.6.1 connected.
         <0:0> SCORE: 2 nodes (2x1) ready.
         pthread_self start
         MPI_Init start
         MPI_Finalize start
         pthread_self start
         MPI_Init start
         MPI_Finalize start
         program end
         program end
         SCOUT: Session done.

ちなみにソースは下記を利用してます。
---(ここから)---
#include "mpi.h"
#include <stdio.h>
#include <pthread.h>

int     main( int argc, char **argv )
{
        pthread_t tid;

        printf("pthread_self start\n");
        tid = pthread_self();
        printf("MPI_Init start\n");
        MPI_Init( &argc, &argv );
        printf("MPI_Finalize start\n");
        MPI_Finalize();
        printf("program end  \n");
        return 0;
}
---(ここまで)---

なぜ、RHL7.3＋SCore5.6.1環境で問題が発生しないか不明ですが、
RHL8.0＋SCore5.6.1環境配下で-nostatic、-lpthreadオプション指定で
ジョブ実行させるためのアドバイスをいただけたら幸いです。

以上、宜しくお願いします。

---
川口 ==> m-kawaguchi ＠ pst.fujitsu.com



From kameyama ＠ pccluster.org  Mon Dec  8 12:06:57 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 08 Dec 2003 12:06:57 +0900
Subject: [SCore-users-jp] -lpthread、-nostatic 指定でコンパイルしたジョブを実行すると異常終了
In-Reply-To: Your message of "Sat, 06 Dec 2003 20:49:58 JST."
             <000101c3bbef$13013550$570aa8c0@Globus>
Message-ID: <20031208025525.8A33F12894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <000101c3bbef$13013550$570aa8c0 ＠ Globus> "Mitsugu Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> 下記環境でジョブが実行できない現象が発生しています。
> 
> [環境]  RedHat Linux8.0 + SCore5.6.1
> [操作]　% mpicc -nostatic a.c -lpthread

static link 用の libpthread が悪さをしているのかもしれません.
    % mpicc -nostatic a.c /lib/libpthread.so.0 
で試してみてください.

                       from Kameyama Toyohisa


From m-kawaguchi ＠ pst.fujitsu.com  Mon Dec  8 15:04:09 2003
From: m-kawaguchi ＠ pst.fujitsu.com (Mitsugu Kawaguchi)
Date: Mon, 8 Dec 2003 15:04:09 +0900
Subject: [SCore-users-jp] -lpthread、-nostatic  指定でコンパイルしたジョブを実行すると異常終了
In-Reply-To: <20031208025525.8A33F12894C@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <000c01c3bd51$1839aee0$570aa8c0@Globus>

亀山様

富士通プライムソフトテクノロジの川口です。いつもお世話になっております。

亀山様のアドバイス通り試したところ、動作を確認できました。
どうもありがとうございました。

ただ、これによっていくつか確認したいことも出てきましたので
すみませんがアドバイスをお願いします。

(1)　亀山様から教えていただいた方法は、SCoreが提供するpthreadを
　　利用しないことになるのですが、SCoreとして問題ありませんか？
　　（問題ないのであれば、SCoreがpthreadを提供している理由は
　　　なんでしょうか？）
(2)　コンパイル時に警告メッセージが出力されますが、
　　ジョブ実行に影響ありませんでしょうか？
　　（ないとは思ってますが、念のため）

以上、宜しくお願いします。

---ここから実行結果---
% mpicc -nostatic a.c /lib/libpthread.so.0
gcc: /lib/libpthread.so.0: リンクが完了しなかったのでリンカの
入力ファイルは使われませんでした
/opt/score561/lib/i386-redhat8-linux2_4/libpm.a(pm.o): In function
`pmErrorString':
/opt/score561/score-src/SCore/pm2/common/obj.i386-redhat8-linux2_4/../pm.c:4
99:
`sys_errlist' is deprecated; use `strerror' or `strerror_r' instead
/opt/score561/score-src/SCore/pm2/common/obj.i386-redhat8-linux2_4/../pm.c:4
95:
`sys_nerr' is deprecated; use `strerror' or `strerror_r' instead

% ldd a.out
        libpthread.so.0 => /lib/libpthread.so.0 (0x4002f000)
        libc.so.6 => /lib/libc.so.6 (0x4005f000)
        /lib/ld-linux.so.2 => /lib/ld-linux.so.2 (0x40000000)

% scrun -group=all ./a.out
SCOUT: Spawning done.
SCore-D 5.6.1 connected.
<0:0> SCORE: 2 nodes (2x1) ready.
pthread_self start
MPI_Init start
MPI_Finalize start
pthread_self start
MPI_Init start
MPI_Finalize start
program end
program end
SCOUT: Session done.



> -----Original Message-----
> From: score-users-jp-admin ＠ pccluster.org
> [mailto:score-users-jp-admin ＠ pccluster.org] On Behalf Of
> kameyama ＠ pccluster.org
> Sent: Monday, December 08, 2003 12:07 PM
> To: Mitsugu Kawaguchi
> Cc: score-users-jp ＠ pccluster.org
> Subject: Re: [SCore-users-jp] -lpthread、-nostatic 指定でコンパイルした
> ジョブを実行すると異常終了
>
>
> 亀山です.
>
> In article <000101c3bbef$13013550$570aa8c0 ＠ Globus> "Mitsugu
> Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> > 下記環境でジョブが実行できない現象が発生しています。
> >
> > [環境]  RedHat Linux8.0 + SCore5.6.1
> > [操作]　% mpicc -nostatic a.c -lpthread
>
> static link 用の libpthread が悪さをしているのかもしれません.
>     % mpicc -nostatic a.c /lib/libpthread.so.0
> で試してみてください.
>
>                        from Kameyama Toyohisa
> _______________________________________________
> SCore-users-jp mailing list
> SCore-users-jp ＠ pccluster.org
> http://www.pccluster.org/mailman/listinfo/score-users-jp
>

川口 ==> m-kawaguchi ＠ pst.fujitsu.com



From kameyama ＠ pccluster.org  Mon Dec  8 15:55:54 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 08 Dec 2003 15:55:54 +0900
Subject: [SCore-users-jp] -lpthread、-nostatic 指定でコンパイルしたジョブを実行すると異常終了
In-Reply-To: Your message of "Mon, 08 Dec 2003 15:04:09 JST."
             <000c01c3bd51$1839aee0$570aa8c0@Globus>
Message-ID: <20031208064422.0843412894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <000c01c3bd51$1839aee0$570aa8c0 ＠ Globus> "Mitsugu Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> ただ、これによっていくつか確認したいことも出てきましたので
> すみませんがアドバイスをお願いします。
> 
> (1)　亀山様から教えていただいた方法は、SCoreが提供するpthreadを
> 　　利用しないことになるのですが、SCoreとして問題ありませんか？
> 　　（問題ないのであれば、SCoreがpthreadを提供している理由は
> 　　　なんでしょうか？）

問題ありません.
SCore で checkpoint を行うとき, system call に関する関数を置き換えて
file descriptor などを記録しておきます.
libpthread では, 独自に system call にあたる関数を置き換えていますので,
SCore ではそのあたりのコードに手を加える必要があります.

しかし, 今回の場合, dynamic link にするのですから, その時点で
checkpoint が使用できなくなります.
このため, checkpoint のための pthread library を使用する必要はありません.

> (2)　コンパイル時に警告メッセージが出力されますが、
> 　　ジョブ実行に影響ありませんでしょうか？

影響ありません.

                       from Kameyama Toyohisa


From ul892sw ＠ netscape.net  Tue Dec  9 19:41:49 2003
From: ul892sw ＠ netscape.net (Mario Salas)
Date: Tue, 09 Dec 03 10:41:49 GMT
Subject: [SCore-users-jp] Re: Due Balance, account
Message-ID: <2g2$ha$x4l-5qd$1$f$9b71@39d.4.u0>

HTMLの添付ファイルを保管しました...
URL: <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031209/d8c31016/attachment.html>

From m-kawaguchi ＠ pst.fujitsu.com  Wed Dec 10 19:10:17 2003
From: m-kawaguchi ＠ pst.fujitsu.com (Mitsugu Kawaguchi)
Date: Wed, 10 Dec 2003 19:10:17 +0900
Subject: [SCore-users-jp] 環境変数の受け渡しについて
Message-ID: <004101c3bf05$d0feb140$54bd220a@Globus>

亀山様

富士通プライムソフトテクノロジの川口です。
いつもお世話になっております。
　＃　lpthreadの件、回答ありがとうございました。

今、RedHat8.0＋SCore5.6.1環境でジョブを実行させると、
なぜか、環境変数LD_LIBRARY_PATHの受け渡しが
うまくできないようです。
（RedHat7.3＋SCore5.6.1では受け渡しできました）
お手数とは思いますが、何かアドバイスをいただければ幸いです。

以下、実行確認結果です。

$ env | grep LD_LIBRARY_PATH　　　　　　　<---設定を確認
LD_LIBRARY_PATH=:/opt/FJSVplang/lib
$ env | grep AAA　　　　　　　　　　　　　　　　<---dummyで設定
AAA=100
$ mpicc -compiler gnu a.c
$ scrun -nodes=1x1 ./a.out
SCOUT: Spawning done.
SCore-D 5.6.1 connected.
[rank=0] LS_COLORS=
[rank=0] TERMCAP=
[rank=0] PVM_ROOT=/usr/share/pvm3
[rank=0] AAA=100　　　　　　<--　AAAは表示される
[rank=0] SCORE_WRAPPER_NAME=/opt/score/bin/scrun
[rank=0] COLUMNS=107
[rank=0]
PATH=/opt/score/bin:/opt/score/sbin/:/opt/score/deploy:/opt/score/bin:/opt/s
core/sbin/:/opt/score/deploy:/usr/kerberos/bin:/usr/local/bin:/bin:/usr/bin:
/usr/X11R6/bin:/home/soft07/bin:/home/soft07/bin:/opt/FJSVplang/bin
[rank=0] MAIL=/var/spool/mail/soft07
[rank=0] PWD=/home/soft07/mpi/reserch/ENVIRONMENT
[rank=0] INPUTRC=/etc/inputrc
[rank=0] LANG=ja_JP.eucJP
[rank=0] SCBDSERV=pc2b
[rank=0] LAMHELPFILE=/etc/lam/lam-helpfile
[rank=0] SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass
[rank=0] HOME=/home/soft07
[rank=0] SHLVL=2
[rank=0] XPVM_ROOT=/usr/share/pvm3/xpvm
[rank=0] LOGNAME=soft07
[rank=0] LESSOPEN=|/usr/bin/lesspipe.sh %s
[rank=0] G_BROKEN_FILENAMES=1
[rank=0]
SCORE_CAREA_MAPFILE=/var/scored/singleuser/1027/jobs/jid-1/proc-1/cpu-0/care
a
SCOUT: Session done.

しかし、LD_LIBRARY_PATHの内容は表示されません。

以下、サンプルプログラム(a.c)です。
---(ここから)---
#include "mpi.h"
#include <stdio.h>
extern char **environ;

int main(int argc, char **argv)
{
    int i;
    int rank, size;

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    for (i = 0;; i++) {
        if (environ[i] != NULL) {
            fprintf(stderr, "[rank=%d] %s\n", rank, environ[i]);
            fflush(stderr);
        } else {
            break;
        }
    }
    MPI_Finalize();
    return 0;
}
---(ここから)---

申し訳ありませんが、宜しくお願い致します。

---
川口 ==> m-kawaguchi ＠ pst.fujitsu.com



From kameyama ＠ pccluster.org  Wed Dec 10 19:58:18 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 10 Dec 2003 19:58:18 +0900
Subject: [SCore-users-jp] 環境変数の受け渡しについて
In-Reply-To: Your message of "Wed, 10 Dec 2003 19:10:17 JST."
             <004101c3bf05$d0feb140$54bd220a@Globus>
Message-ID: <20031210104639.741E212894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <004101c3bf05$d0feb140$54bd220a ＠ Globus> "Mitsugu Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> 今、RedHat8.0＋SCore5.6.1環境でジョブを実行させると、
> なぜか、環境変数LD_LIBRARY_PATHの受け渡しが
> うまくできないようです。

ちょっと確認したいのですが,

> $ scrun -nodes=1x1 ./a.out
> SCOUT: Spawning done.

scrun で scout を起動していますが,
scrun で group option を指定したときにこのような動作をします.
ところが, 上記では command line では group を指定していません.

次に考えられるのは SCORE_OPTIONS 環境変数ですが,

> [rank=0] LS_COLORS=

このプログラムの出力をみるかぎり, 設定していないようです.

scrun が標準以外のもので, その中で環境変数を
いじっているということはないでしょうか?

                       from Kameyama Toyohisa


From kodama.t ＠ olive.livedoor.com  Sat Dec 13 00:01:06 2003
From: kodama.t ＠ olive.livedoor.com (=?iso-2022-jp?b?a29kYW1hLnQgGyRCIXcbKEIgb2xpdmUubGl2ZWRvb3IuY29t?=)
Date: Sat, 13 Dec 2003 00:01:06 +0900 (JST)
Subject: [SCore-users-jp] An error has occurred - 
Message-ID: <200312121501.hBCF16ni038200@SMTP.MyNET.JP>

SCore Users サポート御中

はじめまして、私、児玉と申します。
SCoreのインストールの件について、躓いた点がございますので、
ご質問させて頂きたく存じます。

現象
EITツールで作成した起動ディスクから起動させると、
マスターノードにAnaconda画面が表示されると同時に、
以下のメッセージが表示され、インストールができません。
（IPとMACアドレスの対応は正常にできております。）

「An error has occurred　- no valid devices were found on
which to create new file systems.please check your hardware
for the cause of this problem」

概要
今回、IBM製のX335というPCサーバ（x6）において、SCoreを用いて
クラスタを組もうと考えております。
また、Compute Hostのインストールの際に、EITツールを使って
インストールしようと考えております。

EITを用いて起動ディスクを作成し、「Making EIT boot floppy
for NIC drivers un-supported by EIT」のページを参照し、
initrd.imgを組み込み直しました。
（組み込み直した理由は、X335がSCSI Diskであるためと、NICがtg3であるため。）

※SCSIのドライバであるmptbase.o,mptscsih.o、またNICのドライバ
　であるtg3.oに関しては、いずれも2.4.19-1SCOREBOOTカーネルから
　取得しております。
　（なお、コマンド上では、下記のとおりに実行しております。
    # cp /lib/modules/2.4.19-1SCOREBOOT/kernel/drivers/scsi/mptbase.o　
/tmp/work/*/)

initrd.imgを組み込みなおした状態で、起動ディスクを起動させたところ、
上記の現象によりインストールできません。

IPとMACアドレスの対応は正常にできていると思われます。
（IPとMACアドレスの対応表が画面に表示されていたことから）
このことから、デバイスの組み込み、もしくはファイルの記述の
仕方に問題があると考えていますが、もう一つ良くわからなくて、
ご質問させていただきました。

module-infoとpcitableの内容を下記に記します。

★　module-info
Version 0
tg3
        eth
        "Broadcom Tigon3 ethernet driver"
        line_speed "Line speed"

mptbase
        scsi_hostadapter
        "LSI Logic Fusion MPT Base Driver"

mptscsih
        scsi_hostadapter
        "LSI Logic Fusion MPT SCSI Driver"

★　pcitable
0x1013  0x6001  0x1014  0x1010  "unknown"       "Cirrus Logic|CS4610 SoundFusio
n
 Audio Accelerator"
0x1077  0x1216  0x101e  0x8471  "ignore"        "QLogic Corp.|QLA12160 on AMI M
e
gaRAID"
0x1077  0x1216  0x101e  0x8493  "ignore"        "QLogic Corp.|QLA12160 on AMI M
e
gaRAID"
0x14e4  0x1644  "bcm5700"       "BROADCOM Corporation|NetXtreme BCM5700 Gigabit
Ethernet"
0x14e4  0x1645  "bcm5700"       "BROADCOM Corporation|NetXtreme BCM5701 Gigabit
Ethernet"
0x14e4  0x1647  "bcm5700"       "BROADCOM Corporation|NetXtreme BCM5703 Gigabit
Ethernet"
0x8086  0x1132  "Card:Intel 815"        "Intel Corp.|82815 CGC [Chipset Graphic
s
 Controller]"
0x8086  0x7121  "Card:Intel 810"        "Intel Corp.|82810 CGC [Chipset Graphic
s
 Controller]"
0x8086  0x7123  "Card:Intel 810"        "Intel Corp.|82810 DC-100 CGC [Chipset 
G
raphics Controller]"
0x8086  0x7125  "Card:Intel 810"        "Intel Corp.|82810E DC-133 CGC [Chipset
Graphics Controller]"

0x1148  0x4400  "tg3"   "Syskonnect (Schneider & Koch)|Tigon3 Gigabit Ethernet"
0x14e4  0x1644  "tg3"   "BROADCOM Corporation|NetXtreme BCM5700 Gigabit Etherne
t
"
0x14e4  0x1645  "tg3"   "BROADCOM Corporation|NetXtreme BCM5701 Gigabit Etherne
t
"
0x14e4  0x1646  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702 Gigabit Etherne
t
"
0x14e4  0x1647  "tg3"   "BROADCOM Corporation|NetXtreme BCM5703 Gigabit Etherne
t
"
0x14e4  0x164d  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702FE Gigabit Ether
n
et"
0x14e4  0x16a6  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702X Gigabit Ethern
e
t"
0x14e4  0x16a7  "tg3"   "BROADCOM Corporation|NetXtreme BCM5703X Gigabit Ethern
e
t"
0x173b  0x03e8  "tg3"   "Altima (nee BroadCom)|AC1000 Gigabit Ethernet"
0x1000  0x0030  "mptscsih"      "Symbios|53c1030"


以上、よろしくお願い申し上げます。


------------------------------------------------------------------
Toshiyuki Kodama
e-mail address: kodama.t ＠ olive.livedoor.com 


フレッツ始めるなら今 ！キャンペーン実施中！
               http://isp.livedoor.com/campaign/




From m-kawaguchi ＠ pst.fujitsu.com  Sat Dec 13 19:46:12 2003
From: m-kawaguchi ＠ pst.fujitsu.com (Mitsugu Kawaguchi)
Date: Sat, 13 Dec 2003 19:46:12 +0900
Subject: [SCore-users-jp] 環境変数の受け渡しについて
In-Reply-To: <20031210104639.741E212894C@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <002601c3c166$53aff010$570aa8c0@Globus>

富士通プライムソフトテクノロジの川口です。
いつもお世話になっております。

下記の件ですが、住元様のご助言を頂いたおかげで
原因が分かりました。

> scrunとscoutはrootのSUID付のプログラムです。ですので、LD_LIBRARY_PATH
> など使われ方によってはセキュリティホールになるので、loaderで弾かれてい
> るようです。やはり、load-pathは /etc/ld.so.confに書くべきではないでしょ
> うか?

とりあえず、上記方法で当初の目的を果たせそうです。
シンポジウムの席では、ご親切にアドバイスしていただき、
本当にありがとうございました。　→　皆様


> -----Original Message-----
> From: score-users-jp-admin ＠ pccluster.org
> [mailto:score-users-jp-admin ＠ pccluster.org] On Behalf Of
> kameyama ＠ pccluster.org
> Sent: Wednesday, December 10, 2003 7:58 PM
> To: Mitsugu Kawaguchi
> Cc: score-users-jp ＠ pccluster.org
> Subject: Re: [SCore-users-jp] 環境変数の受け渡しについて
>
>
> 亀山です.
>
> In article <004101c3bf05$d0feb140$54bd220a ＠ Globus> "Mitsugu
> Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> > 今、RedHat8.0＋SCore5.6.1環境でジョブを実行させると、
> > なぜか、環境変数LD_LIBRARY_PATHの受け渡しが
> > うまくできないようです。
>
> ちょっと確認したいのですが,
>
> > $ scrun -nodes=1x1 ./a.out
> > SCOUT: Spawning done.
>
> scrun で scout を起動していますが,
> scrun で group option を指定したときにこのような動作をします.
> ところが, 上記では command line では group を指定していません.
>
> 次に考えられるのは SCORE_OPTIONS 環境変数ですが,
>
> > [rank=0] LS_COLORS=
>
> このプログラムの出力をみるかぎり, 設定していないようです.
>
> scrun が標準以外のもので, その中で環境変数を
> いじっているということはないでしょうか?
>
>                        from Kameyama Toyohisa
> _______________________________________________
> SCore-users-jp mailing list
> SCore-users-jp ＠ pccluster.org
> http://www.pccluster.org/mailman/listinfo/score-users-jp
>

---
川口 ==> m-kawaguchi ＠ pst.fujitsu.com



From s-sumi ＠ flab.fujitsu.co.jp  Sat Dec 13 22:07:07 2003
From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto)
Date: Sat, 13 Dec 2003 22:07:07 +0900 (JST)
Subject: [SCore-users-jp] An error has occurred -
In-Reply-To: <200312121501.hBCF16ni038200@SMTP.MyNET.JP>
References: <200312121501.hBCF16ni038200@SMTP.MyNET.JP>
Message-ID: <20031213.220707.884024540.s-sumi@flab.fujitsu.co.jp>

児玉様

富士通研の住元です。

From: kodama.t ＠ olive.livedoor.com
Subject: [SCore-users-jp] An error has occurred - 
Date: Sat, 13 Dec 2003 00:01:06 +0900 (JST)
Message-ID: <200312121501.hBCF16ni038200 ＠ SMTP.MyNET.JP>

kodama.t> SCore Users サポート御中
kodama.t> 
kodama.t> はじめまして、私、児玉と申します。
kodama.t> SCoreのインストールの件について、躓いた点がございますので、
kodama.t> ご質問させて頂きたく存じます。
kodama.t> 
kodama.t> 現象
kodama.t> EITツールで作成した起動ディスクから起動させると、
kodama.t> マスターノードにAnaconda画面が表示されると同時に、
kodama.t> 以下のメッセージが表示され、インストールができません。
kodama.t> （IPとMACアドレスの対応は正常にできております。）
kodama.t> 
kodama.t> 「An error has occurred　- no valid devices were found on
kodama.t> which to create new file systems.please check your hardware
kodama.t> for the cause of this problem」

エラー自体はファイルシステムを作るデバイスが見つけられなかったと言うも
のですが、

問題は、

kodama.t> 概要
kodama.t> 今回、IBM製のX335というPCサーバ（x6）において、SCoreを用いて
kodama.t> クラスタを組もうと考えております。
kodama.t> また、Compute Hostのインストールの際に、EITツールを使って
kodama.t> インストールしようと考えております。
kodama.t> 
kodama.t> EITを用いて起動ディスクを作成し、「Making EIT boot floppy
kodama.t> for NIC drivers un-supported by EIT」のページを参照し、
kodama.t> initrd.imgを組み込み直しました。
kodama.t> （組み込み直した理由は、X335がSCSI Diskであるためと、NICがtg3であるため。）
kodama.t> 
kodama.t> ※SCSIのドライバであるmptbase.o,mptscsih.o、またNICのドライバ
kodama.t> 　であるtg3.oに関しては、いずれも2.4.19-1SCOREBOOTカーネルから
kodama.t> 　取得しております。
kodama.t> 　（なお、コマンド上では、下記のとおりに実行しております。
kodama.t>     # cp /lib/modules/2.4.19-1SCOREBOOT/kernel/drivers/scsi/mptbase.o　
kodama.t> /tmp/work/*/)
kodama.t> 
kodama.t> initrd.imgを組み込みなおした状態で、起動ディスクを起動させたところ、
kodama.t> 上記の現象によりインストールできません。
kodama.t> 
kodama.t> IPとMACアドレスの対応は正常にできていると思われます。
kodama.t> （IPとMACアドレスの対応表が画面に表示されていたことから）
kodama.t> このことから、デバイスの組み込み、もしくはファイルの記述の
kodama.t> 仕方に問題があると考えていますが、もう一つ良くわからなくて、
kodama.t> ご質問させていただきました。

bcm5700とtg3は同じEthernetハードウェアに対するドライバのため、テーブル
の先にある bcm5700がマッチしてtg3が読み込まれていないのでは、ないでしょうか?
入れ換えるのであれば、bcm5700のエントリは削除する必要があります。

EITでgigabit Ethernet対応のフロッピーを選べば、BroadcomのNICもサポート
しているのですが、これでは駄目だったのでしょうか?

kodama.t> module-infoとpcitableの内容を下記に記します。
kodama.t> 
kodama.t> ★　module-info
kodama.t> Version 0
kodama.t> tg3
kodama.t>         eth
kodama.t>         "Broadcom Tigon3 ethernet driver"
kodama.t>         line_speed "Line speed"
kodama.t> 
kodama.t> mptbase
kodama.t>         scsi_hostadapter
kodama.t>         "LSI Logic Fusion MPT Base Driver"
kodama.t> 
kodama.t> mptscsih
kodama.t>         scsi_hostadapter
kodama.t>         "LSI Logic Fusion MPT SCSI Driver"
kodama.t> 
kodama.t> ★　pcitable
kodama.t> 0x1013  0x6001  0x1014  0x1010  "unknown"       "Cirrus Logic|CS4610 SoundFusio
kodama.t> n
kodama.t>  Audio Accelerator"
kodama.t> 0x1077  0x1216  0x101e  0x8471  "ignore"        "QLogic Corp.|QLA12160 on AMI M
kodama.t> e
kodama.t> gaRAID"
kodama.t> 0x1077  0x1216  0x101e  0x8493  "ignore"        "QLogic Corp.|QLA12160 on AMI M
kodama.t> e
kodama.t> gaRAID"
kodama.t> 0x14e4  0x1644  "bcm5700"       "BROADCOM Corporation|NetXtreme BCM5700 Gigabit
kodama.t> Ethernet"
kodama.t> 0x14e4  0x1645  "bcm5700"       "BROADCOM Corporation|NetXtreme BCM5701 Gigabit
kodama.t> Ethernet"
kodama.t> 0x14e4  0x1647  "bcm5700"       "BROADCOM Corporation|NetXtreme BCM5703 Gigabit
kodama.t> Ethernet"
kodama.t> 0x8086  0x1132  "Card:Intel 815"        "Intel Corp.|82815 CGC [Chipset Graphic
kodama.t> s
kodama.t>  Controller]"
kodama.t> 0x8086  0x7121  "Card:Intel 810"        "Intel Corp.|82810 CGC [Chipset Graphic
kodama.t> s
kodama.t>  Controller]"
kodama.t> 0x8086  0x7123  "Card:Intel 810"        "Intel Corp.|82810 DC-100 CGC [Chipset 
kodama.t> G
kodama.t> raphics Controller]"
kodama.t> 0x8086  0x7125  "Card:Intel 810"        "Intel Corp.|82810E DC-133 CGC [Chipset
kodama.t> Graphics Controller]"
kodama.t> 
kodama.t> 0x1148  0x4400  "tg3"   "Syskonnect (Schneider & Koch)|Tigon3 Gigabit Ethernet"
kodama.t> 0x14e4  0x1644  "tg3"   "BROADCOM Corporation|NetXtreme BCM5700 Gigabit Etherne
kodama.t> t
kodama.t> "
kodama.t> 0x14e4  0x1645  "tg3"   "BROADCOM Corporation|NetXtreme BCM5701 Gigabit Etherne
kodama.t> t
kodama.t> "
kodama.t> 0x14e4  0x1646  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702 Gigabit Etherne
kodama.t> t
kodama.t> "
kodama.t> 0x14e4  0x1647  "tg3"   "BROADCOM Corporation|NetXtreme BCM5703 Gigabit Etherne
kodama.t> t
kodama.t> "
kodama.t> 0x14e4  0x164d  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702FE Gigabit Ether
kodama.t> n
kodama.t> et"
kodama.t> 0x14e4  0x16a6  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702X Gigabit Ethern
kodama.t> e
kodama.t> t"
kodama.t> 0x14e4  0x16a7  "tg3"   "BROADCOM Corporation|NetXtreme BCM5703X Gigabit Ethern
kodama.t> e
kodama.t> t"
kodama.t> 0x173b  0x03e8  "tg3"   "Altima (nee BroadCom)|AC1000 Gigabit Ethernet"
kodama.t> 0x1000  0x0030  "mptscsih"      "Symbios|53c1030"
kodama.t> 
kodama.t> 
kodama.t> 以上、よろしくお願い申し上げます。
kodama.t> 
kodama.t> 
kodama.t> ------------------------------------------------------------------
kodama.t> Toshiyuki Kodama
kodama.t> e-mail address: kodama.t ＠ olive.livedoor.com 
kodama.t> 
kodama.t> 
kodama.t> フレッツ始めるなら今 ！キャンペーン実施中！
kodama.t>                http://isp.livedoor.com/campaign/
kodama.t> 
kodama.t> 
kodama.t> _______________________________________________
kodama.t> SCore-users-jp mailing list
kodama.t> SCore-users-jp ＠ pccluster.org
kodama.t> http://www.pccluster.org/mailman/listinfo/score-users-jp
kodama.t> 
kodama.t> 
------
Shinji Sumimoto, Fujitsu Labs


From kameyama ＠ pccluster.org  Mon Dec 15 09:54:39 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 15 Dec 2003 09:54:39 +0900
Subject: [SCore-users-jp] An error has occurred -
In-Reply-To: Your message of "Sat, 13 Dec 2003 22:07:07 JST."
             <20031213.220707.884024540.s-sumi@flab.fujitsu.co.jp>
Message-ID: <20031215004245.9996C12894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <20031213.220707.884024540.s-sumi ＠ flab.fujitsu.co.jp> Shinji Sumimoto <s-sumi ＠ flab.fujitsu.co.jp> wrotes:
> kodama.t> 「An error has occurred　- no valid devices were found on
> kodama.t> which to create new file systems.please check your hardware
> kodama.t> for the cause of this problem」
> 
> エラー自体はファイルシステムを作るデバイスが見つけられなかったと言うも
> のですが、

Ethernet のほうは

> kodama.t> IPとMACアドレスの対応は正常にできていると思われます。
> kodama.t> （IPとMACアドレスの対応表が画面に表示されていたことから）

ということで, 動いていると思います.
(SCore 5.4.0 以降でしたら, 1 Gbps Ethernet のほうで floppy を作成すれば
inited.img を変更しなくても良かったのですが...)

問題は, SCSI driver のほうです.
一般に, initrd.img のなかの driver, modules-info の内容は boot 時にのみ使用され,
本物の root file system を mount すると, そちらの情報を使用することになります.
よって, この中で使用される設定は root file system を mount するのに必要な
ものだけになります.

EIT での install では root file system は NFS
(server の /opt/score/setup/RedHat/instimage/) になりますので,
使用されるのは NIC の device driver と nfs 関連のみになります.
SCSI の driver などは
    /opt/score/setup/RedHat/instimage/modules
のしたの設定が使用されますので, ここの
    module-info  modules.cgz  modules.dep  pcitable
を修正してください.

                       from Kameyama Toyohisa


From nick ＠ streamline-computing.com  Sun Dec 14 03:23:26 2003
From: nick ＠ streamline-computing.com (Nick Birkett)
Date: Sat, 13 Dec 2003 18:23:26 +0000
Subject: [SCore-users-jp] [SCore-users] Score 5.6 for ia64
Message-ID: <200312131823.26711.nick@streamline-computing.com>

I am compiling Score 5.6 from source on RedHat Itanium2 advanced server 2.1. 

I have a compile time error:

/usr/bin/gcc -Wall -Wno-implicit -g -O`[ "" != "" ] || echo "3"` -D__USE_FIXED_PROTOTYPES__  -I../../include -I../../../pm2/include -I../../../mttl-ult/ult -I../../../sclib/scwrap/include `if grep 'Using kernel' /usr/include/linux/string.h> /dev/null; then echo -I/usr/src/linux-2.4/include; fi` -DSCORE_VERSION=\"5.6.1\"  `[ "" = "" ] || echo "-DSCORE_DO_TRACE -DDEVELOPMENT"`  -o ckpt_syscall.o -c ../ckpt_syscall.c
../ckpt_syscall.c: In function `score_ckpt_install_scwrappers':
../ckpt_syscall.c:3693: `SYS__llseek' undeclared (first use in this function)
../ckpt_syscall.c:3693: (Each undeclared identifier is reported only once
../ckpt_syscall.c:3693: for each function it appears in.)
../ckpt_syscall.c:3694: `SYS_truncate64' undeclared (first use in this function)
../ckpt_syscall.c:3695: `SYS_ftruncate64' undeclared (first use in this function)
../ckpt_syscall.c: At top level:
../ckpt_syscall.c:1: warning: `rcsid' defined but not used
make[4]: *** [ckpt_syscall.o] Error 1
make[4]: Leaving directory `/opt/score5.6.0/score-src/SCore/scoredlib/usr/obj.ia64-redhat-linux2_4'
make[3]: *** [srcdir-all] Error 2
make[3]: Leaving directory `/opt/score5.6.0/score-src/SCore/scoredlib/usr'

compressed score.bulid file attached.

Many thanks,

Nick




-- 
Dr Nick Birkett     
Technical Director
Streamline Computing Ltd
The Innovation Centre
Warwick Technology Park
Gallows Hill
Warwick CV34 6UW 

Tel     :  +44 (0)1926 623130 
Fax     :  +44 (0)1926 623140
Mobile  :  +44 (0)7890 246662
Email   :  nrcb ＠ streamline-computing.com
Support :  support ＠ streamline-computing.com
Web     :  http://www.streamline-computing.com    

-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: score.build.gz
型:         application/x-gzip
サイズ:     17740 バイト
説明:       無し
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031213/c5327394/attachment.gz>

From kameyama ＠ pccluster.org  Mon Dec 15 10:10:04 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Mon, 15 Dec 2003 10:10:04 +0900
Subject: [SCore-users-jp] Re: [SCore-users] Score 5.6 for ia64
In-Reply-To: Your message of "Sat, 13 Dec 2003 18:23:26 JST."
             <200312131823.26711.nick@streamline-computing.com>
Message-ID: <20031215005810.7242612894C@neal.il.is.s.u-tokyo.ac.jp>

In article <200312131823.26711.nick ＠ streamline-computing.com> Nick Birkett <nick ＠ streamline-computing.com> wrotes:
> /usr/bin/gcc -Wall -Wno-implicit -g -O`[ "" !=3D "" ] || echo "3"` -D__US=
> E_FIXED_PROTOTYPES__  -I../../include -I../../../pm2/include -I../../../m=
> ttl-ult/ult -I../../../sclib/scwrap/include `if grep 'Using kernel' /usr/=
> include/linux/string.h> /dev/null; then echo -I/usr/src/linux-2.4/include=
> ; fi` -DSCORE_VERSION=3D\"5.6.1\"  `[ "" =3D "" ] || echo "-DSCORE_DO_TRA=
> CE -DDEVELOPMENT"`  -o ckpt_syscall.o -c ../ckpt_syscall.c
> =2E./ckpt_syscall.c: In function `score_ckpt_install_scwrappers':
> =2E./ckpt_syscall.c:3693: `SYS__llseek' undeclared (first use in this fun=
> ction)
> =2E./ckpt_syscall.c:3693: (Each undeclared identifier is reported only on=
> ce
> =2E./ckpt_syscall.c:3693: for each function it appears in.)
> =2E./ckpt_syscall.c:3694: `SYS_truncate64' undeclared (first use in this =
> function)
> =2E./ckpt_syscall.c:3695: `SYS_ftruncate64' undeclared (first use in this=
>  function)

Sorry.
Please change #ifdef line in ckpt_syscall.c:score_ckpt_install_scwrappers().
from:
    #ifndef __x86_64
    score_scwrap(SYS__llseek, _llseek_hook);
    ...
to
    #if !defined(__x86_64__) && !defined(__ia64__) && !defined(__alpha__)
    score_scwrap(SYS__llseek, _llseek_hook);
    ...

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kodama.t ＠ olive.livedoor.com  Tue Dec 16 00:57:23 2003
From: kodama.t ＠ olive.livedoor.com (=?iso-2022-jp?b?a29kYW1hLnQgGyRCIXcbKEIgb2xpdmUubGl2ZWRvb3IuY29t?=)
Date: Tue, 16 Dec 2003 00:57:23 +0900 (JST)
Subject: [SCore-users-jp] An error has occurred -
Message-ID: <200312151557.hBFFvNni090059@SMTP.MyNET.JP>

亀山様

児玉です。
お世話になります。

ご回答ありがとうございました。

>亀山です.
>
>In article <20031213.220707.884024540.s-sumi ＠ flab.fujitsu.co.jp> Shinji
Sumimoto <s-sumi ＠ flab.fujitsu.co.jp> wrotes:
>> kodama.t> 「An error has occurred　- no valid devices were found on
>> kodama.t> which to create new file systems.please check your hardware
>> kodama.t> for the cause of this problem」
>> 
>> エラー自体はファイルシステムを作るデバイスが見つけられなかったと言うも
>> のですが、
>
>Ethernet のほうは
>
>> kodama.t> IPとMACアドレスの対応は正常にできていると思われます。
>> kodama.t> （IPとMACアドレスの対応表が画面に表示されていたことから）
>
>ということで, 動いていると思います.
>(SCore 5.4.0 以降でしたら, 1 Gbps Ethernet のほうで floppy を作成すれば
>inited.img を変更しなくても良かったのですが...)
>
>問題は, SCSI driver のほうです.
>一般に, initrd.img のなかの driver, modules-info の内容は boot 時にのみ使用
され,
>本物の root file system を mount すると, そちらの情報を使用することになります.
>よって, この中で使用される設定は root file system を mount するのに必要な
>ものだけになります.
>
>EIT での install では root file system は NFS
>(server の /opt/score/setup/RedHat/instimage/) になりますので,
>使用されるのは NIC の device driver と nfs 関連のみになります.

分かりました。/opt/score/setup/RedHat/instimageの方のモジュールを
変更する必要があったのですね。気がつきませんでした。

>SCSI の driver などは
>    /opt/score/setup/RedHat/instimage/modules
>のしたの設定が使用されますので,
>module-info  modules.cgz  modules.dep  pcitable
>を修正してください.

まずは、上記のことを試してみます。
実行結果は、またご連絡致します。


フレッツ始めるなら今 ！キャンペーン実施中！
               http://isp.livedoor.com/campaign/




From kodama.t ＠ olive.livedoor.com  Tue Dec 16 01:58:24 2003
From: kodama.t ＠ olive.livedoor.com (=?iso-2022-jp?b?a29kYW1hLnQgGyRCIXcbKEIgb2xpdmUubGl2ZWRvb3IuY29t?=)
Date: Tue, 16 Dec 2003 01:58:24 +0900 (JST)
Subject: [SCore-users-jp] An error has occurred - 
Message-ID: <200312151658.hBFGwOni091700@SMTP.MyNET.JP>

住元様

児玉でございます。
お世話になっております。

下記回答、ありがとうございました。

----- Original Message -----
From: s-sumi ＠ flab.fujitsu.co.jp
To: kodama.t ＠ olive.livedoor.com
Cc: score-users-jp ＠ pccluster.org s-sumi ＠ flab.fujitsu.co.jp
日付: 2003年12月13日22時7分
題名: Re: [SCore-users-jp] An error has occurred - 

>児玉様
>
>富士通研の住元です。
>
>From: kodama.t ＠ olive.livedoor.com
>Subject: [SCore-users-jp] An error has occurred - 
>Date: Sat, 13 Dec 2003 00:01:06 +0900 (JST)
>Message-ID: <200312121501.hBCF16ni038200 ＠ SMTP.MyNET.JP>
>
>kodama.t> SCore Users サポート御中
>kodama.t> 
>kodama.t> （割愛させていただきます）
>エラー自体はファイルシステムを作るデバイスが見つけられなかったと言うも
>のですが、
>
>問題は、
>
>kodama.t> 概要
>kodama.t> 今回、IBM製のX335というPCサーバ（x6）において、SCoreを用いて
>kodama.t> クラスタを組もうと考えております。
>kodama.t> また、Compute Hostのインストールの際に、EITツールを使って
>kodama.t> インストールしようと考えております。
>kodama.t> 
>kodama.t> EITを用いて起動ディスクを作成し、「Making EIT boot floppy
>kodama.t> for NIC drivers un-supported by EIT」のページを参照し、
>kodama.t> initrd.imgを組み込み直しました。
>kodama.t> （組み込み直した理由は、X335がSCSI Diskであるためと、NICがtg3であ
るため。）
>kodama.t> 
>kodama.t> ※SCSIのドライバであるmptbase.o,mptscsih.o、またNICのドライバ
>kodama.t> 　であるtg3.oに関しては、いずれも2.4.19-1SCOREBOOTカーネルから
>kodama.t> 　取得しております。
>kodama.t> 　（なお、コマンド上では、下記のとおりに実行しております。
>kodama.t>     # cp
/lib/modules/2.4.19-1SCOREBOOT/kernel/drivers/scsi/mptbase.o　
>kodama.t> /tmp/work/*/)
>kodama.t> 
>kodama.t> initrd.imgを組み込みなおした状態で、起動ディスクを起動させたところ、
>kodama.t> 上記の現象によりインストールできません。
>kodama.t> 
>kodama.t> IPとMACアドレスの対応は正常にできていると思われます。
>kodama.t> （IPとMACアドレスの対応表が画面に表示されていたことから）
>kodama.t> このことから、デバイスの組み込み、もしくはファイルの記述の
>kodama.t> 仕方に問題があると考えていますが、もう一つ良くわからなくて、
>kodama.t> ご質問させていただきました。
>
>bcm5700とtg3は同じEthernetハードウェアに対するドライバのため、テーブル
>の先にある bcm5700がマッチしてtg3が読み込まれていないのでは、ないでしょうか?
>入れ換えるのであれば、bcm5700のエントリは削除する必要があります。

私も初めはbcm5700とtg3の絡みが関係あるのではないかと考えましたが、

>EITでgigabit Ethernet対応のフロッピーを選べば、BroadcomのNICもサポート
>しているのですが、これでは駄目だったのでしょうか?

これは何度か試してみたのですが、ダメだったのです。
しかしながら、後で全く別の理由で（名前解決ができていなかった）ダメだった
事がわかり、もしかしたら、broadcomのNICをインストールしたら、
initrdの書き換えは必要無かったのかもしれません。
これは、SCoreイメージが入ってから調べてみたいと思います。

ありがとうございました。

児玉
kodama.t ＠ olive.livedoor.com



フレッツ始めるなら今 ！キャンペーン実施中！
               http://isp.livedoor.com/campaign/




From kodama ＠ dtc.co.jp  Tue Dec 16 09:11:27 2003
From: kodama ＠ dtc.co.jp (Toshiyuki Kodama)
Date: Tue, 16 Dec 2003 09:11:27 +0900
Subject: [SCore-users-jp] Re: An error has occurred -
Message-ID: <3FDE4DAF.9010207@dtc.co.jp>

亀山様、住元様

児玉です。
お世話になっております。

亀山様が書きました。
>問題は, SCSI driver のほうです.
>一般に, initrd.img のなかの driver, modules-info の
>内容は boot 時にのみ使用され,
>本物の root file system を mount すると, そちらの
>情報を使用することになります.
>よって, この中で使用される設定は root file system を
>mount するのに必要なものだけになります.
>EIT での install では root file system は NFS
>(server の /opt/score/setup/RedHat/instimage/) になりますので,
>使用されるのは NIC の device driver と nfs 関連のみになります.
>SCSI の driver などは
>    /opt/score/setup/RedHat/instimage/modules
>のしたの設定が使用されますので, ここの
>    module-info  modules.cgz  modules.dep  pcitable

を変更してみましたが、現象はまったく同じでした。
pcitable,module-infoの情報を下記に記します。


以上、宜しくお願い申し上げます。


module-info

Version 0
tg3
        eth
        "Broadcom Tigon3 ethernet driver"
        line_speed "Line speed"

mptbase
        scsi_hostadapter
        "LSI Logic Fusion MPT Base Driver"

mptscsih
        scsi_hostadapter
        "LSI Logic Fusion MPT SCSI Driver"

pcitable

0x1013  0x6001  0x1014  0x1010  "unknown"       "Cirrus Logic|CS4610 SoundFusion
 Audio Accelerator"
0x1077  0x1216  0x101e  0x8471  "ignore"        "QLogic Corp.|QLA12160 on AMI Me
gaRAID"
0x1077  0x1216  0x101e  0x8493  "ignore"        "QLogic Corp.|QLA12160 on AMI Me
gaRAID"
0x8086  0x1132  "Card:Intel 815"        "Intel Corp.|82815 CGC [Chipset Graphics
 Controller]"
0x8086  0x7121  "Card:Intel 810"        "Intel Corp.|82810 CGC [Chipset Graphics
 Controller]"
0x8086  0x7123  "Card:Intel 810"        "Intel Corp.|82810 DC-100 CGC [Chipset G
raphics Controller]"
0x8086  0x7125  "Card:Intel 810"        "Intel Corp.|82810E DC-133 CGC [Chipset
Graphics Controller]"

0x1148  0x4400  "tg3"   "Syskonnect (Schneider & Koch)|Tigon3 Gigabit Ethernet"
0x14e4  0x1644  "tg3"   "BROADCOM Corporation|NetXtreme BCM5700 Gigabit Ethernet
"
0x14e4  0x1645  "tg3"   "BROADCOM Corporation|NetXtreme BCM5701 Gigabit Ethernet
"
0x14e4  0x1646  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702 Gigabit Ethernet
"
0x14e4  0x1647  "tg3"   "BROADCOM Corporation|NetXtreme BCM5703 Gigabit Ethernet
"
0x14e4  0x164d  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702FE Gigabit Ethern
et"
0x14e4  0x16a6  "tg3"   "BROADCOM Corporation|NetXtreme BCM5702X Gigabit Etherne
t"
0x14e4  0x16a7  "tg3"   "BROADCOM Corporation|NetXtreme BCM5703X Gigabit Etherne
t"
0x173b  0x03e8  "tg3"   "Altima (nee BroadCom)|AC1000 Gigabit Ethernet"
0x1000  0x0030  "mptscsih"      "Symbios|53c1030"

児玉


-------------- next part --------------
テキスト形式以外の添付ファイルを保管しました...
ファイル名: score.lzh
型:         application/octet-stream
サイズ:     271860 バイト
説明:       無し
URL:        <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031216/c67d376a/attachment.lzh>

From kameyama ＠ pccluster.org  Tue Dec 16 09:53:15 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Tue, 16 Dec 2003 09:53:15 +0900
Subject: [SCore-users-jp] Re: An error has occurred -
In-Reply-To: Your message of "Tue, 16 Dec 2003 09:11:27 JST."
             <3FDE4DAF.9010207@dtc.co.jp>
Message-ID: <20031216004117.C9C5612894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <3FDE4DAF.9010207 ＠ dtc.co.jp> Toshiyuki Kodama <kodama ＠ dtc.co.jp> wrotes:
> を変更してみましたが、現象はまったく同じでした。
> pcitable,module-infoの情報を下記に記します。

添付してあった modules.dep をみましたら, 記述が足りないようでした.
mptscsih.o は mptbase.o と scsi_mod.o が必要なようですので,
modules.dep に
    mptscsih: mptbase scsi_mod
を追加してみてください.


これでだめでしたら, compute host で
    CNTL-ALT-F3
    CNTL-ALT-F4
によって出た画面をみてください.

CNTL-ALT-F3 の画面には anaconda の log が書かれています.
ここで anaconda がどんな module を使用しようとしたのかがわかります.

CNTL-ALT-F4 のほうは kernel の log が書かれています.
anaconda が module を使用として kernel の load に失敗した場合は.
この画面でわかると思います.

                       from Kameyama Toyohisa


From kodama ＠ dtc.co.jp  Tue Dec 16 18:22:07 2003
From: kodama ＠ dtc.co.jp (Toshiyuki Kodama)
Date: Tue, 16 Dec 2003 18:22:07 +0900
Subject: [SCore-users-jp] Re: An error has occurred -
References: <20031216004117.C9C5612894C@neal.il.is.s.u-tokyo.ac.jp>
Message-ID: <3FDECEBF.5010903@dtc.co.jp>

亀山様

児玉です。

kameyama ＠ pccluster.org 様は書きました。

>亀山です.
>
>In article <3FDE4DAF.9010207 ＠ dtc.co.jp> Toshiyuki Kodama <kodama ＠ dtc.co.jp> wrotes:
>  
>
>>を変更してみましたが、現象はまったく同じでした。
>>pcitable,module-infoの情報を下記に記します。
>>    
>>
>
>添付してあった modules.dep をみましたら, 記述が足りないようでした.
>mptscsih.o は mptbase.o と scsi_mod.o が必要なようですので,
>modules.dep に
>    mptscsih: mptbase scsi_mod
>を追加してみてください.
>
上記設定を行ったあと、インストールを行ったところ、正常に
インストール作業が行われることを確認致しました。

大変助かりました。
ありがとうございました。

今後とも何卒、宜しくお願い申し上げます。

>これでだめでしたら, compute host で
>    CNTL-ALT-F3
>    CNTL-ALT-F4
>によって出た画面をみてください.
>
>CNTL-ALT-F3 の画面には anaconda の log が書かれています.
>ここで anaconda がどんな module を使用しようとしたのかがわかります.
>
>CNTL-ALT-F4 のほうは kernel の log が書かれています.
>anaconda が module を使用として kernel の load に失敗した場合は.
>この画面でわかると思います.
>
>                       from Kameyama Toyohisa
>

児玉



From pvenka ＠ yahoo.com  Thu Dec 18 22:04:17 2003
From: pvenka ＠ yahoo.com (parthasarathy venkataraman)
Date: Thu, 18 Dec 2003 05:04:17 -0800 (PST)
Subject: [SCore-users-jp] [SCore-users] qsub hangs
Message-ID: <20031218130417.8485.qmail@web12310.mail.yahoo.com>

Hi,
Some programs run when run without the qsub command.
When I submit them via qsub they at a particular point
for each program. The qstat -a shows that the job is
submitted but in reality the program gets to a point
and then does not go any further.
In the end the program gets out with walltime exceeded
error. 
The same programs have run with qsub earlier.
Any clues?
venkat

__________________________________
Do you Yahoo!?
Protect your identity with Yahoo! Mail AddressGuard
http://antispam.yahoo.com/whatsnewfree
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Fri Dec 19 09:42:53 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Fri, 19 Dec 2003 09:42:53 +0900
Subject: [SCore-users-jp] Re: [SCore-users] qsub hangs
In-Reply-To: Your message of "Thu, 18 Dec 2003 05:04:17 JST."
             <20031218130417.8485.qmail@web12310.mail.yahoo.com>
Message-ID: <20031219003046.C68AC12894C@neal.il.is.s.u-tokyo.ac.jp>

In article <20031218130417.8485.qmail ＠ web12310.mail.yahoo.com> parthasarathy venkataraman <pvenka ＠ yahoo.com> wrotes:
> Some programs run when run without the qsub command.
> When I submit them via qsub they at a particular point
> for each program. The qstat -a shows that the job is
> submitted but in reality the program gets to a point
> and then does not go any further.
> In the end the program gets out with walltime exceeded
> error. 

Please check pbs log files:
   /var/scored/pbs/sched_logs/*
   /var/scored/pbs/server_logs/*

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From mika126 ＠ hotmail.com  Sat Dec 20 00:36:58 2003
From: mika126 ＠ hotmail.com (chris kiam)
Date: Fri, 19 Dec 2003 15:36:58 +0000
Subject: [SCore-users-jp] [SCore-users] omni/SCASH: omp_get_num_procs
Message-ID: <Sea2-F12xM4v07i7EQy0001c6ff@hotmail.com>

Hi!
I have some problems cos i need to know the number of threads before 
reaching a parallel region. Using omp_get_num_threads it returns 1 (i guess 
since the threads have not been created yet..) and omp_get_num_procs returns 
a default constant value of 4 (defined in a headerfile right?).
Is there some other way?I looked in the man pages, but didnt find anything.
thanks
Kristian Kiamos

_________________________________________________________________
The new MSN 8: advanced junk mail protection and 2 months FREE* 
http://join.msn.com/?page=features/junkmail

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From my.mariko2003 ＠ ezweb.ne.jp  Sat Dec 20 14:41:26 2003
From: my.mariko2003 ＠ ezweb.ne.jp (=?iso-2022-jp?b?bXkubWFyaWtvMjAwMyAbJEIhdxsoQiBlendlYi5uZS5qcA==?=)
Date: Sat, 20 Dec 2003 14:41:26
Subject: [SCore-users-jp] [SCore-users] ヒマ
Message-ID: <g6dqg2367pzvgsi.201220031441@203.141.35.113>

超ヒマ子です。あそぼ


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From m-kawaguchi ＠ pst.fujitsu.com  Tue Dec 23 15:39:19 2003
From: m-kawaguchi ＠ pst.fujitsu.com (Mitsugu Kawaguchi)
Date: Tue, 23 Dec 2003 15:39:19 +0900
Subject: [SCore-users-jp] 計算ノードダウン時のジョブ実行について
Message-ID: <006001c3c91f$7e2a0cc0$570aa8c0@Globus>

SCore開発関係者様

富士通プライムソフトテクノロジの川口です。
いつもお世話になっております。
すみませんが確認したいことがあり、メール致しました。

指定グループに属するノードがどれかダウンしている場合に
シングルユーザモードにてジョブ実行すると、
”<計算ノード名：　No route to host”というメッセージが表示され、
scrunプロンプトが戻ってきません。
　＃　10分程度待ちましたが、足りない？

シングルユーザモードの場合なら、Ctrl+Cで終了させればよいですが、
PBSなどのバッチソフトを利用してジョブ実行する場合、
バッチジョブとしてはずっと実行中扱いになるかと思いますが、
どうでしょうか？回避策とかはあるのでしょうか？
　＃　本来はタイムアウト等で、scrunコマンドが
　　　復帰するべきではと思ってます。

以上、宜しくお願いします。
---
川口 ==>  m-kawaguchi ＠ pst.fujitsu.com



From kameyama ＠ pccluster.org  Wed Dec 24 09:27:07 2003
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 24 Dec 2003 09:27:07 +0900
Subject: [SCore-users-jp] 計算ノードダウン時のジョブ実行について
In-Reply-To: Your message of "Tue, 23 Dec 2003 15:39:19 JST."
             <006001c3c91f$7e2a0cc0$570aa8c0@Globus>
Message-ID: <20031224001444.0673412894C@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <006001c3c91f$7e2a0cc0$570aa8c0 ＠ Globus> "Mitsugu Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> シングルユーザモードの場合なら、Ctrl+Cで終了させればよいですが、
> PBSなどのバッチソフトを利用してジョブ実行する場合、
> バッチジョブとしてはずっと実行中扱いになるかと思いますが、
> どうでしょうか？回避策とかはあるのでしょうか？

PBS の場合は compute host で pbs_mom が動いていて, その daemon と
server が通信していて compute host の状態をみているので,
その host が down していることはわかります.
server は down している host に job を割り当てることはしません.

よって, "実行中扱いになる" ことはなく, 別の host を割り当てられるか,
host の数が足らない場合は実行保留状態に留まることになります.

                       from Kameyama Toyohisa


From yoshihiro551230 ＠ bc.wakwak.com  Thu Dec 25 05:31:45 2003
From: yoshihiro551230 ＠ bc.wakwak.com (Yoshihiro ISHIKAWA)
Date: Thu, 25 Dec 2003 05:31:45 +0900
Subject: [SCore-users-jp] SCoredのwarningメッセージ
Message-ID: <01a201c3ca5c$f2f4d740$6f501da0@airfoceone>

SCoreメーリングリストの皆様

岩手大学工学研究科M1の石川と申します．
いつもお世話になっております．

さて，件名の通り，プログラム実行中に以下のような
warningメッセージが出ます．

<2> SCORE WARNING: Physical memory might be exhausted.

topコマンドで見ると，メモリが消費され尽くしているという
ことがないのに，このようなメッセージが出てしまうのは
なぜでしょうか？

また，このメッセージが出ないようにするにはどうすれば
良いでしょうか？

おわかりの方がいらっしゃいましたらご教授下さい．
よろしくお願いいたします．

====================================
岩手大学大学院工学研究科機械工学専攻
航空宇宙システム部門/船崎・山田研究室
修士課程１年　石川慶拓 Yoshihiro Ishikawa
mail yoshihiro551230 ＠ bc.wakwak.com
====================================




From hori ＠ swimmy-soft.com  Thu Dec 25 09:36:46 2003
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Thu, 25 Dec 2003 09:36:46 +0900
Subject: [SCore-users-jp] SCoredのwarningメッセージ
In-Reply-To: <01a201c3ca5c$f2f4d740$6f501da0@airfoceone>
References: <01a201c3ca5c$f2f4d740$6f501da0@airfoceone>
Message-ID: <3155189806.hori0001@swimmy-soft.com>

堀@スイミー・ソフトウェアです．

>さて，件名の通り，プログラム実行中に以下のような
>warningメッセージが出ます．
>
><2> SCORE WARNING: Physical memory might be exhausted.
>
>topコマンドで見ると，メモリが消費され尽くしているという
>ことがないのに，このようなメッセージが出てしまうのは
>なぜでしょうか？

scrun を起動したホストで top を見ても分からないと思います．このメッセ
ージの頭に "<2>" というのがありますが，これは SCore（scout）が動いてい
る３番目（０から始まるので）のホスト上の空きメモリがなくなった可能性が
ある，ということなので，そのホスト上で top を動かしてみてください．

>また，このメッセージが出ないようにするにはどうすれば
>良いでしょうか？

このメッセージはベンチマークを動かしている時などに，知らないうちにメモ
リスワップが始まっていると困るであろう，という「お節介」なメッセージで
す．ということなので，無視して頂いてもかまいません．

----
堀 敦史（ほり あつし）
スイミー・ソフトウェア株式会社



From hori ＠ swimmy-soft.com  Thu Dec 25 11:05:54 2003
From: hori ＠ swimmy-soft.com (Atsushi HORI)
Date: Thu, 25 Dec 2003 11:05:54 +0900
Subject: [SCore-users-jp] 計算ノードダウン時のジョブ実行について
In-Reply-To: <006001c3c91f$7e2a0cc0$570aa8c0@Globus>
References: <006001c3c91f$7e2a0cc0$570aa8c0@Globus>
Message-ID: <3155195154.hori0003@swimmy-soft.com>

堀@スイミー・ソフトウェアです．

>指定グループに属するノードがどれかダウンしている場合に
>シングルユーザモードにてジョブ実行すると、
>”<計算ノード名：　No route to host”というメッセージが表示され、
>scrunプロンプトが戻ってきません。
>　＃　10分程度待ちましたが、足りない？

調べましたが，scout で指定したホストグループの最初のホストを除いてタイ
ムアウトの処理が入っており，

SCOUT: Spawning comp0.pccluster.org
[comp0.pccluster.org]: Spawn timed out.
SCOUT: Session done.

という具合になるハズです（timeout は１分）．

しかしながら「最初のホスト」はこのタイムアウトの処理が入っていないため
，かなり長い間（accept がタイムアウトするまで）待つ結果となっておりま
した．

>シングルユーザモードの場合なら、Ctrl+Cで終了させればよいですが、
>PBSなどのバッチソフトを利用してジョブ実行する場合、
>バッチジョブとしてはずっと実行中扱いになるかと思いますが、
>どうでしょうか？

次版で最初のホストもタイムアウトするよう修正いたします．ついでながらタ
イムアウトの時間も 30 秒と少し短くします．

----
堀 敦史（ほり あつし）
スイミー・ソフトウェア株式会社



From m-kawaguchi ＠ pst.fujitsu.com  Thu Dec 25 15:53:12 2003
From: m-kawaguchi ＠ pst.fujitsu.com (Mitsugu Kawaguchi)
Date: Thu, 25 Dec 2003 15:53:12 +0900
Subject: [SCore-users-jp] 計算ノードダウン時のジョブ実行について
In-Reply-To: <3155195154.hori0003@swimmy-soft.com>
Message-ID: <001c01c3cab3$c67ccbd0$570aa8c0@Globus>

スイミー・ソフトウェア）堀様
SCore開発関係者様

富士通プライムソフトテクノロジの川口です。
回答いただき、ありがとうございました。

> 調べましたが，scout で指定したホストグループの最初のホストを除いてタイ
> ムアウトの処理が入っており，
>
> SCOUT: Spawning comp0.pccluster.org
> [comp0.pccluster.org]: Spawn timed out.
> SCOUT: Session done.
>
> という具合になるハズです（timeout は１分）．
>
> しかしながら「最初のホスト」はこのタイムアウトの処理が入っていないため
> ，かなり長い間（accept がタイムアウトするまで）待つ結果となっておりま
> した．

すみません。この、「最初のホスト」というのはどういう意味でしょうか？
試しにこちらで以下の確認をしましたが、タイムアウトしませんでした。
　・　グループpcc　に登録されているノードのうち、３台目を停止。
　　　(scorehosts.dbファイル内でpccグループで定義された３番目のホスト）
　・　グループpccを指定してscrunコマンド実施。
　　　５分以上待っても、タイムアウトせず。

手順に誤りがありましたら、御指摘願います。

> >シングルユーザモードの場合なら、Ctrl+Cで終了させればよいですが、
> >PBSなどのバッチソフトを利用してジョブ実行する場合、
> >バッチジョブとしてはずっと実行中扱いになるかと思いますが、
> >どうでしょうか？
>
> 次版で最初のホストもタイムアウトするよう修正いたします．ついでながらタ
> イムアウトの時間も 30 秒と少し短くします．

どうもありがとうございます。

あと、ダウンしているノードが含まれるグループを指定して
scrunコマンドを実行しても同様の現象（プロンプトが戻らない）が発生します。
上記と同じと原因なのでしょうか？

以上、宜しくお願いします。

---
川口  ==> m-kawaguchi ＠ pst.fujitsu.com






From diver_oct1981 ＠ yahoo.co.jp  Tue Dec 30 03:48:57 2003
From: diver_oct1981 ＠ yahoo.co.jp (ＰＲＯ　ＤＩＶＥＲ)
Date: Tue, 30 Dec 2003 03:48:57 +0900 (JST)
Subject: [SCore-users-jp] カーネルの再構築について
Message-ID: <20031229184857.34910.qmail@web703.mail.yahoo.co.jp>

はじめまして。
琉球大の駒澤と申します。
カーネルの再構築について質問させていただきたいのですが。
ただ今、私が使っているスペックとしまして
CPU：Pen4 1.6G
Mother: GigaByte P4 Titan 667
Memory: 512M
OS: RedHat7.3
Score:5.6.0
でクラスターを構築しようと思いまず計算ホストのために
カーネルの再構築から取り掛かりました。
まず、kernel.orgからkernel-2.4.21
をとってきましてそれに5.6,0のCDより2.4.21SCOREのパッチを
つけました。そのままmakeをしていきカーネルを再構築
したのですがmenuconfigの設定が悪いのか再起動した時に
eth0がfaildになってしまいネットが使えない状態になってし
まいます。
menuconfigでは
Character devices を選択し、
　　RWCP PM/Myrinet (Myricom Myrinet PCI) support (NEW)
　　RWCP PM/Ethernet support (NEW)
　　RWCP PM/Shmem (Shared Memory) support (NEW)
にチェックとext3を用いていますので
Filesystem の中から Ext3 
を選択いたしました。
この他に何かすることがあるのでしょうか。
make bzImage
をしてもErrorは出てないように思われます。
いろいろとネットをしらべてみたのですが何度やっても
うまくいきません。何か良い考えや情報がございましたら
よろしくお願いいたします。
誠にお手数とは思いますがよろしくお願いいたします。

*******************************
琉球大学理学部　物質地球科学科
駒澤　孝美（コマザワ　タカヨシ）
*******************************




From ishikawa ＠ is.s.u-tokyo.ac.jp  Tue Dec 30 09:04:18 2003
From: ishikawa ＠ is.s.u-tokyo.ac.jp (Yutaka Ishikawa)
Date: Tue, 30 Dec 2003 09:04:18 +0900 (JST)
Subject: [SCore-users-jp] カーネルの再構築について
In-Reply-To: <20031229184857.34910.qmail@web703.mail.yahoo.co.jp>
References: <20031229184857.34910.qmail@web703.mail.yahoo.co.jp>
Message-ID: <20031230.090418.304097228.ishikawa@is.s.u-tokyo.ac.jp>

駒澤さん、

> したのですがmenuconfigの設定が悪いのか再起動した時に
> eth0がfaildになってしまいネットが使えない状態になってし
> まいます。

そもそも、Ethernet deviceが見えなくなっていると言う意味ですよね？
だとすれば、カーネル構築時にEthernet deviceが正しくincludeされていないという
ことになります。
Ethernet device driverがdynamic loadになっているとしたら、
	 /etc/modules.confに正しくエントリが設定されているか確認
と同時に、
	insmod モジュール名
でEthernet device driverがinsmodできるかどうか確認する。

Ethernet deviceを認識していない可能性が大きいかと思います。以前同様の
質問があったと思うんだけど、、、

石川


From llg ＠ shao.ac.cn  Tue Dec 30 22:34:21 2003
From: llg ＠ shao.ac.cn (llg)
Date: Tue, 30 Dec 2003 13:34:21 +0000
Subject: [SCore-users-jp] [SCore-users] help: score server installation failed
Message-ID: <002a01c3ced9$a22625e0$b41d7fca@llg4l01p3o9kpn>

I have installed Score 5.6.1 via CD-Rom but the server setting up is failed. After I finished installation of all the compute hosts using EIT step by step, the "Server Setup" told me "No needs to bininstall -server" and the "Congratulation!" appeared. But there is no /sbin nor other directory in /opt/score. I checked the rc5.d directory, no scoreboard service started.

The /opt directory is as the following:

opt/score   /bin
            /etc
            /lib
            /libexec
            /ndboot
            /setup
            /work
(122M bytes are used in /opt partition and 373M free. Total space for /opt is 521M.) 

Fortunately, the NIS and NFS are correct in my cluster.

When I use "bininstall -server" command by hand, the information is as follows:

Preparing...        ##################################[100%]
installing package score5.6.0-mpich-oldchscore-gnu-5.6.0-4 needs 15Mb on the /opt filesystem
installing package score5.6.0-mpich-oldchscore-intel-5.6.0-4 needs 37Mb on the /opt filesystem
installing package score5.6.0-mpich-oldchscore-intel7-5.6.0-4 needs 57Mb on the /opt filesystem
installing package score5.6.0-mpich-oldchscore-pgi-5.6.0-4 needs 78Mb on the /opt filesystem
installing package score5.6.0-server-5.6.0-2 needs 83Mb on the /opt filesystem
installing package score5.6.0-pbs-server-5.6.0-1 83Mb on the /opt filesystem
installing package Omni-openmp-common-5.6.0-1 needs 88Mb on the /opt filesystem
installing package Omni-openmp-gnu-5.6.0-1 needs 94Mb on the /opt filesystem
installing package j2re-1.4.2-1 needs 156Mb on the /opt filesystem

It seems that "bininstall -server" wants to install all the components, but the space is not enough.

What should I do to install the server properly? 
If I need to re-install Redhat and Score system for the server, how can I avoid re-installing the compute hosts?  In compute hosts, pbs-mom and scouted.exe are started correctly.

(server hardware: Athlon 1G, 512M SDRAM, 120G IDE hard disk, CD-Rom and floppy drive, 3Com 3C905 100M ethernet adaptor)

-------------- next part --------------
HTMLの添付ファイルを保管しました...
URL: <http://new1.pccluster.org/pipermail/score-users-jp/attachments/20031230/d7ba7e57/attachment.html>