From tabata21cm ＠ yahoo.co.jp  Thu Oct  6 16:33:05 2005
From: tabata21cm ＠ yahoo.co.jp (=?ISO-2022-JP?B?GyRCRURIKhsoQiAbJEJLUjtSGyhC?=)
Date: Thu, 6 Oct 2005 16:33:05 +0900 (JST)
Subject: [SCore-users-jp] PM/etherne
	=?iso-2022-jp?b?GyRCI3QlRiU5JUhBbTlnJUYlOSVIJEsbKEI=?=
	=?iso-2022-jp?b?GyRCJEQkJCRGGyhC?=
Message-ID: <20051006073305.97427.qmail@web10810.mail.bbt.yahoo.co.jp>

メーリングリストをいつも参考にさせて頂いております。田畑
と申します。

ただいまPCクラスタを
Score5.6.1
RedHat9
PC:FMV6700T 管理ノード一台　計算ホスト二台
CPU：Pentium? 700MHz (L2-256KB, Coppermine) 
MEM：320MB (PC-133, 256MB+64MB) 
VGA：Canopus SPECTRA3200 
NIC：Pranex GN-1200TC（RTL-8169S) 
このような状態で作成しております。

今回PM/Ethernetテストを実行してみたのですがうまくいきま
せん。
以下は私が行ったテストの手順です。
間違った箇所がありましたら御指摘お願い致します。
------------------------------------------------
[root ＠ server sbin]#./rpmtest node2 ethernet -reply
を一つ目のターミナルエミュレータで実行します。

ここでは何も表示されません。

[root ＠ server sbin]#./rpmtest node1 ethernet -dest 1 -ping
を二つ目のターミナルエミュレータで実行します。
すると
pmOpenDevice: Device or resource busy(16)
このような結果が返ってきてしまいます。

このテストを行う前にすべての計算ホストで
[root ＠ node1 root]# /etc/rc.d/init.d/pm_ethernet start
のコマンドを実行。
Starting PM/Ethernet:device:eth0
 etherpmctl:ERROR on unit 0:"Device or resource busy (16)"
Check dmesg log!!
このような結果が返されました。

check dmesg logに従い下記のコマンドを実行。
[root ＠ node1 root]#dmesg | grep PM
PM memory support
PM/Ethernet: "$Id:pm_Ethernet_dev.c,v 1.3 2003/09/22
10:40:55 s-sumi Exp $"
PM/Ethernet:register etherpm device as major(122)
という結果が返されました。
他のスレッドではこの結果でOKということを知り、計算ホスト
の設定は問題ないと思うのですが。

「トラブルシューティングでは
``pmOpenDevice: Device or resource busy'' というメッセー
ジが表示されたなら、ホスト上で他に PM/Ethernet を使って
いるプロセスが存在する。」
このように紹介されているのですが、原因がよくわかりません
。

また総合テストも試してみたのですが下記のような結果が返っ
てくるだけでした。

[root ＠ server deploy]# scout -g padia

SCOUT: Spawning done.

SCOUT: session started.

[root ＠ server deploy]# ./scstest -network ethernet

No such network (ethernet).

[root ＠ server deploy]# No such network (ethernet).


関係ないと思うのですが、このテストのやり方をあまり知らな
かった時分、
サーバーホストで
/etc/rc.d/init.d/pm_ethernet start
のコマンドを実行した結果、そのようなファイルやディレクト
リはありませんというエラーに対し
pm_ethernetを/etc/rc.d/init.d/に入れたり
/sbinにetherpmtcl.exeを入れたり
/sbinにetherpmtclを入れたりと余計なファイルを入れたりし
ていました。
もちろん今は消していますが、思い当たる事といったらこれく
らいしかないので一応御知らせします。

まだ勉強不足なところが多々あり原因がよくわかりません。誰
かご存知の方がいらっしゃいましたら御指導願いたく思います
。最後に長文になってしまって大変申し訳ありません。
宜しくお願いします。


From kameyama ＠ pccluster.org  Fri Oct  7 09:54:15 2005
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Fri, 07 Oct 2005 09:54:15 +0900
Subject: [SCore-users-jp] PM/etherne =?ISO-2022-JP?B?GyRCI3QlRiU5GyhC?=
	=?ISO-2022-JP?B?GyRCJUhBbTlnJUYlOSVIJEskRCQkJEYbKEI=?=
In-Reply-To: Your message of "Thu, 06 Oct 2005 16:33:05 JST."
	<20051006073305.97427.qmail@web10810.mail.bbt.yahoo.co.jp>
Message-ID: <20051007005415.9738721EF54@neal.il.is.s.u-tokyo.ac.jp>

????????.

In article <20051006073305.97427.qmail ＠ web10810.mail.bbt.yahoo.co.jp> ???? ???? <tabata21cm ＠ yahoo.co.jp> wrotes:
> check dmesg log????????????????????????????
> [root ＠ node1 root]#dmesg | grep PM
> PM memory support
> PM/Ethernet: "$Id:pm_Ethernet_dev.c,v 1.3 2003/09/22
> 10:40:55 s-sumi Exp $"
> PM/Ethernet:register etherpm device as major(122)
> ??????????????????????????
> ??????????????????????????OK????????????????????????????
> ????????????????????????????????

??????????.
    dmesg | grep -i PM
????????????????????.
    etherpm0: 16 contexts using 4096KB MEM, maxunit=4, maxnodes=512, mtu=1468, eth0.
    etherpm0: Interrupt Reaping on eth0, irq 17
????????????????????????????...
????, /etc/rc.d/init.d/pm_ethernet  ????????????????
    /proc/pm/ethernet/0/info
??????????????????????????????????.

> ????????????????????????????
> ``pmOpenDevice: Device or resource busy'' ??????????????
> ?????????????????????????????????? PM/Ethernet ????????
> ??????????????????????????
> ??????????????????????????????????????????????????????????

compute host ??
    ps axwww
??????????????????????.
???? pmtest ???? scstest ????????????????????.

????????????????????, ???????? PM_DEBUG ?? 1 ??????????????????????????.
??????????????????????????????????????????.

> ????????????????????????????????????????????????????????
> ??????????????????
> 
> [root ＠ server deploy]# scout -g padia
> 
> SCOUT: Spawning done.
> 
> SCOUT: session started.
> 
> [root ＠ server deploy]# ./scstest -network ethernet
> 
> No such network (ethernet).
> 
> [root ＠ server deploy]# No such network (ethernet).

scout ???????????????????? SCDBSERV ??????????????????????????.
(.cshrc, .bashrc ????????????????????, ????????????????????????????????????.)
????????????, scorehosts.db ??????????????????.
?????? host ?? network ??????????????????????????????????.
????????,
    ethernet type=ethernet -config:file=/opt/score/etc/pm-ethernet.conf
    node0.example.com msgbserv=server.example.com cpugen=pentiumIII speed=700 smp=0 group=padia
    node1.example.com msgbserv=server.example.com cpugen=pentiumIII speed=700 smp=0 group=padia
???????????????????? node0 ?? ethernet ??????????????????????????????.
    ethernet type=ethernet -config:file=/opt/score/etc/pm-ethernet.conf
    node0.example.com msgbserv=server.example.com cpugen=pentiumIII speed=700 smp=0 group=padia  network=ethernet
    node1.example.com msgbserv=server.example.com cpugen=pentiumIII speed=700 smp=0 group=padia  network=ethernet
???????? network ????????????????????????.

                       from Kameyama Toyohisa


From hnsyljiajia ＠ hotmail.com  Tue Oct 11 21:13:08 2005
From: hnsyljiajia ＠ hotmail.com (li jia)
Date: Tue, 11 Oct 2005 20:13:08 +0800
Subject: [SCore-users-jp] [SCore-users] ask some questions about PM
Message-ID: <BAY112-F20929C0B22E5FA9B25332EAF780@phx.gbl>

Hello! May I ask some questions about PM?
I commence learning PM now, but there isn't enough reference about it in 
www.pccluster.org. How and where can I get more information about PM. Now I 
am puzzled about the structure of PM. Does it have the link level, 
transport level, Network level and application level such as TCP/IP? 
Thank you very much!

                                                      yours sincerely

_________________________________________________________________
免?下? MSN Explorer:   http://explorer.msn.com/lccn/  

_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Wed Oct 12 09:48:41 2005
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 12 Oct 2005 09:48:41 +0900
Subject: [SCore-users-jp] Re: [SCore-users] ask some questions about PM
In-Reply-To: Your message of "Tue, 11 Oct 2005 20:13:08 JST."
	<BAY112-F20929C0B22E5FA9B25332EAF780@phx.gbl>
Message-ID: <20051012004841.1B79F21EF54@neal.il.is.s.u-tokyo.ac.jp>

In article <BAY112-F20929C0B22E5FA9B25332EAF780 ＠ phx.gbl> "li jia" <hnsyljiajia ＠ hotmail.com> wrotes:
> I commence learning PM now, but there isn't enough reference about it in 
> www.pccluster.org. How and where can I get more information about PM. Now I 
> am puzzled about the structure of PM. Does it have the link level, 
> transport level, Network level and application level such as TCP/IP? 
> Thank you very much!

PM is a low level communication library for cluster computing.
PM dose not have any layer such as TCP/IP.

PM documents are following URL:
    http://www.pccluster.org/score/dist/score/html/en/reference/pm/index.html

And the PM sample program on the SCore is following:
    http://www.pccluster.org/event/symp/2004/pm-sample.c

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kkliang ＠ ntu.edu.tw  Thu Oct 13 01:06:46 2005
From: kkliang ＠ ntu.edu.tw (=?iso-2022-jp?b?a2tsaWFuZyAbJEIhdxsoQiBudHUuZWR1LnR3?=)
Date: Thu, 13 Oct 2005 00:06:46 +0800
Subject: [SCore-users-jp] [SCore-users] (no subject)
Message-ID: <20051013000646.164af9fas88w0oco@wmail9.cc.ntu.edu.tw>

Hello,

In the installation guide of the documentation, it is said that I have to
download linux kernel 2.4.21 source if I am going to install Score from 
source.
However, I have Scientific Linux 4.1 x86_64 installed on all of my machines,
and the kernel version is 2.6.9-11.
In that case, what should I do?

Thanks for the replies.

Best regards,
Kuo Kan LIANG


_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From kameyama ＠ pccluster.org  Thu Oct 13 08:59:11 2005
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Thu, 13 Oct 2005 08:59:11 +0900
Subject: [SCore-users-jp] Re: [SCore-users] (no subject)
In-Reply-To: Your message of "Thu, 13 Oct 2005 00:06:46 JST."
	<20051013000646.164af9fas88w0oco@wmail9.cc.ntu.edu.tw>
Message-ID: <20051012235911.24F6121EF54@neal.il.is.s.u-tokyo.ac.jp>

In article <20051013000646.164af9fas88w0oco ＠ wmail9.cc.ntu.edu.tw> kkliang ＠ ntu.edu.tw wrotes:
> In the installation guide of the documentation, it is said that I have to
> download linux kernel 2.4.21 source if I am going to install Score from 
> source.
> However, I have Scientific Linux 4.1 x86_64 installed on all of my machines,
> and the kernel version is 2.6.9-11.
> In that case, what should I do?

Sorry.
SCore 5.8.2 is supported only 2.4 kernel.
We don't release SCore for 2.6 kernel yet.

                       from Kameyama Toyohisa
_______________________________________________
SCore-users mailing list
SCore-users ＠ pccluster.org
http://www.pccluster.org/mailman/listinfo/score-users


From haddock_33 ＠ yahoo.co.jp  Wed Oct 26 17:37:40 2005
From: haddock_33 ＠ yahoo.co.jp (had doc)
Date: Wed, 26 Oct 2005 17:37:40 +0900 (JST)
Subject: [SCore-users-jp] =?iso-2022-jp?b?GyRCRjA6bhsoQg==?= OK?
Message-ID: <20051026083740.8391.qmail@web2104.mail.yahoo.co.jp>

みなさんこんばんは 

現在、Score5.8.2 + IBM xSeries 366(CPU: Xeon MP 64bit x 2,
Memory : 16GB)
の導入を考えているが、以下のことについてアドバイスをいた
だければと思います。

  1、Score5.8.2では上記CPUに対応しているのでしょうか(あ
るいは対応できそう?)
     Xeon MP 32bit x 2ではどうでしょうか。

  2、Redhat AS 2.1 or 3 or 4の場合では動作実績があるので
しょうか?
     Fedora coreではなく商用redhat asを使用する際には、
気をつけるべき
     ことがあれば教えてください。

      よろしくお願いいたします。


                                              haddock

--------------------------------------
Know more about Breast Cancer
http://pr.mail.yahoo.co.jp/pinkribbon/



From kameyama ＠ pccluster.org  Wed Oct 26 18:23:43 2005
From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=)
Date: Wed, 26 Oct 2005 18:23:43 +0900
Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCRjA6bhsoQg==?= OK?
In-Reply-To: Your message of "Wed, 26 Oct 2005 17:37:40 JST."
	<20051026083740.8391.qmail@web2104.mail.yahoo.co.jp>
Message-ID: <20051026092343.8BD1C21EF54@neal.il.is.s.u-tokyo.ac.jp>

亀山です.

In article <20051026083740.8391.qmail ＠ web2104.mail.yahoo.co.jp> had doc <haddock_33 ＠ yahoo.co.jp> wrotes:
> 現在、Score5.8.2 + IBM xSeries 366(CPU: Xeon MP 64bit x 2,
> Memory : 16GB)
> の導入を考えているが、以下のことについてアドバイスをいた
> だければと思います。
> 
>   1、Score5.8.2では上記CPUに対応しているのでしょうか(あ
> るいは対応できそう?)
>      Xeon MP 32bit x 2ではどうでしょうか。

Fedora 自体が install できれば動くとは思います.
ただ.  特に zerocopy に関しては 4 GB 以上の物理 memory だとうまく
動かないかもしれません.

この計算機は chipset がかなり特殊なようなので,
構成によってはすべての CPU を認識しない可能性があるようです.
(2 CPU の場合は問題ないかも知れませんけど...)
    http://www-6.ibm.com/jp/domino04/pc/support/Sylphd07.nsf/jtechinfo/SYJ0-0249D0D
kernel 2.6.11 の i386 はそのための code が入っているようですが,
SCore 5.8.2 は 2.4 のみの対応ですし...

>   2、Redhat AS 2.1 or 3 or 4の場合では動作実績があるので
> しょうか?

RHEL3 はコンソーシアムの企業で動かしているところはありますが...
多分, userland (コマンド, ライブラリなど) は比較的楽に make
できると思います.

問題は kernel ですが, http://www.kernel.org/ などから original を
とって来て SCore patch をあてたものを使えれば良いのですが,
上記の問題があると, distribution の kernel に SCore patch
をあてる必要があるかと思います.
その場合はかなり大変なことになるかも知れません.

                       from Kameyama Toyohisa


From naoya.maruyama ＠ is.titech.ac.jp  Fri Oct 28 17:58:19 2005
From: naoya.maruyama ＠ is.titech.ac.jp (Naoya Maruyama)
Date: Fri, 28 Oct 2005 17:58:19 +0900 (JST)
Subject: [SCore-users-jp] scored =?iso-2022-jp?b?GyRCJE4lLyVpJUMlNyVlGyhC?=
Message-ID: <20051028.175819.75029879.naoya.maruyama@is.titech.ac.jp>

東京工業大学松岡研究室の丸山と申します。

当方の環境で発生するscoredのクラッシュについて質問させて頂きます。ご回答頂ける
と幸いです。

以下の環境でSCore v5.4をマルチユーザモードで使用しております。

CPU: PentiumIII 1.4GHz
OS: Redhat7.2
Kernel: 2.4.19 with SCore patch
Network: Myrinet2K, Ethernet

この環境でsc_watch経由でscoredを稼働させているのですが、以下に述べるような
scoredのクラッシュが発生します。sc_watchのタイムアウトはデフォルトの10分のまま
です。

1. "Network freezing timeout"
一部の計算ノードのscoredから上記のメッセージが出され、その後sc_watchによるモニ
タリングがタイムアウトし、システム全体が再起動されます。また、このメッセージを
出すノードは毎回一定ではありません。　

ソースコードを見てみますと、同メッセージは
score-src/SCore/scored/scored/scorepm.cc の freeze_sending() 関数より出力された
ものと思います。この関数内で pm_is_stable() 関数を最内ループで繰り返し呼んでい
ますが、10M回呼んでもリンクが "stable" にならなかったため、SCORE_PANIC関数が呼
ばれ、同メッセージが出力されたものと思います。

この関数について、まず確認したいのですが、これはリンクの送信バッファに未処理パ
ケットが残っていないことを確認するものという理解でだいたい正しいでしょうか？　

また、SCore v5.8.2の該当部分を見てみますと、SCORE_PANIC()関数を呼ぶま
での閾値が1万へ変更されていること、1000回以降はループボディの最後に
usleep(100) としていること、の違いがあります。この変更について、変更し
た理由と当方の環境でのクラッシュがこの変更によって解決しそうかどうか、
教えていただないでしょうか？また、そもそもなぜリンクが "stable" 状態に
ならないことついてどのような理由が考えられますでしょうか？

2. scbcastへの送信エラー
sc_watchがタイムアウトを検出してシステム全体がシャットダウンされた後、再起動を
試みて以下のログを残して失敗しました。

sc_watch: <125> SCore-D:WARNING Failed to connect to sysmon server
(n001.example.jp:9904).

ここでいう sysmon server というのは scbcast のことだと思うのですが、scbcast と
sc_watch は同一ノード (n001) で動いており、sc_watch は通常通り稼働していまし
たので、少なくともノードn001自身がダウンしていたわけではないと思います。おそら
く何らかの理由でn001上のscbcastがダウンしていたか、n001へのTCP/IPリンクに問題が
あったかだと思います。

さらに、最初のシステムシャットダウンがそもそもなぜ起きたか調べてみますと、計算
ノード中の最後尾にあるノードにおいて、以下の関数呼び出しが行われ、最後の write
システムコールでブロックしたままになっていることがわかりました。

output_job_status() -> write_sysmon() -> score_write_short() -> write()
（途中の関数が一部抜けているかもしれません）

そのため、sc_watchのモニタリングに応答できず、タイムアウトが発生したものと思わ
れます。この一連の事象について以下の質問に答えて頂けると幸いです。

まず、上記の解析は正しいでしょうか？

また、正しいとすると、scbcastへのwriteについてタイムアウトなどを設けず、ブロッ
クさせてしまう理由は何かありますでしょうか？ scbcast そのものは scored とは別プ
ロセスとして分離されているにも関わらず、scbcastがダウンした際にscoredまでダウン
させてしまうのはなぜでしょうか？

以上、ご回答頂けると幸いです。よろしくお願いします。

丸山直也
東京工業大学数理計算科学専攻松岡研究室


From hori ＠ allinea.com  Fri Oct 28 18:33:58 2005
From: hori ＠ allinea.com (Atsushi HORI)
Date: Fri, 28 Oct 2005 18:33:58 +0900
Subject: =?ISO-2022-JP?B?UmU6IFtTQ29yZS11c2Vycy1qcF0gc2NvcmVkIBskQiROGyhC?=
	=?ISO-2022-JP?B?GyRCJS8laSVDJTclZRsoQg==?=
In-Reply-To: <20051028.175819.75029879.naoya.maruyama@is.titech.ac.jp>
References: <20051028.175819.75029879.naoya.maruyama@is.titech.ac.jp>
Message-ID: <41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>

堀@Allinea Software です。

On 2005/10/28, at 17:58, Naoya Maruyama wrote:

> 1. "Network freezing timeout"
> 一部の計算ノードのscoredから上記のメッセージが出され、そ 
> の後sc_watchによるモニ
> タリングがタイムアウトし、システム全体が再起動されます。また、 
> このメッセージを
> 出すノードは毎回一定ではありません。　
>
> ソースコードを見てみますと、同メッセージは
> score-src/SCore/scored/scored/scorepm.cc の freeze_sending 
> () 関数より出力された
> ものと思います。この関数内で pm_is_stable() 関数を最内 
> ループで繰り返し呼んでい
> ますが、10M回呼んでもリンクが "stable" にならな 
> かったため、SCORE_PANIC関数が呼
> ばれ、同メッセージが出力されたものと思います。

その通りです。

> この関数について、まず確認したいのですが、これはリンクの送信 
> バッファに未処理パ
> ケットが残っていないことを確認するものという理解でだいたい正し 
> いでしょうか？　

「未処理」の定義が不明ですが、だいたいはそんな感じです。

> また、SCore v5.8.2の該当部分を見てみますと、SCORE_PANIC 
> ()関数を呼ぶま
> での閾値が1万へ変更されていること、1000回以降は 
> ループボディの最後に
> usleep(100) としていること、の違いがあります。この変更につい 
> て、変更し
> た理由と当方の環境でのクラッシュがこの変更によって解決しそうか 
> どうか、
> 教えていただないでしょうか？また、そもそもなぜリンクが  
> "stable" 状態に
> ならないことついてどのような理由が考えられますでしょうか？

usleep() を入れたのは、最近の CPU が高速になり、ループだけ 
では不十分な場合があったためです。PentiumIII 1.4GHz だとま 
ず大丈夫だと思います。

もし、PM/Ethernet をお使いでしたら、上記の現象は PM/ 
Ethernet のバグとして（私の記憶違いがなければ）すでに認識および 
対応が施されており、次のリリースでは修正されております。

> 2. scbcastへの送信エラー
> sc_watchがタイムアウトを検出してシステム全体がシャットダウンさ 
> れた後、再起動を
> 試みて以下のログを残して失敗しました。
>
> sc_watch: <125> SCore-D:WARNING Failed to connect to sysmon server
> (n001.example.jp:9904).
>
> ここでいう sysmon server というのは scbcast のこと 
> だと思うのですが、scbcast と
> sc_watch は同一ノード (n001) で動いており、 
> sc_watch は通常通り稼働していまし
> たので、少なくともノードn001自身がダウンしていたわけでは 
> ないと思います。おそら
> く何らかの理由でn001上のscbcastがダウンしていたか、 
> n001へのTCP/IPリンクに問題が
> あったかだと思います。
>
> さらに、最初のシステムシャットダウンがそもそもなぜ起きたか調べ 
> てみますと、計算
> ノード中の最後尾にあるノードにおいて、以下の関数呼び出しが行わ 
> れ、最後の write
> システムコールでブロックしたままになっていることがわかりました。
>
> output_job_status() -> write_sysmon() -> score_write_short() ->  
> write()
> （途中の関数が一部抜けているかもしれません）
>
> そのため、sc_watchのモニタリングに応答できず、タイムアウ 
> トが発生したものと思わ
> れます。この一連の事象について以下の質問に答えて頂けると幸いで 
> す。
>
> まず、上記の解析は正しいでしょうか？

sc_watch がタイムアウトを検出するまでは正しいですが、なぜタイム 
アウトが発生したかは様々な可能性が考えられます。

が、もし、write_sysmon() で本当にブロックしているとした 
ら、これは明らかに SCore-D のバグです。SCore-D から 
の write() はいかなる状況でもブロックしてはいけませんし、 
本当に長時間ブロックすると sc_watch のタイムアウトが発生す 
るのは当然です。今すぐには確認できませんが、機会があって、バグを 
確認できれば修正することをお約束します。

もしかすると scbcast のバグのせいかも知れません。だれかが  
sctop の出力を ^S などで止めてしまうとこのような状態に陥る 
可能性があるかもしれません。

> また、正しいとすると、scbcastへのwriteについてタイ 
> ムアウトなどを設けず、ブロッ
> クさせてしまう理由は何かありますでしょうか？ scbcast そ 
> のものは scored とは別プ
> ロセスとして分離されているにも関わらず、scbcastがダウン 
> した際にscoredまでダウン
> させてしまうのはなぜでしょうか？

write() のタイムアウト実装は面倒なので。本来ならば  
NONBLOCK になっているべきなんですが。



From naoya.maruyama ＠ is.titech.ac.jp  Fri Oct 28 19:59:50 2005
From: naoya.maruyama ＠ is.titech.ac.jp (Naoya Maruyama)
Date: Fri, 28 Oct 2005 19:59:50 +0900 (JST)
Subject: [SCore-users-jp] scored =?iso-2022-jp?B?GyRCJE4lLyVpJUMlNyVlGyhC?=
In-Reply-To: <41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
References: <20051028.175819.75029879.naoya.maruyama@is.titech.ac.jp>
	<41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
Message-ID: <20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>

Atsushi HORI <hori ＠ allinea.com> wrote:
> > また、SCore v5.8.2の該当部分を見てみますと、SCORE_PANIC 
> > ()関数を呼ぶま
> > での閾値が1万へ変更されていること、1000回以降は 
> > ループボディの最後に
> > usleep(100) としていること、の違いがあります。この変更につい 
> > て、変更し
> > た理由と当方の環境でのクラッシュがこの変更によって解決しそうか 
> > どうか、
> > 教えていただないでしょうか？また、そもそもなぜリンクが  
> > "stable" 状態に
> > ならないことついてどのような理由が考えられますでしょうか？
> 
> usleep() を入れたのは、最近の CPU が高速になり、ループだけ 
> では不十分な場合があったためです。PentiumIII 1.4GHz だとま 
> ず大丈夫だと思います。

当方の環境でもこの現象が頻繁に確認されるわけではないのですが、感覚的に
は1月に1回程度は起きてしまっております。

> 
> もし、PM/Ethernet をお使いでしたら、上記の現象は PM/ 
> Ethernet のバグとして（私の記憶違いがなければ）すでに認識および 
> 対応が施されており、次のリリースでは修正されております。

クラッシュ前のscoredの関数トレースを取ってみましたところ、
myri2kIsSendStable()が繰り返し呼ばれていることを確認しました。ですので、
PM/EthernetではなくPM/Myrinetの話ではないかと思います。

> 
> > 2. scbcastへの送信エラー
> > sc_watchがタイムアウトを検出してシステム全体がシャットダウンさ 
> > れた後、再起動を
> > 試みて以下のログを残して失敗しました。
> >
> > sc_watch: <125> SCore-D:WARNING Failed to connect to sysmon server
> > (n001.example.jp:9904).
> >
> > ここでいう sysmon server というのは scbcast のこと 
> > だと思うのですが、scbcast と
> > sc_watch は同一ノード (n001) で動いており、 
> > sc_watch は通常通り稼働していまし
> > たので、少なくともノードn001自身がダウンしていたわけでは 
> > ないと思います。おそら
> > く何らかの理由でn001上のscbcastがダウンしていたか、 
> > n001へのTCP/IPリンクに問題が
> > あったかだと思います。
> >
> > さらに、最初のシステムシャットダウンがそもそもなぜ起きたか調べ 
> > てみますと、計算
> > ノード中の最後尾にあるノードにおいて、以下の関数呼び出しが行わ 
> > れ、最後の write
> > システムコールでブロックしたままになっていることがわかりました。
> >
> > output_job_status() -> write_sysmon() -> score_write_short() ->  
> > write()
> > （途中の関数が一部抜けているかもしれません）
> >
> > そのため、sc_watchのモニタリングに応答できず、タイムアウ 
> > トが発生したものと思わ
> > れます。この一連の事象について以下の質問に答えて頂けると幸いで 
> > す。
> >
> > まず、上記の解析は正しいでしょうか？
> 
> sc_watch がタイムアウトを検出するまでは正しいですが、なぜタイム 
> アウトが発生したかは様々な可能性が考えられます。
> 
> が、もし、write_sysmon() で本当にブロックしているとした 
> ら、これは明らかに SCore-D のバグです。SCore-D から 
> の write() はいかなる状況でもブロックしてはいけませんし、 
> 本当に長時間ブロックすると sc_watch のタイムアウトが発生す 
> るのは当然です。今すぐには確認できませんが、機会があって、バグを 
> 確認できれば修正することをお約束します。

失礼しました。もう一度確認しましたところ、write()システムコールでブロッ
クしているわけではなく、score_write()のループにはいったままsc_watchの
タイムアウトがかかったようです。こちらも関数トレースをとって確認したの
ですが、以下のscore_write()がwrite()呼び出しが成功せず、ループでスピン
していた模様です。 

int score_write( int fd, char *buf, int length ) {
  int st;

  do {
    errno = 0;
    st = write( fd, buf, length );
  } while( errno == EINTR );
  return( st );
}

このループの実行中に他のスレッドに処理が移ることはなく、sc_watchの
patrol()にも反応できなくなっていたと思われます。

また、以上の関数トレースはMPICHのJumpshotで表示できるフォーマットでとっ
てあります。もし参考になるようでしたら、仰っていただければお見せするこ
ともできます。

よろしくお願いします。

丸山直也
東京工業大学数理計算科学専攻松岡研究室


From hori ＠ allinea.com  Fri Oct 28 20:12:24 2005
From: hori ＠ allinea.com (Atsushi HORI)
Date: Fri, 28 Oct 2005 20:12:24 +0900
Subject: =?ISO-2022-JP?B?UmU6IFtTQ29yZS11c2Vycy1qcF0gc2NvcmVkIBskQiROGyhC?=
	=?ISO-2022-JP?B?GyRCJS8laSVDJTclZRsoQg==?=
In-Reply-To: <20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
References: <20051028.175819.75029879.naoya.maruyama@is.titech.ac.jp>
	<41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
	<20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
Message-ID: <7ABCAF5E-ECE4-4B3D-B29D-724DFE92E23F@allinea.com>


On 2005/10/28, at 19:59, Naoya Maruyama wrote:

> Atsushi HORI <hori ＠ allinea.com> wrote:
>> usleep() を入れたのは、最近の CPU が高速になり、ループ 
>> だけ
>> では不十分な場合があったためです。PentiumIII 1.4GHz だ 
>> とま
>> ず大丈夫だと思います。
>>
>
> 当方の環境でもこの現象が頻繁に確認されるわけではないのですが、 
> 感覚的に
> は1月に1回程度は起きてしまっております。
>
>
>>
>> もし、PM/Ethernet をお使いでしたら、上記の現象は PM/
>> Ethernet のバグとして（私の記憶違いがなければ）すでに認識および
>> 対応が施されており、次のリリースでは修正されております。
>>
>
> クラッシュ前のscoredの関数トレースを取ってみましたところ、
> myri2kIsSendStable()が繰り返し呼ばれていることを確認しました。 
> ですので、
> PM/EthernetではなくPM/Myrinetの話ではないかと思います。

いずれにせよ現在次版の 5.8.3 リリース直前ということもあ 
り、バグ修正は間に合わない状況です。

お急ぎでしたら、usleep() を適当に入れてみてください。

>> が、もし、write_sysmon() で本当にブロックしているとした
>> ら、これは明らかに SCore-D のバグです。SCore-D から
>> の write() はいかなる状況でもブロックしてはいけませんし、
>> 本当に長時間ブロックすると sc_watch のタイムアウトが発 
>> 生す
>> るのは当然です。今すぐには確認できませんが、機会があって、バ 
>> グを
>> 確認できれば修正することをお約束します。
>>
>
> 失礼しました。もう一度確認しましたところ、write()システ 
> ムコールでブロッ
> クしているわけではなく、score_write()のループにはいった 
> ままsc_watchの
> タイムアウトがかかったようです。こちらも関数トレースをとって確 
> 認したの
> ですが、以下のscore_write()がwrite()呼び出しが成功 
> せず、ループでスピン
> していた模様です。

先のメールを書いた後に思い出しました。sysmon のコードはさ 
ぼっていて出力のための fd を NONBLOCK にしていませ 
ん。これは明らかにバグなので、修正したいと思います。もし運用上困 
るというのであれば、ご不便でも sctop の利用を中止していた 
だくしか方法はありません。



From naoya.maruyama ＠ is.titech.ac.jp  Fri Oct 28 20:21:15 2005
From: naoya.maruyama ＠ is.titech.ac.jp (Naoya Maruyama)
Date: Fri, 28 Oct 2005 20:21:15 +0900 (JST)
Subject: [SCore-users-jp] scored =?iso-2022-jp?B?GyRCJE4lLyVpJUMlNyVlGyhC?=
In-Reply-To: <7ABCAF5E-ECE4-4B3D-B29D-724DFE92E23F@allinea.com>
References: <41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
	<20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
	<7ABCAF5E-ECE4-4B3D-B29D-724DFE92E23F@allinea.com>
Message-ID: <20051028.202115.97891288.naoya.maruyama@is.titech.ac.jp>

Atsushi HORI <hori ＠ allinea.com> wrote:
> 
> On 2005/10/28, at 19:59, Naoya Maruyama wrote:
> 
> > Atsushi HORI <hori ＠ allinea.com> wrote:
> >> usleep() を入れたのは、最近の CPU が高速になり、ループ 
> >> だけ
> >> では不十分な場合があったためです。PentiumIII 1.4GHz だ 
> >> とま
> >> ず大丈夫だと思います。
> >>
> >
> > 当方の環境でもこの現象が頻繁に確認されるわけではないのですが、 
> > 感覚的に
> > は1月に1回程度は起きてしまっております。
> >
> >
> >>
> >> もし、PM/Ethernet をお使いでしたら、上記の現象は PM/
> >> Ethernet のバグとして（私の記憶違いがなければ）すでに認識および
> >> 対応が施されており、次のリリースでは修正されております。
> >>
> >
> > クラッシュ前のscoredの関数トレースを取ってみましたところ、
> > myri2kIsSendStable()が繰り返し呼ばれていることを確認しました。 
> > ですので、
> > PM/EthernetではなくPM/Myrinetの話ではないかと思います。
> 
> いずれにせよ現在次版の 5.8.3 リリース直前ということもあ 
> り、バグ修正は間に合わない状況です。
> 
> お急ぎでしたら、usleep() を適当に入れてみてください。

了解しました。

> 
> >> が、もし、write_sysmon() で本当にブロックしているとした
> >> ら、これは明らかに SCore-D のバグです。SCore-D から
> >> の write() はいかなる状況でもブロックしてはいけませんし、
> >> 本当に長時間ブロックすると sc_watch のタイムアウトが発 
> >> 生す
> >> るのは当然です。今すぐには確認できませんが、機会があって、バ 
> >> グを
> >> 確認できれば修正することをお約束します。
> >>
> >
> > 失礼しました。もう一度確認しましたところ、write()システ 
> > ムコールでブロッ
> > クしているわけではなく、score_write()のループにはいった 
> > ままsc_watchの
> > タイムアウトがかかったようです。こちらも関数トレースをとって確 
> > 認したの
> > ですが、以下のscore_write()がwrite()呼び出しが成功 
> > せず、ループでスピン
> > していた模様です。
> 
> 先のメールを書いた後に思い出しました。sysmon のコードはさ 
> ぼっていて出力のための fd を NONBLOCK にしていませ 
> ん。これは明らかにバグなので、修正したいと思います。もし運用上困 
> るというのであれば、ご不便でも sctop の利用を中止していた 
> だくしか方法はありません。
>

こちらも回答ありがとうございます。一つ確認したいのですが、NONBLOCKなら
ば、write()に失敗したときに他のスレッドにスケジュールが 移ることができ
る、ということでしょうか？

よろしくお願いします。

丸山直也
東京工業大学数理計算科学専攻松岡研究室




From hori ＠ allinea.com  Fri Oct 28 20:56:05 2005
From: hori ＠ allinea.com (Atsushi HORI)
Date: Fri, 28 Oct 2005 20:56:05 +0900
Subject: =?ISO-2022-JP?B?UmU6IFtTQ29yZS11c2Vycy1qcF0gc2NvcmVkIBskQiROGyhC?=
	=?ISO-2022-JP?B?GyRCJS8laSVDJTclZRsoQg==?=
In-Reply-To: <20051028.202115.97891288.naoya.maruyama@is.titech.ac.jp>
References: <41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
	<20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
	<7ABCAF5E-ECE4-4B3D-B29D-724DFE92E23F@allinea.com>
	<20051028.202115.97891288.naoya.maruyama@is.titech.ac.jp>
Message-ID: <F538877D-F73E-4F68-9D44-C03DED7A5AE4@allinea.com>


On 2005/10/28, at 20:21, Naoya Maruyama wrote:

> こちらも回答ありがとうございます。一つ確認したいのですが、 
> NONBLOCKなら
> ば、write()に失敗したときに他のスレッドにスケジュール 
> が 移ることができ
> る、ということでしょうか？

自動でそうはなりません。そうなるようにプログラムする必要がありま 
す。



From a-hasegawa ＠ pb.jp.nec.com  Sat Oct 29 21:46:27 2005
From: a-hasegawa ＠ pb.jp.nec.com (=?iso-2022-jp?b?YS1oYXNlZ2F3YSAbJEIhdxsoQiBwYi5qcC5uZWMuY29t?=)
Date: Sat, 29 Oct 2005 21:46:27 +0900
Subject: [SCore-users-jp] scored =?ISO-2022-JP?B?GyRCJE4lLyVpJUMlNxsoQg==?=
	=?ISO-2022-JP?B?GyRCJWUbKEI=?=
In-Reply-To: <20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
References: <20051028.175819.75029879.naoya.maruyama@is.titech.ac.jp>	<41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
	<20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
Message-ID: <43636F23.9000503@pb.jp.nec.com>


長谷川＠NEC情報システムズです。


> クラッシュ前のscoredの関数トレースを取ってみましたところ、
> myri2kIsSendStable()が繰り返し呼ばれていることを確認しました。ですので、
> PM/EthernetではなくPM/Myrinetの話ではないかと思います。

SCore-5.4.0 + Myrinet2000で同様の現象を調査した事がありますが、その時
は、MyrinetのFirmware側で、延々と再送が繰り返されていて(特定のノード間で
MyrinetのLEDが点滅しっぱなし)、通信が終了しないという状況でした。
結局、こちらのケースでは、firmwareのみSCore-5.2.0のfirmwareに戻す事で、
現象が出なくなりました。


---
長谷川 篤史  E-Mail:a-hasegawa ＠ pb.jp.nec.com
株式会社NEC情報システムズ
ＩＴ基盤事業部 ハイエンドコンピューティンググループ
外線:044-812-8408(Fax.044-812-8422) / 内線:8-339-6205(Fax.8-339-4490)


From naoya.maruyama ＠ is.titech.ac.jp  Fri Oct 28 22:48:34 2005
From: naoya.maruyama ＠ is.titech.ac.jp (Naoya Maruyama)
Date: Fri, 28 Oct 2005 22:48:34 +0900 (JST)
Subject: [SCore-users-jp] scored =?iso-2022-jp?B?GyRCJE4lLyVpJUMlNyVlGyhC?=
In-Reply-To: <F538877D-F73E-4F68-9D44-C03DED7A5AE4@allinea.com>
References: <7ABCAF5E-ECE4-4B3D-B29D-724DFE92E23F@allinea.com>
	<20051028.202115.97891288.naoya.maruyama@is.titech.ac.jp>
	<F538877D-F73E-4F68-9D44-C03DED7A5AE4@allinea.com>
Message-ID: <20051028.224834.57862547.naoya.maruyama@is.titech.ac.jp>

Atsushi HORI <hori ＠ allinea.com> wrote:
> 
> On 2005/10/28, at 20:21, Naoya Maruyama wrote:
> 
> > こちらも回答ありがとうございます。一つ確認したいのですが、 
> > NONBLOCKなら
> > ば、write()に失敗したときに他のスレッドにスケジュール 
> > が 移ることができ
> > る、ということでしょうか？
> 
> 自動でそうはなりません。そうなるようにプログラムする必要がありま 
> す。
> 

ULTの仕組みの理解があいまいなので話が理解できていないのですが、結局今回のバグと
しましては、

1. NONBLOCKなfdを作成しなかった
2. score_write()関数において、他のスレッドにスケジュールが移るようにコーディン
グしなかった

と両方ということでしょうか？

丸山直也
東京工業大学数理計算科学専攻松岡研究室


From hori ＠ allinea.com  Fri Oct 28 23:35:11 2005
From: hori ＠ allinea.com (Atsushi HORI)
Date: Fri, 28 Oct 2005 23:35:11 +0900
Subject: =?ISO-2022-JP?B?UmU6IFtTQ29yZS11c2Vycy1qcF0gc2NvcmVkIBskQiROGyhC?=
	=?ISO-2022-JP?B?GyRCJS8laSVDJTclZRsoQg==?=
In-Reply-To: <20051028.224834.57862547.naoya.maruyama@is.titech.ac.jp>
References: <7ABCAF5E-ECE4-4B3D-B29D-724DFE92E23F@allinea.com>
	<20051028.202115.97891288.naoya.maruyama@is.titech.ac.jp>
	<F538877D-F73E-4F68-9D44-C03DED7A5AE4@allinea.com>
	<20051028.224834.57862547.naoya.maruyama@is.titech.ac.jp>
Message-ID: <CD5E1431-896A-412D-955F-67B3E78D881D@allinea.com>


On 2005/10/28, at 22:48, Naoya Maruyama wrote:

> 1. NONBLOCKなfdを作成しなかった
> 2. score_write()関数において、他のスレッドにスケジュールが移る 
> ようにコーディン
> グしなかった
>
> と両方ということでしょうか？

＃こういう場でそうはっきり言われると…

というか、2 が面倒だったので NONBLOCK にしなかったと 
いうのが本当のところです。

まあ、入れるとしたら score_write() ではなくその上になりま 
す。write(2) が EWOULDBLOCK を返しますので、 
score_write() もそれを返します。2. はそれほど単純ではなく、

他のスレッドから戻って来ても大丈夫なようにしなければいけない（ま 
あ、これは当然なのですが）、
BLOCK した時にタイマー等で適当なタイミングでスレッドを起こさない 
といけない、
そうするとシャットダウン時にタイマーで寝ているスレッド（もしあれ 
ば）を起こして、
ちゃんと終了させなければならない、等々、結構面倒なのです。

＃sysmon 以外の所はちゃんとやっているんですけどね。ついつ 
い。

まあ一番簡単には EWOULDBLOCK を返したらその fd をク 
ローズしてしまうという手もないことはないのですが。



From naoya.maruyama ＠ is.titech.ac.jp  Mon Oct 31 08:14:22 2005
From: naoya.maruyama ＠ is.titech.ac.jp (Naoya Maruyama)
Date: Mon, 31 Oct 2005 08:14:22 +0900 (JST)
Subject: [SCore-users-jp] scored =?iso-2022-jp?B?GyRCJE4lLyVpJUMlNyVlGyhC?=
In-Reply-To: <CD5E1431-896A-412D-955F-67B3E78D881D@allinea.com>
References: <F538877D-F73E-4F68-9D44-C03DED7A5AE4@allinea.com>
	<20051028.224834.57862547.naoya.maruyama@is.titech.ac.jp>
	<CD5E1431-896A-412D-955F-67B3E78D881D@allinea.com>
Message-ID: <20051031.081422.28231037.naoya.maruyama@is.titech.ac.jp>

Atsushi HORI <hori ＠ allinea.com> wrote:
> 
> On 2005/10/28, at 22:48, Naoya Maruyama wrote:
> 
> > 1. NONBLOCKなfdを作成しなかった
> > 2. score_write()関数において、他のスレッドにスケジュールが移る 
> > ようにコーディン
> > グしなかった
> >
> > と両方ということでしょうか？
> 
> ＃こういう場でそうはっきり言われると…
> 
> というか、2 が面倒だったので NONBLOCK にしなかったと 
> いうのが本当のところです。
> 
> まあ、入れるとしたら score_write() ではなくその上になりま 
> す。write(2) が EWOULDBLOCK を返しますので、 
> score_write() もそれを返します。2. はそれほど単純ではなく、
> 
> 他のスレッドから戻って来ても大丈夫なようにしなければいけない（ま 
> あ、これは当然なのですが）、
> BLOCK した時にタイマー等で適当なタイミングでスレッドを起こさない 
> といけない、
> そうするとシャットダウン時にタイマーで寝ているスレッド（もしあれ 
> ば）を起こして、
> ちゃんと終了させなければならない、等々、結構面倒なのです。
> 
> ＃sysmon 以外の所はちゃんとやっているんですけどね。ついつ 
> い。
> 
> まあ一番簡単には EWOULDBLOCK を返したらその fd をク 
> ローズしてしまうという手もないことはないのですが。
> 

了解です。解説ありがとうございました。

丸山直也
東京工業大学数理計算科学専攻松岡研究室


From naoya.maruyama ＠ is.titech.ac.jp  Mon Oct 31 08:23:21 2005
From: naoya.maruyama ＠ is.titech.ac.jp (Naoya Maruyama)
Date: Mon, 31 Oct 2005 08:23:21 +0900 (JST)
Subject: [SCore-users-jp] scored =?iso-2022-jp?B?GyRCJE4lLyVpJUMlNyVlGyhC?=
In-Reply-To: <43636F23.9000503@pb.jp.nec.com>
References: <41128606-1EC0-42CF-ADEE-5777DEA14CD0@allinea.com>
	<20051028.195950.55410690.naoya.maruyama@is.titech.ac.jp>
	<43636F23.9000503@pb.jp.nec.com>
Message-ID: <20051031.082321.29988268.naoya.maruyama@is.titech.ac.jp>

長谷川さま、

情報ありがとうございます。こちらでも検討させていただきます。

丸山直也
東京工業大学数理計算科学専攻松岡研究室

a-hasegawa ＠ pb.jp.nec.com wrote:
> 
> 長谷川＠NEC情報システムズです。
> 
> 
> > クラッシュ前のscoredの関数トレースを取ってみましたところ、
> > myri2kIsSendStable()が繰り返し呼ばれていることを確認しました。ですので、
> > PM/EthernetではなくPM/Myrinetの話ではないかと思います。
> 
> SCore-5.4.0 + Myrinet2000で同様の現象を調査した事がありますが、その時
> は、MyrinetのFirmware側で、延々と再送が繰り返されていて(特定のノード間で
> MyrinetのLEDが点滅しっぱなし)、通信が終了しないという状況でした。
> 結局、こちらのケースでは、firmwareのみSCore-5.2.0のfirmwareに戻す事で、
> 現象が出なくなりました。
> 
> 
> ---
> 長谷川 篤史  E-Mail:a-hasegawa ＠ pb.jp.nec.com
> 株式会社NEC情報システムズ
> ＩＴ基盤事業部 ハイエンドコンピューティンググループ
> 外線:044-812-8408(Fax.044-812-8422) / 内線:8-339-6205(Fax.8-339-4490)