From c8538 ＠ st.cs.kumamoto-u.ac.jp Wed Feb 6 12:59:56 2002 From: c8538 ＠ st.cs.kumamoto-u.ac.jp (takuma) Date: Wed, 06 Feb 2002 12:59:56 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJVklcyVBJV4hPCUvJE5DMTBMJEskRCQkJEYbKEI=?= Message-ID: <3C60AA3C.FE42BDD0@st.cs.kumamoto-u.ac.jp> pmbenchの結果の単位は ラウンドトリップタイムは sec burst , zerocopy は　　　byte/sec mpitestの結果の単位は mpi_bw , mpi_bw2は　ｂｙｔｅ/sec mpi_rtt　は　 sec でいいのでしょうか。 山本 From s-sumi ＠ flab.fujitsu.co.jp Wed Feb 6 12:52:24 2002 From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Wed, 06 Feb 2002 12:52:24 +0900 Subject: [SCore-users-jp] Re: [SCore-users-jp] =?iso-2022-jp?B?GyRCJVklcyVBJV4hPCUvJE5DMTBMJEskRCQkJEYbKEI=?= In-Reply-To: <3C60AA3C.FE42BDD0@st.cs.kumamoto-u.ac.jp> References: <3C60AA3C.FE42BDD0@st.cs.kumamoto-u.ac.jp> Message-ID: <20020206125224E.s-sumi@flab.fujitsu.co.jp> 富士通研の住元です。 From: takuma Subject: [SCore-users-jp] ベンチマークの単位について Date: Wed, 06 Feb 2002 12:59:56 +0900 > pmbenchの結果の単位は > > ラウンドトリップタイムは sec > burst , zerocopy は　　　byte/sec > > mpitestの結果の単位は > > mpi_bw , mpi_bw2は　ｂｙｔｅ/sec > mpi_rtt　は　 sec > > でいいのでしょうか。 そうです。 ------ Shinji Sumimoto, Fujitsu Labs From rafmet ＠ mat.uni.torun.pl Wed Feb 6 23:41:44 2002 From: rafmet ＠ mat.uni.torun.pl (Rafal Metkowski) Date: Wed, 6 Feb 2002 15:41:44 +0100 (CET) Subject: [SCore-users-jp] [SCore-users] SCore and Globus Message-ID: Does anyone know if SCore can cooperate with Globus ? According to documentation MPICH-G2 can use vendors' MPI libraries. Is it also possible with MPICH-SCore ? Thanks -- Rafal Metkowski Registered Linux User # 169641 _______________________________________________ SCore-users mailing list SCore-users ＠ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kohe ＠ wuchang.cs.hkg.ac.jp Fri Feb 8 16:49:13 2002 From: kohe ＠ wuchang.cs.hkg.ac.jp (H.ZHU) Date: Fri, 08 Feb 2002 16:49:13 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?TUwbJEIkSzsyMkMhKhsoQg==?= Message-ID: <20020208164530.449C.KOHE@wuchang.cs.hkg.ac.jp> MLの管理者様へ、 朱＠広島です。 このMLに参加したいのですが、お手続きを教えていただけませんか。どうぞ宜し くお願いします。 ****H.ZHU****** From kameyama ＠ pccluster.org Fri Feb 8 16:52:44 2002 From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Fri, 08 Feb 2002 16:52:44 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?TUwbJEIkSzsyMkMhKhsoQg==?= In-Reply-To: Your message of "Fri, 08 Feb 2002 16:49:13 JST." <20020208164530.449C.KOHE@wuchang.cs.hkg.ac.jp> Message-ID: <200202080752.g187qiL32060@yl-dhcp11.is.s.u-tokyo.ac.jp> 亀山です. In article <20020208164530.449C.KOHE ＠ wuchang.cs.hkg.ac.jp> "H.ZHU" wrotes: > MLの管理者様へ、 > > 朱＠広島です。 > > このMLに参加したいのですが、お手続きを教えていただけませんか。どうぞ宜し > くお願いします。 http://www.pccluster.org/mailman/listinfo/score-users-jp から登録できます. よろしくお願いします. from Kameyama Toyohisa From kohe ＠ wuchang.cs.hkg.ac.jp Fri Feb 8 17:21:39 2002 From: kohe ＠ wuchang.cs.hkg.ac.jp (H.ZHU) Date: Fri, 08 Feb 2002 17:21:39 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJUYlOSVIISobKEI=?= Message-ID: <20020208172047.C8CA.KOHE@wuchang.cs.hkg.ac.jp> 新参加者ですので、すみませんが、テストします。 ****H.ZHU****** From kohe ＠ wuchang.cs.hkg.ac.jp Fri Feb 8 17:59:13 2002 From: kohe ＠ wuchang.cs.hkg.ac.jp (H.ZHU) Date: Fri, 08 Feb 2002 17:59:13 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo0aiQkISobKEI=?= Message-ID: <20020208174353.C8CE.KOHE@wuchang.cs.hkg.ac.jp> 参加したばかりの新人ですが、このMLについて伺いのです。 １）メールのやりとり 　　先にテストメールを出し、HPで確認が出来ましたが、私のところに来ないの 　　です。皆さんはそうのようになさっていますか。 ２）HPでIE5.5を使ってMLに流れたメールを読もうとしたら、文字が化けました。 　　幾ら調整しでも、出来ませんでした。どうすれば良いのでしょうか。 どうぞ宜しくお願いします。 追伸：出来ればDMをお願いします。 ****H.ZHU****** From kameyama ＠ pccluster.org Fri Feb 8 18:14:43 2002 From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Fri, 08 Feb 2002 18:14:43 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo0aiQkISobKEI=?= In-Reply-To: Your message of "Fri, 08 Feb 2002 17:59:13 JST." <20020208174353.C8CE.KOHE@wuchang.cs.hkg.ac.jp> Message-ID: <200202080914.g189EhL32665@yl-dhcp11.is.s.u-tokyo.ac.jp> 亀山です. 同じ mail が重複するのも困りますし, mailling list できちんと説明していないこともあるので mailling list と DMの両方に送ります. In article <20020208174353.C8CE.KOHE ＠ wuchang.cs.hkg.ac.jp> "H.ZHU" wrotes: > １）メールのやりとり > 　　先にテストメールを出し、HPで確認が出来ましたが、私のところに来ないの > 　　です。皆さんはそうのようになさっていますか。 この mail の後でテスト mail が届きました. 多分, 遅かっただけだと思いますが... > ２）HPでIE5.5を使ってMLに流れたメールを読もうとしたら、文字が化けました。 > 　　幾ら調整しでも、出来ませんでした。どうすれば良いのでしょうか。 すみません. 英語版の mailling list manager をそのまま使用して JIS でアーカイブ しているため, html に直した mail は化けてしまいます. (開発版は日本語表示されているので, 将来的にはどうにかなると 思っているのですが... ご面倒でしょうけど http://www.pccluster.org/pipermail/score-users-jp/ のページから gzip'ed text もしくは download the full raw archive を 使用してください. よろしくお願いします. from Kameyama Toyohisa From allen ＠ physics.msuiit.edu.ph Sun Feb 10 03:12:25 2002 From: allen ＠ physics.msuiit.edu.ph (=?iso-2022-jp?b?YWxsZW4gGyRCIXcbKEIgcGh5c2ljcy5tc3VpaXQuZWR1LnBo?=) Date: Sun, 10 Feb 2002 02:12:25 +0800 (PHT) Subject: [SCore-users-jp] [SCore-users] score + mosix. Is this possible? Message-ID: <1013278345.3c6566898a7fe@sulat.msuiit.edu.ph> X-Sulat-MSU-Iligan Institute of Technology-IP: 140.105.37.30 Can I use mosix in a score cluster? _______________________________________________________________________ This mail was sent through IMP-powered: http://sulat.msuiit.edu.ph/ Are you an MSUan? Register at http://www.alumni.msuiit.edu.ph/ _______________________________________________ SCore-users mailing list SCore-users ＠ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From kohe ＠ wuchang.cs.hkg.ac.jp Tue Feb 12 14:01:35 2002 From: kohe ＠ wuchang.cs.hkg.ac.jp (H.ZHU) Date: Tue, 12 Feb 2002 14:01:35 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo/UiRNISobKEI=?= Message-ID: <20020212134705.C8DD.KOHE@wuchang.cs.hkg.ac.jp> 皆さんにお伺いたいのですが、この２、３日にこのメーリングリストに流れたメー ルを皆さんの登録したメールアドレスに届きましたか。私のところに一つも届け ていないのです。 どうぞ宜しくお願いします。 ****H.ZHU****** From iwa ＠ strad.se.fujitsu.co.jp Tue Feb 12 14:52:46 2002 From: iwa ＠ strad.se.fujitsu.co.jp (=?iso-2022-jp?b?aXdhIBskQiF3GyhCIHN0cmFkLnNlLmZ1aml0c3UuY28uanA=?=) Date: Tue, 12 Feb 2002 14:52:46 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020212134705.C8DD.KOHE@wuchang.cs.hkg.ac.jp> References: <20020212134705.C8DD.KOHE@wuchang.cs.hkg.ac.jp> Message-ID: <200202120552.AA00600@F4EJ.strad.se.fujitsu.co.jp> H.ZHU殿 いつもお世話になっております。 岩谷＠富士通です。 E-mailありがとうございます。 >皆さんにお伺いたいのですが、この２、３日にこのメーリングリストに流れたメー >ルを皆さんの登録したメールアドレスに届きましたか。私のところに一つも届け >ていないのです。 > >どうぞ宜しくお願いします。 > > > > >****H.ZHU****** 私の所には2/10までのメールが届いていますが、それ以降はありません。 ********************************************************* 富士通株式会社 システム本部)ＣＳＥＣ)R&Dソリューション部 岩谷正樹／Masaki Iwatani TEL：043-299-3242 (内)7055-2875 PHS：070-6119-4267 FAX：043-299-3010 (内)7055-5511 E-mail　to:iwamasa ＠ jp.fujitsu.com ********************************************************* From takahiro_someji ＠ hitachi-metals.co.jp Tue Feb 12 14:55:44 2002 From: takahiro_someji ＠ hitachi-metals.co.jp (=?ISO-2022-JP?B?GyRCQHc8ISEhOSdHbhsoQg==?=) Date: Tue, 12 Feb 2002 14:55:44 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo/UiRNISobKEI=?= References: <20020212134705.C8DD.KOHE@wuchang.cs.hkg.ac.jp> Message-ID: <3C68AE60.1000003@hitachi-metals.co.jp> 　届いていますよ． 以上 H.ZHU wrote: > 皆さんにお伺いたいのですが、この２、３日にこのメーリングリストに流れたメー > ルを皆さんの登録したメールアドレスに届きましたか。私のところに一つも届け > ていないのです。 > > どうぞ宜しくお願いします。 > > > > > ****H.ZHU****** > > _______________________________________________ > SCore-users-jp mailing list > SCore-users-jp ＠ pccluster.org > http://www.pccluster.org/mailman/listinfo/score-users-jp > -- ------------------------------------------- 日立金属（株）　生産システム研究所 　染次　孝博 （someji takahiro） 　E-mail ： takahiro_someji ＠ hitachi-metals.co.jp 　http://www.hitachi-metals.hbi.ne.jp/j/index.htm 〒360-0843 　　埼玉県熊谷市三ケ尻6010番地 　　　Tel 048-531-1704 FAX 048-533-3398 ------------------------------------------- From kohe ＠ wuchang.cs.hkg.ac.jp Wed Feb 13 13:28:59 2002 From: kohe ＠ wuchang.cs.hkg.ac.jp (H.ZHU) Date: Wed, 13 Feb 2002 13:28:59 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo0NjxVISobKEI=?= In-Reply-To: <200202130301.g1D311Z08293@pccluster.org> References: <200202130301.g1D311Z08293@pccluster.org> Message-ID: <20020213132114.C8EC.KOHE@wuchang.cs.hkg.ac.jp> 皆さん： 朱＠新人です。 先日にMLのやりとりについてお伺いだところに、岩谷＠富士通さんはじめ染次孝 博＠日立金属さん、亀山さんからフローを下さって、特に亀山からお丁寧に 教えて頂き本当に有難うございます。 ＃いろいろお世話になり、有難う　＞亀山さん ここでその方々に感謝の気持ちを申し上げたいのです。今後にもどうぞ宜しくお 願いいたします。 ****H.ZHU****** From kohe ＠ wuchang.cs.hkg.ac.jp Thu Feb 14 12:44:58 2002 From: kohe ＠ wuchang.cs.hkg.ac.jp (H.ZHU) Date: Thu, 14 Feb 2002 12:44:58 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020213132114.C8EC.KOHE@wuchang.cs.hkg.ac.jp> References: <200202130301.g1D311Z08293@pccluster.org> <20020213132114.C8EC.KOHE@wuchang.cs.hkg.ac.jp> Message-ID: <20020214123633.8F0E.KOHE@wuchang.cs.hkg.ac.jp> 皆さん： 朱＠広島です。 クラスタに対して全く新人です。お伺いたいことは： 古くなったSun機何台がありました。それをクラスタにしようと考えています。 使いたいOSは、Vine-Linux　2.2.5（Sparc版）です。それは可能でしょうか。是 非ご経験とおアドバイスを頂きたいのです。どうぞ宜しくお願いします。 ****H.ZHU****** From tetu-s ＠ is.aist-nara.ac.jp Thu Feb 21 15:42:22 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Thu, 21 Feb 2002 15:42:22 +0900 (LMT) Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020214123633.8F0E.KOHE@wuchang.cs.hkg.ac.jp> References: <200202130301.g1D311Z08293@pccluster.org> <20020213132114.C8EC.KOHE@wuchang.cs.hkg.ac.jp> <20020214123633.8F0E.KOHE@wuchang.cs.hkg.ac.jp> Message-ID: <20020221.154222.72145991.tetu-s@is.aist-nara.ac.jp> 奈良先端大の佐藤です。 Score5.0がリリースされるそうですが、シンポジウムまで 絶対に手に入らないのでしょうか。。。 > 朱＠広島です。 > クラスタに対して全く新人です。お伺いたいことは： > 古くなったSun機何台がありました。それをクラスタにしようと考えています。 > 使いたいOSは、Vine-Linux　2.2.5（Sparc版）です。それは可能でしょうか。是 > 非ご経験とおアドバイスを頂きたいのです。どうぞ宜しくお願いします。 こちらは、Scoreをベースにということなのでしょうか。 それとも、何でも良いからクラスタになれば良いとか。。。 どちらにしても不可能ではないと思うのですが、IBM xSeriesにScore4.2を 乗せたところ、どうもうまく動いていません。4.2が古いカーネル用パッチ が入っていたので、カーネル2.4.17とかのパッチを作ったのですが、 ScoreドキュメントとScoreソースの整合性がイマイチで、 苦労してるとこです。 MPIやPVMの類はSparcでらくらく動いたので、大丈夫だと思います。 -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From s-sumi ＠ bd6.so-net.ne.jp Thu Feb 21 23:32:07 2002 From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Thu, 21 Feb 2002 23:32:07 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020221.154222.72145991.tetu-s@is.aist-nara.ac.jp> References: <20020213132114.C8EC.KOHE@wuchang.cs.hkg.ac.jp> <20020214123633.8F0E.KOHE@wuchang.cs.hkg.ac.jp> <20020221.154222.72145991.tetu-s@is.aist-nara.ac.jp> Message-ID: <20020221233207B.s-sumi@bd6.so-net.ne.jp> 住元です。 From: tetu-s Subject: Re: [SCore-users-jp] お尋ね！ Date: Thu, 21 Feb 2002 15:42:22 +0900 (LMT) > どちらにしても不可能ではないと思うのですが、IBM xSeriesにScore4.2を > 乗せたところ、どうもうまく動いていません。4.2が古いカーネル用パッチ > が入っていたので、カーネル2.4.17とかのパッチを作ったのですが、 > ScoreドキュメントとScoreソースの整合性がイマイチで、 > 苦労してるとこです。 私の手元のマシンでは、SCore 4.2.1のソースに附属しているlinux-2.4.10 カー ネル用のパッチで2.4.17で動いています。2-3箇所 Failしますが、rejectファイ ルを見れば簡単に手直しできるレベルです。 ところで、どのようにインストールされて、 どのように動かないのでしょうか？ ----- 住元 真司 Flab From tetu-s ＠ is.aist-nara.ac.jp Fri Feb 22 11:58:37 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Fri, 22 Feb 2002 11:58:37 +0900 (LMT) Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020221233207B.s-sumi@bd6.so-net.ne.jp> References: <20020214123633.8F0E.KOHE@wuchang.cs.hkg.ac.jp> <20020221.154222.72145991.tetu-s@is.aist-nara.ac.jp> <20020221233207B.s-sumi@bd6.so-net.ne.jp> Message-ID: <20020222.115837.79221058.tetu-s@is.aist-nara.ac.jp> 佐藤＠奈良先端です。 > 住元です。 > 私の手元のマシンでは、SCore 4.2.1のソースに附属しているlinux-2.4.10 カー > ネル用のパッチで2.4.17で動いています。2-3箇所 Failしますが、rejectファイ > ルを見れば簡単に手直しできるレベルです。 動いてますか。。。じゃぁ、カーネルのバージョンの問題じゃなくて、 もっと単純なミスをしているのですね。 FreeBSDユーザなのでLinuxは苦手なのですが、再挑戦してみます。 ＃普段は古いonyxのOpenMPを使ってます 止まっている点ですが、インストールガイドの順番をそのまま 追って行き、PM/EthernetテストのBurstテストが動かなくて放置してます。 その前までは動いてます。 Burstテストは、 # /opt/score/deploy/scstest -network ethernet SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) crust02( 0) burst: pmGetSendBuffer: Connection timed out(110) crust01( 1) burst: pmGetSendBuffer: Connection timed out(110) うむぅ。。。rshやscoutシングルユーザ環境は動作してるので、 私の知識では原因が分からない。。。で、テストなんぞ通らなくても プログラムが動けばいいや、と思いhello worldをコンパイルすると、 メッセージボードが真っ赤になり、各マシンではscored.exeが 爆走。gdbでどこで止まってるか調べると、 mpcxx_spmd_initialize(argc, argv); で詰まっており、printf("hello...まで辿り着いていないという ところです。 何かお気付きの点がございましたら、ご助言頂けると幸いです。 -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From s-sumi ＠ bd6.so-net.ne.jp Sat Feb 23 00:00:23 2002 From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Sat, 23 Feb 2002 00:00:23 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020222.115837.79221058.tetu-s@is.aist-nara.ac.jp> References: <20020221.154222.72145991.tetu-s@is.aist-nara.ac.jp> <20020221233207B.s-sumi@bd6.so-net.ne.jp> <20020222.115837.79221058.tetu-s@is.aist-nara.ac.jp> Message-ID: <20020223000023P.s-sumi@bd6.so-net.ne.jp> 住元です。 From: tetu-s Subject: Re: [SCore-users-jp] お尋ね！ Date: Fri, 22 Feb 2002 11:58:37 +0900 (LMT) > > 私の手元のマシンでは、SCore 4.2.1のソースに附属しているlinux-2.4.10 カー > > ネル用のパッチで2.4.17で動いています。2-3箇所 Failしますが、rejectファイ > > ルを見れば簡単に手直しできるレベルです。 > > 動いてますか。。。じゃぁ、カーネルのバージョンの問題じゃなくて、 > もっと単純なミスをしているのですね。 > FreeBSDユーザなのでLinuxは苦手なのですが、再挑戦してみます。 > ＃普段は古いonyxのOpenMPを使ってます > > 止まっている点ですが、インストールガイドの順番をそのまま > 追って行き、PM/EthernetテストのBurstテストが動かなくて放置してます。 > その前までは動いてます。 > Burstテストは、 > # /opt/score/deploy/scstest -network ethernet > SCSTEST: BURST on ethernet(chan=0,ctx=0,len=16) > crust02( 0) burst: pmGetSendBuffer: Connection timed out(110) > crust01( 1) burst: pmGetSendBuffer: Connection timed out(110) > うむぅ。。。rshやscoutシングルユーザ環境は動作してるので、 > 私の知識では原因が分からない。。。で、テストなんぞ通らなくても > プログラムが動けばいいや、と思いhello worldをコンパイルすると、 > メッセージボードが真っ赤になり、各マシンではscored.exeが > 爆走。gdbでどこで止まってるか調べると、 > mpcxx_spmd_initialize(argc, argv); > で詰まっており、printf("hello...まで辿り着いていないという > ところです。 > > 何かお気付きの点がございましたら、ご助言頂けると幸いです。 NICとデバイスドライバ（およびLinux distribution）はなんでしょう？NICによっ ては、設定ファイルを変更したほうが良い場合があります。 ----- 住元 真司 From tetu-s ＠ is.aist-nara.ac.jp Sat Feb 23 12:55:41 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Sat, 23 Feb 2002 12:55:41 +0900 (LMT) Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020223000023P.s-sumi@bd6.so-net.ne.jp> References: <20020221233207B.s-sumi@bd6.so-net.ne.jp> <20020222.115837.79221058.tetu-s@is.aist-nara.ac.jp> <20020223000023P.s-sumi@bd6.so-net.ne.jp> Message-ID: <20020223.125541.01370105.tetu-s@is.aist-nara.ac.jp> 佐藤＠奈良先端です。 住友さん自らにアドバイス頂けるのは申し訳ない反面嬉しいのですが、(^^; > 住元です。 > NICとデバイスドライバ（およびLinux distribution）はなんでしょう？NICによっ > ては、設定ファイルを変更したほうが良い場合があります。 ああ、門外漢なのでそこまでは全然発想が及びませんでした。。。 ドキドキしながら見てみたところ、NICはi82557/i82558、ドライバが さらにドキドキしながら見てみたらeepro100の1.09j-tでした。 9/29/99で、www.pcclusterで一応確認が取れてると書いてあるヤツです。 ディストリビューションも特に考えてなかったので確認したら、RedHat7.1でした。 マシンは2台しかScoreを入れてません。全く同一環境です。 SMPでは無いです。とってもオーソドックスで、Free UNIXが何でも 入るIBMマシンなのですが、ファイルシステムだけext3にしてます。 NICが2枚入っており、PM/Ethernetは etherpm0:16contexts using 4096KB MEM, maxunit=4, maxnodes=512, mtu=1468, eth0. etherpm0:Interrupt Reaping on eth0, irq 11 という一枚だけにくっ付いてます。 ちょっと気になるのは、この最後の2点(ext3,NIC*2)なのですが、 問題ありますでしょうか？ また、man1にありますscepticなるコマンドが見当たらないのですが、 これは仕様なのかインストールミスなのか。。。？ どなたか、ちょっとでも気になる点が見当たりましたら、コメント 頂けるとありがたいです。 -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From s-sumi ＠ bd6.so-net.ne.jp Sat Feb 23 13:27:38 2002 From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Sat, 23 Feb 2002 13:27:38 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEI=?= In-Reply-To: <20020223.125541.01370105.tetu-s@is.aist-nara.ac.jp> References: <20020222.115837.79221058.tetu-s@is.aist-nara.ac.jp> <20020223000023P.s-sumi@bd6.so-net.ne.jp> <20020223.125541.01370105.tetu-s@is.aist-nara.ac.jp> Message-ID: <20020223132738Y.s-sumi@bd6.so-net.ne.jp> 住元です。 From: tetu-s Subject: Re: [SCore-users-jp] お尋ね！ Date: Sat, 23 Feb 2002 12:55:41 +0900 (LMT) > 住友さん自らにアドバイス頂けるのは申し訳ない反面嬉しいのですが、(^^; > > > 住元です。 > > NICとデバイスドライバ（およびLinux distribution）はなんでしょう？NICによっ > > ては、設定ファイルを変更したほうが良い場合があります。 > > ああ、門外漢なのでそこまでは全然発想が及びませんでした。。。 > ドキドキしながら見てみたところ、NICはi82557/i82558、ドライバが > さらにドキドキしながら見てみたらeepro100の1.09j-tでした。 > 9/29/99で、www.pcclusterで一応確認が取れてると書いてあるヤツです。 > ディストリビューションも特に考えてなかったので確認したら、RedHat7.1でした。 > マシンは2台しかScoreを入れてません。全く同一環境です。 > SMPでは無いです。とってもオーソドックスで、Free UNIXが何でも > 入るIBMマシンなのですが、ファイルシステムだけext3にしてます。 > NICが2枚入っており、PM/Ethernetは > etherpm0:16contexts using 4096KB MEM, maxunit=4, maxnodes=512, mtu=1468, eth0. > etherpm0:Interrupt Reaping on eth0, irq 11 > という一枚だけにくっ付いてます。 > ちょっと気になるのは、この最後の2点(ext3,NIC*2)なのですが、 > 問題ありますでしょうか？ NICもデバイスドライバも大丈夫のようですので、以下の確認と試験を行なって もらえないでしょうか？ ext3も NIC x 2も問題ないと思います。SCoreのインストーレーションはどうさ れましたでしょう？(EITでしょうか？、マニュアルでしょうか？) 以下にあるPM/Ethernetの試験の結果はどうでしょう。 http://www.pccluster.org/score/dist/score/html-j/installation/pm-testethernet_j.html 特にrpmtestの結果はどうなりますでしょう？ これが動かないのであれば、/opt/score/etc/scorehosts.db, /opt/score/etc/pm-ethernet.confの内容各ホストの/sbin/ifconfigの結果をお送り下さい。 > また、man1にありますscepticなるコマンドが見当たらないのですが、 > これは仕様なのかインストールミスなのか。。。？ > > どなたか、ちょっとでも気になる点が見当たりましたら、コメント > 頂けるとありがたいです。 ----- 住元 真司 From tetu-s ＠ is.aist-nara.ac.jp Sat Feb 23 16:59:33 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Sat, 23 Feb 2002 16:59:33 +0900 (LMT) Subject: [SCore-users-jp] failed to embed PM? [Re: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEJd?= In-Reply-To: <20020223132738Y.s-sumi@bd6.so-net.ne.jp> References: <20020223000023P.s-sumi@bd6.so-net.ne.jp> <20020223.125541.01370105.tetu-s@is.aist-nara.ac.jp> <20020223132738Y.s-sumi@bd6.so-net.ne.jp> Message-ID: <20020223.165933.01371203.tetu-s@is.aist-nara.ac.jp> 佐藤＠奈良先端です。 皆様： あのう。。。ひょっとして、dmesgに pm[0]: clockval = 90449044, cpu = 403, delay = 0, board = 1, sram = 100000 pm[0]: 30 contexts using 3840K bytes of memory Register pm as major(121) が*無い*のって、PMデバイスの組み込みに失敗してます？ -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From s-sumi ＠ bd6.so-net.ne.jp Sat Feb 23 17:13:24 2002 From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Sat, 23 Feb 2002 17:13:24 +0900 Subject: [SCore-users-jp] failed to embed PM? [Re: [SCore-users-jp] =?iso-2022-jp?B?GyRCJCo/UiRNISobKEJd?= In-Reply-To: <20020223.165933.01371203.tetu-s@is.aist-nara.ac.jp> References: <20020223.125541.01370105.tetu-s@is.aist-nara.ac.jp> <20020223132738Y.s-sumi@bd6.so-net.ne.jp> <20020223.165933.01371203.tetu-s@is.aist-nara.ac.jp> Message-ID: <20020223171324T.s-sumi@bd6.so-net.ne.jp> 住元です。 From: tetu-s Subject: [SCore-users-jp] failed to embed PM? [Re: [SCore-users-jp] お尋ね！] Date: Sat, 23 Feb 2002 16:59:33 +0900 (LMT) > 佐藤＠奈良先端です。 > > 皆様： > > あのう。。。ひょっとして、dmesgに > > pm[0]: clockval = 90449044, cpu = 403, delay = 0, board = 1, sram = 100000 > pm[0]: 30 contexts using 3840K bytes of memory > Register pm as major(121) > > が*無い*のって、PMデバイスの組み込みに失敗してます？ これは、Myrinetのハードウェア用のデバイスドライバの表示です。 PM/Ethernetであれば、以下のメッセージがあればデバイスドライバのロードと Ethernetデバイスへのbindが正常に行なわれています。 PM memory support Register pm_memory as major(123) PM/Ethernet: "$Id: pm_ethernet_dev.c,v 1.1 2002/02/18 11:40:09 kameyama Exp $" PM/Ethernet: register etherpm device as major(122) etherpm0: 16 contexts using 4096KB MEM, maxunit=4, maxnodes=512, mtu=1468, eth0. etherpm0: Interrupt Reaping on eth0, irq 23 ----- 住元 真司 From tetu-s ＠ is.aist-nara.ac.jp Sat Feb 23 17:58:15 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Sat, 23 Feb 2002 17:58:15 +0900 (LMT) Subject: [SCore-users-jp] failed to embed PM? In-Reply-To: <20020223171324T.s-sumi@bd6.so-net.ne.jp> References: <20020223132738Y.s-sumi@bd6.so-net.ne.jp> <20020223.165933.01371203.tetu-s@is.aist-nara.ac.jp> <20020223171324T.s-sumi@bd6.so-net.ne.jp> Message-ID: <20020223.175815.60850955.tetu-s@is.aist-nara.ac.jp> 佐藤＠奈良先端です。 > 住元です。 > > あのう。。。ひょっとして、dmesgに > > pm[0]: clockval = 90449044, cpu = 403, delay = 0, board = 1, sram = 100000 > > pm[0]: 30 contexts using 3840K bytes of memory > > Register pm as major(121) > > が*無い*のって、PMデバイスの組み込みに失敗してます？ > これは、Myrinetのハードウェア用のデバイスドライバの表示です。 たびたびありがとうございます。 怪しい点が一つずつ潰せてきました。 rpmtestはmanがなくてボソッとInvalid Augumentが出て原因が分からず、 configureファイルを送りつけるのも失礼かと思ったので、 pmtest(1)を試してみました。 ループバックが出来なかったらDSMどころじゃないと思って /opt/score/deploy/pmtest -ping -type ethernet -config /opt/score/etc/pm-ethernet.conf -debug 5 としてログを追うと、 ethernet_open_device(): -config /opt/score/etc/pm-ethernet.conf pmEthernetOpenDevice: Library version $Id: pm_ethernet.c,v 1.61 2001/10/18 03:38:10 kameyama Exp $ といって pmEthernetOpenDevice: Driver version $Id: pm_ethernet_dev.c,v 1.15 2001/10/18 11:27:37 s-sumi Exp $ ethernet_open_device(): success おお！と思うと、 [0](0) PM/Ethernet CTX map Ctx(0x83ce9c8): send=0x40162000, recv=0x40182000, shared=0x40024000 success [0](0)pmEthernetRegisterProc(): proc 2905(2905), tid 2905 [0](0) pmEthernetAssociateNodes(0x83ce9c8, 0x83cda68, 2):ndev=1 [0](0) pmEthernetBindChannel(0x83ce9c8, 0, 0): called [0](0) pmEthernetGetSendBuffer(0x83ce9c8, 0, 0xbffff8fc, 8): Send to myself 0 と続き、最後に fe (nil), 0 00000000, 00000000, 00000000 (nil) ff (nil), 0 00000000, 00000000, 00000000 (nil) pmGetSendBuffer: Invalid argument(22) ボソ。 なお、インストールは手動です。（liloじゃなくてgrubを使いたかったですし、 RedHat+kernel 2.4.17でEITがうまく動かなかったので。。。） 動作確認が取れてる環境を準備した方が良いでしょうか。。。 概要をつかんで、ゆくゆくはFreeBSDにのせたかったのですが。。。 -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From s-sumi ＠ bd6.so-net.ne.jp Sat Feb 23 18:15:57 2002 From: s-sumi ＠ bd6.so-net.ne.jp (Shinji Sumimoto) Date: Sat, 23 Feb 2002 18:15:57 +0900 Subject: [SCore-users-jp] failed to embed PM? In-Reply-To: <20020223.175815.60850955.tetu-s@is.aist-nara.ac.jp> References: <20020223.165933.01371203.tetu-s@is.aist-nara.ac.jp> <20020223171324T.s-sumi@bd6.so-net.ne.jp> <20020223.175815.60850955.tetu-s@is.aist-nara.ac.jp> Message-ID: <20020223181557W.s-sumi@bd6.so-net.ne.jp> 住元です。 おそらく、設定ファイルか実行環境の問題と思います。 pm-ethernet.conf はどのようにして作られましたでしょうか？SCoreの用いるホ スト名はFQDNでhostnameコマンドで得られる名前とpm-ethernet.conf内に定義さ れている名前が一致する必要があります。 scorehosts.db, pm-ethernet.confの内容と、各ホストのhostnameコマンド、 /etc/hosts /sbin/ifconfigのMACアドレス内容が正しいかを確認して見て下さい。 良くわからない場合は一式送って下さい。 その方が変に悩まなくて済みます。 PS: PM/Ethernetにはループバック機能はありません。エラーで返しますので正 常です。 From: tetu-s Subject: Re: [SCore-users-jp] failed to embed PM? Date: Sat, 23 Feb 2002 17:58:15 +0900 (LMT) > > 住元です。 > > > あのう。。。ひょっとして、dmesgに > > > pm[0]: clockval = 90449044, cpu = 403, delay = 0, board = 1, sram = 100000 > > > pm[0]: 30 contexts using 3840K bytes of memory > > > Register pm as major(121) > > > が*無い*のって、PMデバイスの組み込みに失敗してます？ > > これは、Myrinetのハードウェア用のデバイスドライバの表示です。 > > たびたびありがとうございます。 > 怪しい点が一つずつ潰せてきました。 > > rpmtestはmanがなくてボソッとInvalid Augumentが出て原因が分からず、 > configureファイルを送りつけるのも失礼かと思ったので、 > pmtest(1)を試してみました。 > ループバックが出来なかったらDSMどころじゃないと思って > /opt/score/deploy/pmtest -ping -type ethernet -config /opt/score/etc/pm-ethernet.conf -debug 5 > > としてログを追うと、 > ethernet_open_device(): -config /opt/score/etc/pm-ethernet.conf > pmEthernetOpenDevice: Library version > $Id: pm_ethernet.c,v 1.61 2001/10/18 03:38:10 kameyama Exp $ > といって > pmEthernetOpenDevice: Driver version > $Id: pm_ethernet_dev.c,v 1.15 2001/10/18 11:27:37 s-sumi Exp $ > ethernet_open_device(): success > おお！と思うと、 > [0](0) PM/Ethernet CTX map Ctx(0x83ce9c8): send=0x40162000, recv=0x40182000, shared=0x40024000 success > [0](0)pmEthernetRegisterProc(): proc 2905(2905), tid 2905 > [0](0) pmEthernetAssociateNodes(0x83ce9c8, 0x83cda68, 2):ndev=1 > [0](0) pmEthernetBindChannel(0x83ce9c8, 0, 0): called > [0](0) pmEthernetGetSendBuffer(0x83ce9c8, 0, 0xbffff8fc, 8): Send to myself 0 > と続き、最後に > fe (nil), 0 00000000, 00000000, 00000000 (nil) > ff (nil), 0 00000000, 00000000, 00000000 (nil) > pmGetSendBuffer: Invalid argument(22) > ボソ。 > > なお、インストールは手動です。（liloじゃなくてgrubを使いたかったですし、 > RedHat+kernel 2.4.17でEITがうまく動かなかったので。。。） > 動作確認が取れてる環境を準備した方が良いでしょうか。。。 > 概要をつかんで、ゆくゆくはFreeBSDにのせたかったのですが。。。 ----- 住元 真司 From kouchi ＠ fasol.fujitsu.com Sat Feb 23 18:58:42 2002 From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Sat, 23 Feb 2002 18:58:42 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJE8kOCRhJF4kNyRGGyhC?= Message-ID: <200202230958.AA00860@hiroyuki.fasol.fujitsu.com> 関係者各位 様 先ほどメーリングリストに参加させていただきました。 幸地と申します。 クラスタに関しましては、まったくの新人ですが、 一生懸命がんばりますのでよろしくお願い致します。 さて、早速で申し訳ないのですが皆様にお知恵を拝借 させていただきたいと思います。 現在、SCore + Omni Open MP + Linux(Intel版)の組み合わせで、 HPC型のCluster構築を検討しております。当面の目標と致しましては、 既存のプログラムをOpenMP用いて並列化を行い実行速度の向上を 目的としております。 上記の目的達成にために情報不足にあえいでおります。 そこで以下の２点についてよろしくお願い致します。 ・動作実績のあるハード環境をお願い致します。 　=> Web等の情報では、NICの種類に依存するように見受けられましたので 　　 どのような環境で安定するのか以下の用件でお願い致します。 　 　CPU: ex) Intel Pentium MMX 120Hz NIC: ex) DEC製　21140チップ搭載 　Memoru: ex) 256MB (DIMM 128 × 2) MotherBoad: ex) Intel 440BXチップセット 　DISK: ex) 18GB Seagate製 CPUについて　　：クラスタ全ノードですべて同じアーキテクチャ、 　　　　　　　 クロック数でないと動作できないのか？ 　NICについて　　：クラスタ全ノードですべて同じNICでないとだめなのか？ 　Memoryについて ：必要最低限のメモリについては、いくらか？ 　　　　　　　　　 全ノードで同じメモリの容量にそろえる必要はあるのか？ 　DISKについて : 必要最低限の容量はいくらか？ 　ネットワーク機器について：　HUB、NIC以外にあるのか？ ・Scoreの仕様について 　=> SCoreのインストール方法については、Web上にくわしく掲載されていますが、 　　 SCore内部についてのドキュメントがあまり見つかりませんでした。 　　 PM,SCore-Dなどがどのような働きをし、どのような方法で制御されているのか 　　 よくわかりませんでした。 　　 参考文献として、以下のURLの論文を拝見させていただきました。 　　 ほかに、情報源としてありましたらよろしくお願い致します。 　　 http://www.pccluster.org/score/dist/score/html/papers/index.html メールが長くなりまして申し訳ありませんでした。今度ともよろしくお願い致します。 以上です。 -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi ＠ fasol.fujitsu.com -------------------------------------------------- From tetu-s ＠ is.aist-nara.ac.jp Sun Feb 24 15:30:10 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Sun, 24 Feb 2002 15:30:10 +0900 (LMT) Subject: [DM] Re: [SCore-users-jp] failed to embed PM? In-Reply-To: <20020223204050G.s-sumi@bd6.so-net.ne.jp> References: <20020223181557W.s-sumi@bd6.so-net.ne.jp> <20020223.190636.91280019.tetu-s@is.aist-nara.ac.jp> <20020223204050G.s-sumi@bd6.so-net.ne.jp> Message-ID: <20020224.153010.107707420.tetu-s@is.aist-nara.ac.jp> 佐藤＠奈良先端です。 住友さんとの直メールのやり取りだったのですが、進捗があったので MLに振らせて頂きます。 住友さんに各種設定ファイルを送付してアドバイスを頂いたところ、 > 住元です。 > 設定ファイル上は、正しいようです。マルチプロセッサシステムでないなら、 > scorehosts.dbのshmem0,shmem1は必要ありませんので削除して下さい。 > これが、動かないのであれば、EthernetスイッチがPM/EthernetのEthernetフレー > ムタイプ（X.25）を通さない設定になっている可能性があります。Ethernet > Switchは何をお使いで、どのような設定になっていますでしょうか？ とのことだったので、また心当たり多々でドキドキしながら次の 実験をしてみました。 まず、shmemをはずしてscore一式を再起動し、各種テストを。 今までと同様、PM/Ethernetのp2pテストで止まってしまいました。 そこで、これは住友さんのご指摘通りスイッチが怪しいと思い、 前任者が設定していったのをそのまま使っていた、extreme Summitの5iから scoreサーバ・クライアントを引っこ抜きました。 そしてsummitからクロスケーブルでプラネックスさんでしたっけ、 pci FX2124TXというスイッチを繋ぎ、FXの方にscoreサーバ・クライアントを接続。 で、実験をすると、サクサク進みました。 インストールマニュアルのテストの、Xのデモ以外は、パソコンに向かってから 15分ほどで通りました。 ＃一ヶ月の悩みはこれでした。。。(T-T) Summitはadminのパスワードが不明なので、取り合えずスイッチは 適当なものを使い続け、これからScashとOmniMPのインストールに 入ります。OmniMP単体のインストールは何度もやってるので 悩むとしたらscashだと思います。 ブレイクスルーを与えてくれた住友さんに深く感謝致します。 ＃3月の情処全大に間に合うかも OmniMPがDSM的に動いてから、まとめて報告しますね＞幸地さん -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From h-harada ＠ tjo.cpqcorp.net Mon Feb 25 09:29:17 2002 From: h-harada ＠ tjo.cpqcorp.net (=?iso-2022-jp?B?SGlyb3NoaRskQiEhGyhCSEFSQURB?=) Date: Mon, 25 Feb 2002 09:29:17 +0900 Subject: [DM] Re: [SCore-users-jp] failed to embed PM? In-Reply-To: <20020224.153010.107707420.tetu-s@is.aist-nara.ac.jp> Message-ID: <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> 奈良先端　佐藤様： はじめまして、原田　浩といいます。 クラスタでOpenMPを動作させてみたいわけですね。 SCASHですがpmtest,で、vreadが安定動作すれば、 問題なく動作するはずです。 ＳＣＡＳＨで判らない事があったらご連絡ください。 できるかぎりご協力させていただきます。 原田　浩 From h-harada ＠ tjo.cpqcorp.net Mon Feb 25 10:00:00 2002 From: h-harada ＠ tjo.cpqcorp.net (=?iso-2022-jp?B?SGlyb3NoaRskQiEhGyhCSEFSQURB?=) Date: Mon, 25 Feb 2002 10:00:00 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?UkU6IFtTQ29yZS11c2Vycy1qcF0gGyRCJE8kOCRhJF4kNyRGGyhC?= In-Reply-To: <200202230958.AA00860@hiroyuki.fasol.fujitsu.com> Message-ID: <000301c1bd97$c0e24450$90a6af10@asiapacific.cpqcorp.net> 幸地様： はじめまして、原田　浩といいます。 まず、SCoreクラスタ上でOmniを動作させて、 台数効果を得たいということですが、現状では、 ネットワークにMyrinetを用いても、台数効果が得られる アプリケーションは限られています。 ですから、ファーストイーサを用いて実用的な台数効果を 得るのは、難しいというのが正直なところです。 ＷＯＭＰＡＴ2000で示した台数効果もネットワークはMyrinetを用いています。 ＃で確認したら、papers/sato00.pdfは違う論文になってますね。 原田 From kouchi ＠ fasol.fujitsu.com Mon Feb 25 13:10:51 2002 From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Mon, 25 Feb 2002 13:10:51 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJE8kOCRhJF4kNyRGGyhC?= In-Reply-To: <000301c1bd97$c0e24450$90a6af10@asiapacific.cpqcorp.net> References: <000301c1bd97$c0e24450$90a6af10@asiapacific.cpqcorp.net> Message-ID: <200202250410.AA00861@hiroyuki.fasol.fujitsu.com> 原田様 情報ご提供ありがとうございました。 早速ですが、NICにファーストイーサを 選択した場合、実用的な台数効果がないと いうことですね。 私どもでもMyrinetの検討を行ないましたが、 実験的にシステム構築ということと、予算の 関係上、NICには、ファーストイーサを用いる 計画になったのです。 情報不足なメールで皆様にご迷惑をお掛け致しました。 さて、ファーストイーサでは、台数効果がでないということですが、 少しでも、台数効果がでれば本格的にMyrinetによるCluster構築に なる可能性もあるので、まず、Cluster環境をそろえることが 不可欠になると思います。 ファーストイーサでの動作確認がとれたNICの情報をご存知でしたらお願い致します。 また、前回の質問もお願い致します。 質問だらけで申し訳ありません。実験的に試すにしても環境ができないとSCoreを試すことが できません。 お忙しい皆様だと思いますがどうかよろしくお願い致します。 以上です。 >まず、SCoreクラスタ上でOmniを動作させて、 >台数効果を得たいということですが、現状では、 >ネットワークにMyrinetを用いても、台数効果が得られる >アプリケーションは限られています。 > >ですから、ファーストイーサを用いて実用的な台数効果を >得るのは、難しいというのが正直なところです。 > >ＷＯＭＰＡＴ2000で示した台数効果もネットワークはMyrinetを用いています。 > >＃で確認したら、papers/sato00.pdfは違う論文になってますね。 > >原田 > > -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi ＠ fasol.fujitsu.com -------------------------------------------------- From tetu-s ＠ is.aist-nara.ac.jp Mon Feb 25 16:21:33 2002 From: tetu-s ＠ is.aist-nara.ac.jp (tetu-s) Date: Mon, 25 Feb 2002 16:21:33 +0900 (LMT) Subject: [SCore-users-jp] Score+Scash+OmniMP In-Reply-To: <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> References: <20020224.153010.107707420.tetu-s@is.aist-nara.ac.jp> <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> Message-ID: <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> 佐藤＠奈良先端です。 ＃住元さんの御名前を間違えて書いているというご指摘がありました。 ＃申し訳ございません。 > はじめまして、原田　浩といいます。 > SCASHですがpmtest,で、vreadが安定動作すれば、 > 問題なく動作するはずです。 ありがとうございます、割と素直にいけることが確認できて いれば、安心して作業できます。 で、進捗なのですが。。。 一気にアプリケーションを持ってきたところ動かないので、 scash/testsを一つずつ試したところ、init->lock->barrierと いってlaplaceでこけました。 scash_mlock_init:can not lock shadow area: Operation not permitted だったのでscashのインストールミスかと思いきや、pmMLock(3)で エラーが出てる雰囲気なので、まだPMの設定ミスか。。。と 思い、PM_DEBUGを立てて見てみると pmMCtrl(0x85402c8, 0x48000000, 1001000, 40000048000000, 1): ioctl(512, PMIOCMLOCK, (0x48000000, 1001000)): Cannot allocate memory(12) <1> VM Fault out of DSM area PC=[0808768f]:ADDR=[40084d01] むむぅ。メモリ不足のようです。laplace.hの要素サイズを縮めると、 いけました。（たったの128Mメモリ。。。） で、この小規模な計算では、やはりノード数を増やす方が遅くなりました。 （スイッチはギガビットですが、NICが100base） 手元にNetgearの1000base-SXのNICがあるのですが、ethernetベースなら 改善されないのでしょうね。。。（それ以前に、scoreが対応してない？） 私が使いたいのは微分方程式を数値的に解くレイトレーシングなので、 PE間の通信は遅くても良いのでPCクラスタが適すると思ったのですが。。。 教訓 (1)高機能スイッチには気をつけよう (2)メモリは鬼ほど積もう ＃遅くてもよければ、OSレベルで仮想メモリを増やせば対応可？ -- 佐藤 哲、奈良先端科学技術大学院大学 情報科学研究科 横矢研 先端科学技術調査センター CREST木戸出チーム 科学技術振興事業団 戦略的基礎研究推進事業 株式会社アジア・ユナイテッド・コンピューティング tetu-s ＠ is.aist-nara.ac.jp From h-harada ＠ tjo.cpqcorp.net Mon Feb 25 18:46:26 2002 From: h-harada ＠ tjo.cpqcorp.net (=?iso-2022-jp?B?SGlyb3NoaRskQiEhGyhCSEFSQURB?=) Date: Mon, 25 Feb 2002 18:46:26 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP In-Reply-To: <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> Message-ID: <001001c1bde1$4bdcb010$90a6af10@asiapacific.cpqcorp.net> こんにちは、原田です。 PMのデバッグメッセージによると、16M+4Kバイトのメモリの ピンダウンに失敗しているようです。 ノードの実メモリが１２８Ｍバイトということですね。 ひとつこちらから提案なのですが、プログラミング環境としてMPIを 採用するということは無理でしょうか。 Omni/SCASH１の場合、クラスタ（分散メモリ）上でOpenMP (共有メモリプログラミング環境)を実現しているため、どうしても 通信等のオーバーヘッドは大きくなりがちですから。 原田 From h-harada ＠ tjo.cpqcorp.net Mon Feb 25 19:07:23 2002 From: h-harada ＠ tjo.cpqcorp.net (=?iso-2022-jp?B?SGlyb3NoaRskQiEhGyhCSEFSQURB?=) Date: Mon, 25 Feb 2002 19:07:23 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?UkU6IFtTQ29yZS11c2Vycy1qcF0gGyRCJE8kOCRhJF4kNyRGGyhC?= In-Reply-To: <200202250410.AA00861@hiroyuki.fasol.fujitsu.com> Message-ID: <001101c1bde4$38a07ec0$90a6af10@asiapacific.cpqcorp.net> EｔｈｅｒのNICということですが、これは住元さんのほうが 詳しいと思いますが、IntelのEtherExpressPro100なら 動作確認できていますし、入手も容易です。 原田 From kouchi ＠ fasol.fujitsu.com Mon Feb 25 19:35:34 2002 From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Mon, 25 Feb 2002 19:35:34 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJE8kOCRhJF4kNyRGGyhC?= In-Reply-To: <001101c1bde4$38a07ec0$90a6af10@asiapacific.cpqcorp.net> References: <001101c1bde4$38a07ec0$90a6af10@asiapacific.cpqcorp.net> Message-ID: <200202251035.AA00866@hiroyuki.fasol.fujitsu.com> 幸地です。 PC ClusterコンソーシアムのWeb情報では、 IntelのEtherExpressPro100は、動作しない可能性があるとの ことですが、以下の記述では、安定して動作できる とのことでよろしいでしょうか？ 皆様の回答で"安定して動作できる"とのことであれば、 購入して環境をそろえたいと思います。 >EｔｈｅｒのNICということですが、これは住元さんのほうが >詳しいと思いますが、IntelのEtherExpressPro100なら >動作確認できていますし、入手も容易です。 > >原田 > > -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi ＠ fasol.fujitsu.com -------------------------------------------------- From s-sumi ＠ flab.fujitsu.co.jp Mon Feb 25 19:57:59 2002 From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Mon, 25 Feb 2002 19:57:59 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?B?GyRCJE8kOCRhJF4kNyRGGyhC?= In-Reply-To: <200202230958.AA00860@hiroyuki.fasol.fujitsu.com> References: <200202230958.AA00860@hiroyuki.fasol.fujitsu.com> Message-ID: <20020225195759M.s-sumi@flab.fujitsu.co.jp> 住元です。 ハードウェアの環境については、内容が古いですが、以下のURLを参考にして下 さい。原田さんも書いていますが、現状は、eepro100が一番無難です。 http://www.pccluster.org/score/dist/score/html-j/installation/before_j.html DEC21140系統のNICは、NICによりtulipで動作するもの、de4x5ドライバでないと TCP/IPさえ動かないものがありますので注意して下さい。。 NICの種類、CPUの種類とクロックの差ですが、i386アーキであれば混在しても動 くとは思います。でも、あまりお勧めしません。というのは、混在した環境で速 く処理を実行するためには、それぞれのノードの計算機パワーに応じた処理を割 り当てる必要があるため、処理割当のスケジューリングを含めて考える必要があ るからです。 PS: Webにあるeepro100の情報はかlinux-2.2.xxの時代のもので古いですので、 2.4系では参考になりません。これから、新たに稼働リストを作っていきま すので、動いた、動かなかったなどの情報があれば、是非メーリングリストで 連絡して頂ければ幸いです。 kouchi> ・動作実績のあるハード環境をお願い致します。 kouchi> kouchi> 　=> Web等の情報では、NICの種類に依存するように見受けられましたので kouchi> 　　 どのような環境で安定するのか以下の用件でお願い致します。 kouchi> 　 kouchi> 　CPU: ex) Intel Pentium MMX 120Hz kouchi> NIC: ex) DEC製　21140チップ搭載 kouchi> 　Memoru: ex) 256MB (DIMM 128 × 2) kouchi> MotherBoad: ex) Intel 440BXチップセット kouchi> 　DISK: ex) 18GB Seagate製 kouchi> kouchi> kouchi> CPUについて　　：クラスタ全ノードですべて同じアーキテクチャ、 kouchi> 　　　　　　　 クロック数でないと動作できないのか？ kouchi> kouchi> 　NICについて　　：クラスタ全ノードですべて同じNICでないとだめなのか？ kouchi> kouchi> 　Memoryについて ：必要最低限のメモリについては、いくらか？ kouchi> 　　　　　　　　　 全ノードで同じメモリの容量にそろえる必要はあるのか？ kouchi> kouchi> 　DISKについて : 必要最低限の容量はいくらか？ kouchi> kouchi> kouchi> 　ネットワーク機器について：　HUB、NIC以外にあるのか？ kouchi> kouchi> ・Scoreの仕様について kouchi> kouchi> 　=> SCoreのインストール方法については、Web上にくわしく掲載されていますが、 kouchi> 　　 SCore内部についてのドキュメントがあまり見つかりませんでした。 kouchi> 　　 PM,SCore-Dなどがどのような働きをし、どのような方法で制御されているのか kouchi> 　　 よくわかりませんでした。 kouchi> kouchi> 　　 参考文献として、以下のURLの論文を拝見させていただきました。 kouchi> 　　 ほかに、情報源としてありましたらよろしくお願い致します。 kouchi> 　　 http://www.pccluster.org/score/dist/score/html/papers/index.html 内部の動作についての詳しい資料は今のところ残念ながらありません。近いうち に出版される予定のSCoreの本を参考にして頂ければ幸いです。 ------ Shinji Sumimoto, Fujitsu Labs From kouchi ＠ fasol.fujitsu.com Mon Feb 25 20:01:50 2002 From: kouchi ＠ fasol.fujitsu.com (Hiroyuki KOUCHI) Date: Mon, 25 Feb 2002 20:01:50 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?GyRCJE8kOCRhJF4kNyRGGyhC?= In-Reply-To: <20020225195759M.s-sumi@flab.fujitsu.co.jp> References: <20020225195759M.s-sumi@flab.fujitsu.co.jp> Message-ID: <200202251101.AA00868@hiroyuki.fasol.fujitsu.com> 住元様　原田様 幸地です。貴重な情報ありがとうございました。 NIC以外のハード環境についてこちらで試して見たいと 思います。環境については、後日、メーリングリストに 投稿したいと思います。 今後ともよろしくお願い致します。 以上です。 >住元です。 > >ハードウェアの環境については、内容が古いですが、以下のURLを参考にして下 >さい。原田さんも書いていますが、現状は、eepro100が一番無難です。 > >http://www.pccluster.org/score/dist/score/html-j/installation/before_j.html > >DEC21140系統のNICは、NICによりtulipで動作するもの、de4x5ドライバでないと >TCP/IPさえ動かないものがありますので注意して下さい。。 > >NICの種類、CPUの種類とクロックの差ですが、i386アーキであれば混在しても動 >くとは思います。でも、あまりお勧めしません。というのは、混在した環境で速 >く処理を実行するためには、それぞれのノードの計算機パワーに応じた処理を割 >り当てる必要があるため、処理割当のスケジューリングを含めて考える必要があ >るからです。 > >PS: Webにあるeepro100の情報はかlinux-2.2.xxの時代のもので古いですので、 > 2.4系では参考になりません。これから、新たに稼働リストを作っていきま > すので、動いた、動かなかったなどの情報があれば、是非メーリングリストで > 連絡して頂ければ幸いです。 > >kouchi> ・動作実績のあるハード環境をお願い致します。 >kouchi> >kouchi> 　=> Web等の情報では、NICの種類に依存するように見受けられましたので >kouchi> 　　 どのような環境で安定するのか以下の用件でお願い致します。 >kouchi> 　 >kouchi> 　CPU: ex) Intel Pentium MMX 120Hz >kouchi> NIC: ex) DEC製　21140チップ搭載 >kouchi> 　Memoru: ex) 256MB (DIMM 128 × 2) >kouchi> MotherBoad: ex) Intel 440BXチップセット >kouchi> 　DISK: ex) 18GB Seagate製 >kouchi> >kouchi> >kouchi> CPUについて　　：クラスタ全ノードですべて同じアーキテクチャ、 >kouchi> 　　　　　　　 クロック数でないと動作できないのか？ >kouchi> >kouchi> 　NICについて　　：クラスタ全ノードですべて同じNICでないとだめなのか？ >kouchi> >kouchi> 　Memoryについて ：必要最低限のメモリについては、いくらか？ >kouchi> 　　　　　　　　　 全ノードで同じメモリの容量にそろえる必要はあるのか？ >kouchi> >kouchi> 　DISKについて : 必要最低限の容量はいくらか？ >kouchi> >kouchi> >kouchi> 　ネットワーク機器について：　HUB、NIC以外にあるのか？ >kouchi> >kouchi> ・Scoreの仕様について >kouchi> >kouchi> 　=> SCoreのインストール方法については、Web上にくわしく掲載されていますが、 >kouchi> 　　 SCore内部についてのドキュメントがあまり見つかりませんでした。 >kouchi> 　　 PM,SCore-Dなどがどのような働きをし、どのような方法で制御されているのか >kouchi> 　　 よくわかりませんでした。 >kouchi> >kouchi> 　　 参考文献として、以下のURLの論文を拝見させていただきました。 >kouchi> 　　 ほかに、情報源としてありましたらよろしくお願い致します。 >kouchi> 　　 http://www.pccluster.org/score/dist/score/html/papers/index.html > >内部の動作についての詳しい資料は今のところ残念ながらありません。近いうち >に出版される予定のSCoreの本を参考にして頂ければ幸いです。 > >------ >Shinji Sumimoto, Fujitsu Labs > -------------------------------------------------- Hiroyuki KOUCHI Systems Engnieering Dept. II Solutions Systems Business Div. FUJITSU ADVANCED SOLUTIONS LIMITED 1-2-4,Shinkoyahu, Kanagawa-ku, Yokohama, TEL:+81 45-438-2105 FAX:+81 45-438-2318 URL http://www.fasol.fujitsu.com E-mail: kouchi ＠ fasol.fujitsu.com -------------------------------------------------- From a-hasega ＠ ats.nis.nec.co.jp Mon Feb 25 22:33:49 2002 From: a-hasega ＠ ats.nis.nec.co.jp (=?ISO-2022-JP?B?GyRCRDlDK0BuISFGRjtLGyhC?=) Date: Mon, 25 Feb 2002 22:33:49 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP References: <20020224.153010.107707420.tetu-s@is.aist-nara.ac.jp> <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> Message-ID: <3C7A3D3D.1010809@ats.nis.nec.co.jp> 始めまして、長谷川＠ＮＥＣ情報システムズと申します。 omniのランタイムライブラリ関連の開発を担当しておりました。 > で、この小規模な計算では、やはりノード数を増やす方が遅くなりました。 > （スイッチはギガビットですが、NICが100base） 原田さんもおっしゃられていますが、Omni/SCASHは、 分散共有メモリシステム上にOpenMP環境を実装しているため、 Remote Memory Readの速度が、かなり、プログラムの実行に影響を及ぼします。 myrinet2000のシステムですと、Remote Memory Readの速度が早いため、 性能が出やすいですが、100Base/Tでは、かなり難しいと思われます。 他にも、Omniをethernetで使用したいという意見が出でいましたので、 参考までに、Omniに付属のサンプル(/opt/omni/lib/openmp/examples/scash- test/cg)をSCore-IIIクラスタで測定した結果を乗せておきます。 バリア同期が多く、omni/scashのsampleとしては、あまりよくないのですが.... 簡単な行列演算で、ソースも付属していますので、なにかの参考にでもしていた だけると幸いです。 ========================================================== cg-omp myrinet2000 ------------------------ node : time ------------------------- 1 : 25.407382 2 : 18.099523 4 : 11.862331 8 : 9.582161 16 : 10.298733 32 : 14.122206 ether express pro 100 ------------------------ node : time ------------------------- 1 : 25.023178 2 : 49.618274 4 : 62.386232 8 : 90.973922 16 : 113.604717 32 : 159.409118 ========================================================== > 手元にNetgearの1000base-SXのNICがあるのですが、ethernetベースなら > 改善されないのでしょうね。。。（それ以前に、scoreが対応してない？） 1000Baseのイーサネットを使ったOmni/SCASHの性能測定を行ってませんでしたで、 どのていど性能が改善されるのかはわかりません。 申し訳ありません。 > 私が使いたいのは微分方程式を数値的に解くレイトレーシングなので、 > PE間の通信は遅くても良いのでPCクラスタが適すると思ったのですが。。。 > 教訓 > (1)高機能スイッチには気をつけよう > (2)メモリは鬼ほど積もう メモリに関してですが、 OMPC_DEBUG=1 ./a.out として実行すると、デバッグメッセージとして、 プログラムが使用する共有メモリ容量を出力します。 実行には、最低でも、その倍の物理メモリを必要とします。 ~~~~ このため、不必要な変数はthread-private, private変数にして、 shared変数を減らすような工夫が必要となります。 --- 長谷川 篤史 E-Mail:a-hasega ＠ ats.nis.nec.co.jp 株式会社NEC情報システムズ 基盤ソフトウェア事業部 サイエンス基盤部 外線:03-3798-9991(Fax.03-3798-9198) / 内線:8-115-2410(Fax.8-115-2419) From msato ＠ is.tsukuba.ac.jp Tue Feb 26 00:59:41 2002 From: msato ＠ is.tsukuba.ac.jp (Mitsuhisa Sato) Date: Tue, 26 Feb 2002 00:59:41 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP In-Reply-To: <3C7A3D3D.1010809@ats.nis.nec.co.jp> References: <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> <3C7A3D3D.1010809@ats.nis.nec.co.jp> Message-ID: <20020226005941C.msato@is.tsukuba.ac.jp> Omniの開発していた さとうです。 否定的なことばかりだとなんですので、 From: 長谷川　篤史 Subject: Re: [SCore-users-jp] Score+Scash+OmniMP Date: Mon, 25 Feb 2002 22:33:49 +0900 > > バリア同期が多く、omni/scashのsampleとしては、あまりよくないのですが.... > 簡単な行列演算で、ソースも付属していますので、なにかの参考にでもしていた > だけると幸いです。 > > ========================================================== > cg-omp この例はあまりにもサイズが小さいので、Myrinetでもあまりspeedupしません。 また、cgはランダムアクセスなので、不向きです。 > > 私が使いたいのは微分方程式を数値的に解くレイトレーシングなので、 > > PE間の通信は遅くても良いのでPCクラスタが適すると思ったのですが。。。 ... > このため、不必要な変数はthread-private, private変数にして、 > shared変数を減らすような工夫が必要となります。 空間分割できるraytracingのようなものであれば、thread-privateをちゃんと 使って、mappingの指定をすればある程度いけるのではないかとはおもます。 だだし、メモリサイズの問題はやっぱり問題になりますので、改善して行きた いとおもっております。 さとう。 From a-hasega ＠ ats.nis.nec.co.jp Tue Feb 26 22:55:03 2002 From: a-hasega ＠ ats.nis.nec.co.jp (=?ISO-2022-JP?B?GyRCRDlDK0BuISFGRjtLGyhC?=) Date: Tue, 26 Feb 2002 22:55:03 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP References: <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> <3C7A3D3D.1010809@ats.nis.nec.co.jp> <20020226005941C.msato@is.tsukuba.ac.jp> Message-ID: <3C7B93B7.6050104@ats.nis.nec.co.jp> 長谷川＠ＮＥＣ情報システムズです > で、この小規模な計算では、やはりノード数を増やす方が遅くなりました。 > （スイッチはギガビットですが、NICが100base） どのバージョンのSCoreを使われているのかわからないですが、 もし、OpenMPのflush, critial, atomic 等の命令を使われているのであれば、 SCore 5で修正が入っていますので、性能が改善される可能性があります。 # データパターンに依存するため、必ずしも早くなるとは限りませんが。 具体的な使用方法を示していただければ、 何らかのアドバイスは出来ると思いますので、 Omni/SCASHの動作、性能に関して質問がありましたら、 MLで質問してもらえれば幸いかと思います。 -- 長谷川 篤史 E-Mail:a-hasega ＠ ats.nis.nec.co.jp 株式会社NEC情報システムズ 基盤ソフトウェア事業部 サイエンス基盤部 外線:03-3798-9991(Fax.03-3798-9198) / 内線:8-115-2410(Fax.8-115-2419) From a-hasega ＠ ats.nis.nec.co.jp Wed Feb 27 22:50:38 2002 From: a-hasega ＠ ats.nis.nec.co.jp (=?ISO-2022-JP?B?GyRCRDlDK0BuISFGRjtLGyhC?=) Date: Wed, 27 Feb 2002 22:50:38 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP References: <20020224.153010.107707420.tetu-s@is.aist-nara.ac.jp> <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> <3C7A3D3D.1010809@ats.nis.nec.co.jp> Message-ID: <3C7CE42E.9000805@ats.nis.nec.co.jp> 長谷川＠ＮＥＣ情報システムズです。 佐藤＠奈良先端さんのレポートを読み返していて、 128MBの環境で、SCASHが16MBの共有メモリ領域を確保できないのが、 納得できなかったので、確認してみました。 # 私は完全に動作を勘違いしていました。 # まだ、全部追いきれていないので、怪しいところもありますが、 # 今後、Omni/SCASHを使用する場合の参考になると思いますので、 # 詳細をまとめてレポートしておきます。 > メモリに関してですが、 > OMPC_DEBUG=1 ./a.out > として実行すると、デバッグメッセージとして、 > プログラムが使用する共有メモリ容量を出力します。 > 実行には、最低でも、その倍の物理メモリを必要とします。 > ~~~~ で、結論からいうと、この、倍の物理メモリ必要とするというのは間違い (私の勘違いか、linux 2.0の頃から仕様が変わったのか)で、 　　SCASHの共有メモリサイズ * 8 + 1.6MB + α 必要となります。 Omni/SCASHで使用する場合は、 SCASHの共有メモリサイズ = Omni/SCASHが使用するshared変数のサイズ に置き換えれば計算できます。 この値は、linux-2.2.10 + SCoreのドライバーにデバッグ分を追加して で動作を確認した結果ですので、kernelのバージョンアップにより改善 される可能性はあります。 で、これだけのメモリが必用になるのは、以下の理由からです。 1. pmMLockは、kernelの動作の安全性から物理メモリの1/2以上の メモリをロックできないように制限しています。 pm_memory.c で、current->mm->locked_vmとnum_physpagesから チェックしています。 2. linux のmmapは、マップした領域を、1のpmMLockがチェックに使用する、 　 current->mm->locked_vmにカウントアップします(MAP_SHAREDの場合だけかも)。 locked_vmへは、マップしている領域分、カウントアップされます。 同じ領域をMAP_SHAREDでmmapしていても、それぞれカウントアップされます。 3. SCASHは、共有メモリサイズ * 3 + テーブル(800KB)をマップします 4. SCASHは、全領域をmmapしたのちに、pmMLockします 5．SCASHは、mmapした領域の一部をpmMLockでロックするのですが、 すでにロックされているサイズ(mmapされた領域+最初からカーネルで 使用されている分)に、今回ロックするサイズを加えた値が、物理メモリサイズ/2 以下なければ、エラーになります。 scashがpmMLockで共有メモリサイズ分をロックするため、 結果として、(共有メモリサイズ*4+800KB+α)*2の物理メモリがないと、 メモリサイズのチェックに引っかかります。 PS. 気になっているところ もう、kernel 2.4.x に移行するので、いまさら気にしても仕方ないとは思いますが、 今回、SCore 2.4.1に含まれる、kernel 2.2.10(bigmemへのパッチがあたっていないもの) 　の、pm_memory.c で、currenet->mm->locked_vm の値をダンプして、値の変化をチェック していたところ、mmap した時にカウントアップされているようなのですが、do_mlock でロックしたページが current->mm->locked_vmにカウントアップされていないように 見えるのですが、問題ないのでしょうか？ > 亀山さん 　カウントアップされないと、いくらでもpmMLockできるような気がするのですが.... -- 長谷川 篤史 E-Mail:a-hasega ＠ ats.nis.nec.co.jp 株式会社NEC情報システムズ 基盤ソフトウェア事業部 サイエンス基盤部 外線:03-3798-9991(Fax.03-3798-9198) / 内線:8-115-2410(Fax.8-115-2419) From kameyama ＠ pccluster.org Thu Feb 28 09:39:53 2002 From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Thu, 28 Feb 2002 09:39:53 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP In-Reply-To: Your message of "Wed, 27 Feb 2002 22:50:38 JST." <3C7CE42E.9000805@ats.nis.nec.co.jp> Message-ID: <200202280039.g1S0drk20055@yl-dhcp18.is.s.u-tokyo.ac.jp> 亀山です. In article <3C7CE42E.9000805 ＠ ats.nis.nec.co.jp> 長谷川 篤史 wrotes: > もう、kernel 2.4.x に移行するので、いまさら気にしても仕方ないとは思いますが > 、 このあたりのコードは 2.4 でも同じはずです. > 今回、SCore 2.4.1に含まれる、kernel 2.2.10(bigmemへのパッチがあたっていない > もの) > 　の、pm_memory.c で、currenet->mm->locked_vm の値をダンプして、値の変化をチ > ェック > していたところ、mmap した時にカウントアップされているようなのですが、do_mlo > ck > でロックしたページが current->mm->locked_vmにカウントアップされていないよう > に > 見えるのですが、問題ないのでしょうか？ > 亀山さん コメントにもあるようにこのあたりのコードは kernel 本体の mm/mlock.c からコピーして modify したものです. locked_vm のカウントアップは mlock_fixup() で行われており, これは mm/mlock.c でも変わらないと思いますけど... from Kameyama Toyohisa From s-sumi ＠ flab.fujitsu.co.jp Thu Feb 28 09:54:59 2002 From: s-sumi ＠ flab.fujitsu.co.jp (Shinji Sumimoto) Date: Thu, 28 Feb 2002 09:54:59 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP In-Reply-To: <200202280039.g1S0drk20055@yl-dhcp18.is.s.u-tokyo.ac.jp> References: <3C7CE42E.9000805@ats.nis.nec.co.jp> <200202280039.g1S0drk20055@yl-dhcp18.is.s.u-tokyo.ac.jp> Message-ID: <20020228095459L.s-sumi@flab.fujitsu.co.jp> 住元です。 長谷川さん調査ありがとうございます。 補足しますが、このあたりの実装はカーネルのバージョン毎に変わっていますの で、稼働しているバージョンのカーネルのコードを見て判断する必要があります。 ですので、今後バージョンが上がるとコードを変更する必要が当然のことながら、 出てきます。こちらでも見ていますが、もし、カーネル内部に変更が出ているこ とがわかった場合には知らせて頂けると嬉しいです。 以上宜しくお願いします。 From: kameyama ＠ pccluster.org Subject: Re: [SCore-users-jp] Score+Scash+OmniMP Date: Thu, 28 Feb 2002 09:39:53 +0900 Message-ID: <200202280039.g1S0drk20055 ＠ yl-dhcp18.is.s.u-tokyo.ac.jp> kameyama> In article <3C7CE42E.9000805 ＠ ats.nis.nec.co.jp> 長谷川 篤史 wrotes: kameyama> > もう、kernel 2.4.x に移行するので、いまさら気にしても仕方ないとは思いますが kameyama> > 、 kameyama> kameyama> このあたりのコードは 2.4 でも同じはずです. kameyama> kameyama> > 今回、SCore 2.4.1に含まれる、kernel 2.2.10(bigmemへのパッチがあたっていない kameyama> > もの) kameyama> > 　の、pm_memory.c で、currenet->mm->locked_vm の値をダンプして、値の変化をチ kameyama> > ェック kameyama> > していたところ、mmap した時にカウントアップされているようなのですが、do_mlo > ck kameyama> > でロックしたページが current->mm->locked_vmにカウントアップされていないよう kameyama> > に kameyama> > 見えるのですが、問題ないのでしょうか？ > 亀山さん kameyama> kameyama> コメントにもあるようにこのあたりのコードは kernel 本体の kameyama> mm/mlock.c からコピーして modify したものです. kameyama> locked_vm のカウントアップは mlock_fixup() で行われており, kameyama> これは mm/mlock.c でも変わらないと思いますけど... ------ Shinji Sumimoto, Fujitsu Labs From a-hasega ＠ ats.nis.nec.co.jp Thu Feb 28 10:08:24 2002 From: a-hasega ＠ ats.nis.nec.co.jp (=?ISO-2022-JP?B?GyRCRDlDK0BuISFGRjtLGyhC?=) Date: Thu, 28 Feb 2002 10:08:24 +0900 Subject: [SCore-users-jp] Score+Scash+OmniMP References: <20020224.153010.107707420.tetu-s@is.aist-nara.ac.jp> <000201c1bd93$76494500$90a6af10@asiapacific.cpqcorp.net> <20020225.162133.107715058.tetu-s@is.aist-nara.ac.jp> <3C7A3D3D.1010809@ats.nis.nec.co.jp> <3C7CE42E.9000805@ats.nis.nec.co.jp> Message-ID: <3C7D8308.4010009@ats.nis.nec.co.jp> 長谷川＠ＮＥＣ情報システムズです。 昨日のメールに関してですが、 > もう、kernel 2.4.x に移行するので、いまさら気にしても仕方ないとは思いますが、 > 今回、SCore 2.4.1に含まれる、kernel 2.2.10(bigmemへのパッチがあたっていないもの) 　　　　　~~~~~~~~~~~ SCore 4.2.1 の間違いです。 申し訳ありません。 -- 長谷川 篤史 E-Mail:a-hasega ＠ ats.nis.nec.co.jp 株式会社NEC情報システムズ 基盤ソフトウェア事業部 サイエンス基盤部 外線:03-3798-9991(Fax.03-3798-9198) / 内線:8-115-2410(Fax.8-115-2419) From pccc ＠ ics-inc.co.jp Thu Feb 28 16:54:35 2002 From: pccc ＠ ics-inc.co.jp (PCCC Secretariat) Date: Thu, 28 Feb 2002 16:54:35 +0900 Subject: [SCore-users-jp] Announcement of PC Cluster Consortium Symposium Message-ID: <87FF976DCD4CD311BFA500508B2C200901A6D1C7@ICSMAIL> ========================================= 第一回PCクラスタシンポジウム開催のお知らせ ========================================= PCクラスタ市場育成に貢献することを目的として昨年10月に発足したPCクラスタコン ソーシアムによる最初の シンポジウムが開催される運びとなりました。本シンポジウムでは、PCクラスタの応 用と今後に焦点をあてて、会員向けのワークショップと一般向けの講演から構成され ます。 また、併設して、コンソーシアム会員企業によるSCoreを搭載したPCクラスタ展示が あります。 PCクラスタにご興味のある方、これからPCクラスタを導入する計画のお 持ちの方、 本展示に御参加頂ければ、SCoreを搭載したPCクラスタ全てが御覧になれ ます！ぜひご参加ください。 [ 開催概要 ] 第一回PCクラスタシンポジウム 〜ハイパフォーマンスコンピューティングの新しい世界〜 会期：2002年3月19日 〜 2002年3月20日 会場：東京国際交流館(19日)、日本科学未来館(20日) 参加費：無料 （懇親会は有料） 定員：100名 (19日ワークショップ) 定員：300名 (20日シンポジウム) プログラム、講演内容等は下記をご覧ください。 http://www.pccluster.org/symp/ 参加ご希望の方はホームページより事前登録をお願いいたします（締切：3月12 日）。 ============================== コンソーシアム入会申込受付中！ ============================== 現在、コンソーシアムへの入会申込も受け付けております。 3月18日までに入会頂くと、会員向けワークショップにも参加可能です。 入会申込に関してはこちらへ　http://www.pccluster.org ============================== 不明点、お問い合わせ等は sec ＠ pccluster.org までお願いいたします。