From hyasui ＠ sc.musashi-tech.ac.jp Fri Dec 1 17:58:30 2006 From: hyasui ＠ sc.musashi-tech.ac.jp (YASUI Hiroyuki) Date: Fri, 01 Dec 2006 17:58:30 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?b?V1JGVjIbJEIlMyVzJVElJCVrGyhC?= =?iso-2022-jp?b?GyRCJSglaSE8GyhC?= Message-ID: <456FEEB6.3000200@sc.musashi-tech.ac.jp> はじめまして 武蔵工大の安井と申します。 WRFV2(http://www.wrf-model.org/index.php)をscoreで 使おうとしていますが，コンパイルに失敗してしまいます。 RHEL ES 3でscore5.8.3，ifort9.1を使えるようにコンパイル し直しました。 exampleのpi3f90.f90はコンパイルできましたが，WRFV2のコンパイルをすると， 最後の最後で， mpif90 -f90=ifort -o wrf.exe -O3 -convert big_endian wrf.o libwrflib.a -L../external/io_netcdf -lwrfio_nf -L/home/general/hyasui/score/netcdf-3.6.1/lib -lnetcdf -L../external/RSL/RSL -lrsl -L../external/io_int -lwrfio_int -L../external/io_grib1 -lio_grib1 ../frame/module_internal_header_util.o ../frame/pack_utils.o -L../external/esmf_time_f90 -lesmf_time ifort: Command line warning: ignoring option '-c'; no argument required /opt/score/mpi/mpich-1.2.5/i386-redhat-linux2_4_intel8/lib/libmpich.a(chinit.o)( .text+0x35): In function `MPID_CH_InitMsgPass': : undefined reference to `score_num_node' /opt/score/mpi/mpich-1.2.5/i386-redhat-linux2_4_intel8/lib/libmpich.a(scorepriv_ rma.o)(.text+0x1e): In function `MPID_SCORE_Init': : undefined reference to `score_get_opt' 　　： 　　： のようなエラーになってしまいました。 まだ，scoreのコンパイル自体は失敗しているのかもしれませんが， どのようにすればよいか，まったく見当がつきません。 何かご教授賜れれば幸いです。よろしくお願いいたします。 -- 武蔵工業大学 工学部 安井　浩之(やすい ひろゆき) E-mail: hyasui ＠ sc.musashi-tech.ac.jp From kameyama ＠ pccluster.org Fri Dec 1 18:42:56 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Fri, 01 Dec 2006 18:42:56 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?V1JGVjIbJEIlMyVzJVElJCVrGyhC?= =?ISO-2022-JP?B?GyRCJSglaSE8GyhC?= In-Reply-To: <456FEEB6.3000200@sc.musashi-tech.ac.jp> References: <456FEEB6.3000200@sc.musashi-tech.ac.jp> Message-ID: <456FF920.2070801@pccluster.org> 亀山です. YASUI Hiroyuki wrote: > exampleのpi3f90.f90はコンパイルできましたが，WRFV2のコンパイルをすると， > 最後の最後で， > > mpif90 -f90=ifort -o wrf.exe -O3 -convert big_endian wrf.o libwrflib.a -f90 というオプションは mpich でコンパイラを指定する仕掛けです. これを使用すると, mpich を生成したときの compile driver scoref90 の代わりに ifort を使用してしまいます. mpich をコンパイルするときには, -compiler=intel8 を付けているので, このオプションのため > ifort: Command line warning: ignoring option '-c'; no argument required というエラーになり, SCore 関連のライブラリもリンクされないため > /opt/score/mpi/mpich-1.2.5/i386-redhat-linux2_4_intel8/lib/libmpich.a(chinit.o)( > .text+0x35): In function `MPID_CH_InitMsgPass': > : undefined reference to `score_num_node' というエラーになってしまいます. -f90=ifort を使う代わりに -compiler intel8 を使用してみてください. Kameyama Toyohisa From hyasui ＠ sc.musashi-tech.ac.jp Fri Dec 1 20:40:20 2006 From: hyasui ＠ sc.musashi-tech.ac.jp (YASUI Hiroyuki) Date: Fri, 01 Dec 2006 20:40:20 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?V1JGVjIbJEIlMyVzJVElJCVrGyhC?= =?ISO-2022-JP?B?GyRCJSglaSE8GyhC?= In-Reply-To: <456FF920.2070801@pccluster.org> References: <456FEEB6.3000200@sc.musashi-tech.ac.jp> <456FF920.2070801@pccluster.org> Message-ID: <457014A4.60704@sc.musashi-tech.ac.jp> 亀山様， 武蔵工大の安井です。 早速のご教授ありがとうございました。 設定ファイルをご指示いただいた通り修正した結果， コンパイルに成功いたしました。 ありがとうございました。 Kameyama Toyohisa wrote: >> mpif90 -f90=ifort -o wrf.exe -O3 -convert big_endian wrf.o libwrflib.a > > -f90 というオプションは mpich でコンパイラを指定する仕掛けです. > これを使用すると, mpich を生成したときの compile driver scoref90 > の代わりに ifort を使用してしまいます. > mpich をコンパイルするときには, -compiler=intel8 を付けているので, > このオプションのため > >> ifort: Command line warning: ignoring option '-c'; no argument required > > というエラーになり, SCore 関連のライブラリもリンクされないため > >> > /opt/score/mpi/mpich-1.2.5/i386-redhat-linux2_4_intel8/lib/libmpich.a(chinit.o)( >> .text+0x35): In function `MPID_CH_InitMsgPass': >> : undefined reference to `score_num_node' > > というエラーになってしまいます. > > -f90=ifort を使う代わりに > -compiler intel8 > を使用してみてください. > > Kameyama Toyohisa -- 武蔵工業大学 工学部 安井　浩之(やすい ひろゆき) E-mail: hyasui ＠ sc.musashi-tech.ac.jp From kunihiko_k ＠ hotmail.co.jp Wed Dec 6 18:40:05 2006 From: kunihiko_k ＠ hotmail.co.jp (=?iso-2022-jp?B?GyRCPi5DUxsoQiAbJEJLLkknGyhC?=) Date: Wed, 06 Dec 2006 18:40:05 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?b?U2NvcmU2LjAuMBskQiROJSQbKEI=?= =?iso-2022-jp?b?GyRCJXMlOSVIITwlayRLJEQkJCRGGyhC?= Message-ID: 神奈川大学理学部情報科学科４年 小池邦彦と申します。 卒業研究の過程でScore6.0.0をインストールしようと試みているのですが、 EITを起動するとキーボードが反応しなくなり、計算ホストの台数やServer名 の入力が出来ないためにインストール出来ない状態でいます。 どなたかお分かりになる方がいらっしゃいましたら それに対する解決策をご教授頂けたらと思います。 神奈川大学 理学部 小池 邦彦 E-mail: kunihiko_k ＠ hotmail.co.jp _________________________________________________________________ メッセンジャーでファイルのやりとりができる http://promotion.live.jp/messenger/share.htm From yakuwa ＠ cc.yama.tus.ac.jp Wed Dec 6 18:48:04 2006 From: yakuwa ＠ cc.yama.tus.ac.jp (Tadao Yakuwa) Date: Wed, 06 Dec 2006 18:48:04 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?U2NvcmU2LjAuMBskQiROGyhK?= =?ISO-2022-JP?B?GyRCJSQlcyU5JUghPCVrJEskRCQkJEYbKEI=?= In-Reply-To: References: Message-ID: <200612060948.AA00000@yamay005.cc.yama.tus.ac.jp> 山口東京理科大学の八鍬と申します。 便乗させて頂いて質問致します。 同じ状況になったので、EITを起動する前に、 export LANG=C を行って起動したところ入力出来ました。 CentOS の言語は、英語でインストールした 方が良いのでしょうか？ >神奈川大学理学部情報科学科４年 >小池邦彦と申します。 > >卒業研究の過程でScore6.0.0をインストールしようと試みているのですが、 >EITを起動するとキーボードが反応しなくなり、計算ホストの台数やServer名 >の入力が出来ないためにインストール出来ない状態でいます。 >どなたかお分かりになる方がいらっしゃいましたら >それに対する解決策をご教授頂けたらと思います。 > >神奈川大学 理学部 > 小池 邦彦 > E-mail: kunihiko_k ＠ hotmail.co.jp From kameyama ＠ pccluster.org Wed Dec 6 19:50:15 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Wed, 06 Dec 2006 19:50:15 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?U2NvcmU2LjAuMBskQiROJSQlcxsoQg==?= =?ISO-2022-JP?B?GyRCJTklSCE8JWskSyREJCQkRhsoQg==?= In-Reply-To: <200612060948.AA00000@yamay005.cc.yama.tus.ac.jp> References: <200612060948.AA00000@yamay005.cc.yama.tus.ac.jp> Message-ID: <4576A067.2040108@pccluster.org> 亀山です. Tadao Yakuwa wrote: > 同じ状況になったので、EITを起動する前に、 > export LANG=C > を行って起動したところ入力出来ました。 EIT は tcl/tk を使用しているのですが, tcl/tk を LANG ja_JP.UTF-8 で起動すると入力できなくなるようです. (ja, ja_JP.eucJP などなら入力できたのですが...) > CentOS の言語は、英語でインストールした > 方が良いのでしょうか？ というわけで, tcl/tk だけの問題であるようです. EIT の起動だけは LANG を C にして起動してください. Kameyama Toyohisa From ishikawa ＠ is.s.u-tokyo.ac.jp Thu Dec 7 11:42:33 2006 From: ishikawa ＠ is.s.u-tokyo.ac.jp (Yutaka Ishikawa) Date: Thu, 07 Dec 2006 11:42:33 +0900 (JST) Subject: [SCore-users-jp] =?iso-2022-jp?b?UEMbJEIlLyVpJTklPyU3JXMbKEI=?= =?iso-2022-jp?b?GyRCJV0lOCUmJWAzKzpFJE4kKkNOJGkkOxsoQg==?= Message-ID: <20061207.114233.608423577.ishikawa@is.s.u-tokyo.ac.jp> SCore Usersメーリングリストの皆様、 シンポジウムの事前登録が間際になりました。 SCoreならびに最新のSCore 6.0に関する質問等ある方は、シンポジウムに是非 お越し下さい。開発メンバ全員が参加しています（はず）。 シンポジウム中、 14日 午前のSCore紹介の時でも、15日 午前のSCoreアップデート、今後の展開 の時、それ以外の時にでも、ご意見、ご質問を歓迎します。 なお、WEBサーバが、本日夜から明日お昼まで停止します。 事前登録の締め切りも延長します。 石川 ------------------------------------------------------------------ 第6回PCクラスタシンポジウム開催のご案内 主催：PCクラスタコンソーシアム http://www.pccluster.org/event/symp/2006 事前登録 (12 月 7 日 18:00 まで) 日程：2006年12月14日(木)〜15日(金) 　　　　　　　　　　　　　　　 開催概要 2001年10月に発足したPCクラスタコンソーシアムは、国内主要コンピュータベ ンダおよびPCクラスタのサポートビジネスを展開している企業、PCクラスタを 利用している大学、研究機関、個人などから構成される非営利団体です。 PCクラスタコンソーシアムは、日本発の高性能クラスタシステムソフトウェア SCoreの開発・支援を通して国内外のPCクラスタ市場の発展に貢献してきてお ります。 当コンソーシアム主催のPCクラスタシンポジウムでは、SCoreの最新情報のみ ならず、PCクラスタプラットフォームの最新情報をお届けし、また、ユーザの 皆様との交流の場を設けております。 第6回目のPCクラスタシンポジウムでは、最新のSCore版であるSCore 6.0 Development KitのDVDを配布します。SCoreの紹介、PCクラスタに関するメン バ企業の取り組みの紹介に加えて、ペタフロップス時代を迎えようとしている 高性能コンピュータとPCクラスタの関係に焦点を当てて、PCクラスタの将来を 展望します。また、1日目の午後、2日目は併設して企業展示が行なわれます。 皆様の御参加をお待ちしております。 【12月14日（木）】 09:30-　受付開始 10:30-11:45　 Score　ご紹介 原田 浩 (日本ヒューレット・パッカード株式会社) 概要：SCoreの概要とV6.0ご紹介 13:30 - 14:30 基調講演 姫野 龍太郎　（独立行政法人理化学研究所） 　　「ペタフロップス時代に向けたPCクラスタの役割(仮題)」 14:30 - 15:00 Break 15:00 - 16:30 パネル討論： 「ペタ時代に向けた要件とSCoreの役割と課題」 　　司会：石川 裕 （東京大学） 　　パネリスト： 　　　　姫野 龍太郎（独立行政法人理化学研究所） 　　　　西川 武志 （東京工業大学） 　　　　住元 真司（株式会社富士通研究所） 　　　　清水 正明（株式会社日立製作所） 17:30 - 懇親会(参加費2,000円) ＊ 10:00〜17:30 併設して企業展示を行ないます。 <<出展企業>> 株式会社アックス 日本ヒューレット・パッカード株式会社 株式会社日立製作所 富士通株式会社 株式会社日本コンピューティングシステム 住商情報システム株式会社 日本電気株式会社 株式会社富士通九州システムエンジニアリング 株式会社ベストシステムズ 【12月15日（金）】 一般セッション 09:30- 受付開始 10:30-11:00　オープニング 石川　裕(東京大学) 　　「SCoreアップデート、今後の展開」 11:00-12:00　PCクラスタプラットフォームの動向 　o 11:00- 11:30 池井　満 （インテル株式会社） 　　「Intel マルチ・コア・コンピューティングの威力 　　- 最新ハードウェアとソフトウェアの紹介 -」 　o 11:30-12:00 山野洋幸 (日本AMD株式会社) 　 「AMD Opteron(TM) プロセッサ 最新情報アップデート 　 〜HPCクラスタプラットフォームとしての優位性〜 」 13:30-15:15 企業発表 　　「メンバ企業によるSCoreクラスタ導入事例・応用事例・今後の取り組み」 　　- 13:30-13:45 アルテアエンジニアリング株式会社 　　- 13:45-14:00 日本電気株式会社 　　- 14:00-14:15 富士通株式会社/株式会社富士通研究所 　　- 14:15-14:30 休憩 　　- 14:30-14:45 株式会社日立製作所 　　- 14;45-15:00 日本ヒューレット・パッカード株式会社 　　- 15:00-15:15 Allinea Software 15:15-15:30 Break 　 15:30-17:00 パネル討論： 「PCクラスタの将来展望 −汎用スパコンになり得るか? 運用、実装、アプリ、人材の観点から−」 司会：西 (ベストシステムズ) 　　パネリスト： 重谷 隆之 (独立行政法人理化学研究所) 　　　 久門 耕一 (株式会社富士通研究所) 愛野 茂幸 (日本電気株式会社) 畑崎 隆雄 (日本ヒューレット・パッカード株式会社) 堀 敦史 (Allinea Software) ＊10:00 〜 15:30 併設して企業展示を行ないます。 <<出展企業>> 株式会社アックス 日本ヒューレット・パッカード株式会社 株式会社日立製作所 富士通株式会社 株式会社日本コンピューティングシステム 住商情報システム株式会社 日本電気株式会社 株式会社富士通九州システムエンジニアリング 株式会社ベストシステムズ From taku ＠ st.seikei.ac.jp Sat Dec 9 23:22:07 2006 From: taku ＠ st.seikei.ac.jp (Taku ITOH) Date: Sat, 09 Dec 2006 23:22:07 +0900 Subject: [SCore-users-jp] SCore-D =?iso-2022-jp?b?GyRCJUYlOSVIJEdKIz90JVslOSVIJHI7SCRDGyhC?= =?iso-2022-jp?b?GyRCJD86XSRLQDgkOCRrTGRCaiRLJEQkJCRGGyhC?= Message-ID: <20061209142209.32B32750042@mail.st.seikei.ac.jp> 亀山様，メーリングリストの皆様 はじめまして，成蹊大学の伊東と申します． 現在，SCore 6.0.0 を使って並列環境を整えたいと考えており， Score DVD を使用してインストールをしたのですが， SCore-D テストで複数ホストを使った際に問題が生じましたので， ご助言いただければと思います． まず，私の計算機環境は以下の通りです． CPU: Pentium4 3.2GHz × 8 (全て Hyper-Threading on) そのうち1台は Server 兼 Compute Host OS: CentOS 4.4 LAN: ethernet 現状は2通りの方法で「PC Cluster Consortium」の 「SCore Cluster System Software インストールガイド」 にしたがって，OSのインストールから行いました． 具体的には， 1回目：RPMファイルによるインストール 2回目：Easy Installation Toolによるインストール を行いました． 1回目のRPMファイルによるインストール時に， サーバホストの設定まで一通りインストール作業が終えることができました． 一箇所だけ，インストール途中で，気になったのは 「SCore SystemのCompute Hostへのインストール」の段階で， # cd /opt/score.work # ./bininstall -compute を実行したとき，最後に eth0 (e1000-scorepm1) cannot use PM/Ethernet. というメッセージが出た Compute Host があったことです． 8台とも全く同じマザーボードを使い， そのマザーボード上のオンボードの LAN を用いているにも関わらず， 上記のメッセージが出た Compute Host が合計で4台ほどありました． ( インストール途中の話ではないですが， ) (「can use」と出ていた Compute Host も，後ほど ) ( # cd /opt/score.work ) ( # ./bininstall -compute ) ( を再度実行したときには，「cannot use」と出るようになりました．) それでも，システムテストの「PM/Ethernetのテスト方法」までは ほとんど問題はなく，書いてある通りに実行できました． しかしながら，「SCore-D テスト手順」の段階で問題が生じました． 生じた問題は，過去ログの「2006年 9月 15日 (金) 23:37:06 JST」に 鈴木様が書いていることに酷似しています． 具体的には $ mpc++ -o hello hello.cc $ scrun -nodes=1 ./hello までは問題なく実行することができるのですが， $ scrun -nodes=4 ./hello を実行したときに，エラーメッセージが出てうまく動きません． $ scrun -nodes=1x2 ./hello までは実行できることを確認しました． しかし，2ホスト以上を使用して実行すると問題が生じます． 以下のエラーメッセージは， $ scrun -nodes=2x1 ./hello を実行したときのエラーメッセージです． SCore-D 6.0.0 connected. <1> ULT: Exception Signal (Segmentation fault) このエラーメッセージは， $ scrun -nodes=2x1 ./hello を繰り返し実行していくと変わっていき， SCore-D 6.0.0 connected. <1> ULT:PANIC PM Error pmGetSendBuffer(dst=0,len=-65508)=22 SCore-D 6.0.0 connected. <0> ULT: Exception Signal (Segmentation fault) <1> ULT: Exception Signal (Segmentation fault) SCore-D 6.0.0 connected. <1> ULT:PANIC PM Error pmGetSendBuffer(dst=0,len=-1493762020)=22 などになります． 「len=」の後の値は様々変わりますが，全てマイナスの値になります． その後様々試行錯誤して，メーリングリストの過去ログなどを見ながら， 色々と試してみましたが問題は解消されず，前述の 「eth0 (e1000-scorepm1) cannot use PM/Ethernet.」 のメッセージも気になりましたので， rpmによるインストールの途中段階で何らかの問題が生じたと考え， 2回目のEasy Installation Toolによるインストールを行いました． Easy Installation Toolによるインストールも CentOS 4.4 をインストールするところからはじめました． こちらも， 「RWC SCore Easy Installation Tool (EIT) Version 2 ガイド」 にしたがってインストール致しました． 現状は，8台全てにインストールをせずに， まずは Server host にする PC に CentOS 4.4 をインストールし， Compute host にする PC 2台に Easy Installation Tool を使った インストールを行った段階です． すなわち，現段階では Server PC は Compute host として動いておりません． この段階で，システムテストの「PM/Ethernet のテスト方法」までは ほとんど問題なく行うことができましたが， やはり rpm によるインストール時と同様に， 「SCore-D テスト手順」の段階で複数のホストを使おうとすると問題が生じます． すなわち， $ scrun -nodes=2 ./hello を実行するとエラーメッセージが出てしまいます． エラーメッセージも rpm を使ったときと全く同様です． 上記コマンドを何度も繰り返し実行した際に エラーメッセージが変化するのも全く同様です． また，現れるエラーメッセージの種類も同じです． Easy Installation Tool によってインストールした際に， SMP の設定はしなかったため，上記のコマンドで 2ホスト使用していることになると思います． SMP の設定をしていないため，「scrun -nodes=2x1 ./hello」は 試すことが出来ませんが， $ scrun -nodes=1 ./hello が動くことは確認しました． 大変申し訳ありませんが，以上のようになっている原因と対策を ご助言いただけないでしょうか？ 宜しくお願い致します． それでは，失礼致します． 成蹊大学 理工学部 情報科学科 伊東　拓 From kameyama ＠ pccluster.org Mon Dec 11 17:07:32 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Mon, 11 Dec 2006 17:07:32 +0900 Subject: [SCore-users-jp] SCore-D =?ISO-2022-JP?B?GyRCJUYlOSVIJEdKIxsoQg==?= =?ISO-2022-JP?B?GyRCP3QlWyU5JUgkcjtIJEMkPzpdJEtAOCQ4JGtMZEJqJEskRCQkGyhC?= =?ISO-2022-JP?B?GyRCJEYbKEI=?= In-Reply-To: <20061209142209.32B32750042@mail.st.seikei.ac.jp> References: <20061209142209.32B32750042@mail.st.seikei.ac.jp> Message-ID: <457D11C4.8020002@pccluster.org> 亀山です. すみません. 本質的なところは, まだ解決していないのですが... Taku ITOH wrote: > を実行したとき，最後に > > eth0 (e1000-scorepm1) cannot use PM/Ethernet. > > というメッセージが出た Compute Host があったことです． これは setup script の bug です. e1000-scorepm1 になっていれば大丈夫です. > 具体的には > > $ mpc++ -o hello hello.cc > $ scrun -nodes=1 ./hello > > までは問題なく実行することができるのですが， > > $ scrun -nodes=4 ./hello > > を実行したときに，エラーメッセージが出てうまく動きません． > > $ scrun -nodes=1x2 ./hello > > までは実行できることを確認しました． > しかし，2ホスト以上を使用して実行すると問題が生じます． > 以下のエラーメッセージは， > > $ scrun -nodes=2x1 ./hello > > を実行したときのエラーメッセージです． > > SCore-D 6.0.0 connected. > <1> ULT: Exception Signal (Segmentation fault) この現象は PCI express 接続の e1000 で起こったのですが, その機材は一時的に使用できただけで, 残念ながら, 現在は使用できる環境にありません. (多分, PM/Ethernet か, そのために手を入れた e1000-scorepm1 driver が原因ではないかとは思っているのですが...) Kameyama Toyohisa From sassa ＠ ace.ec.saga-u.ac.jp Mon Dec 11 17:55:39 2006 From: sassa ＠ ace.ec.saga-u.ac.jp (sassa) Date: Mon, 11 Dec 2006 17:55:39 +0900 Subject: [SCore-users-jp] rpmtest =?utf-8?b?44Gn?= timed out Message-ID: <1165827339.30202.83.camel@server.pccluster.org> はじめまして 佐賀大学理工学部電気電子工学科4年 佐々木裕一と申します。 現在、 卒業研究のために SCore6.0.0をインストールしようとして悪戦苦闘しております。 scoutまでは動作するものの、どうしても インストールガイドに書いてあるようには rpmtest が動作しません。 ●以下のようになってしまいます。 まず [root ＠ server ~]# rpmtest comp1 ethernet -reply connect to address 192.168.0.101: Connection refused Trying krb4 rsh... connect to address 192.168.0.101: Connection refused trying normal rsh (/usr/bin/rsh) そして別のターミナルで [root ＠ server ~]# rpmtest comp0 ethernet -dest 1 -ping connect to address 192.168.0.254: Connection refused Trying krb4 rsh... connect to address 192.168.0.254: Connection refused trying normal rsh (/usr/bin/rsh) pmReceive: Connection timed out(110) [root ＠ server ~]# EITでインストールしても、rpmでインストールしても同じ結果になってしまいます。 ●現在の環境は以下のようになっています。 (1) rpmでインストールしました。 (2) PC2台をクロスケーブルでつないで、２台だけで検証しています (片方はserver兼計算ホスト)。 (3) rshはrootと一般ユーザともに許可してあります。 (4) /opt/score/etc/pm-ethernet.conf (mkpmethernetconfで作成しました。) [root ＠ server ~]# cat /opt/score/etc/pm-ethernet.conf unit 0 intreap 0 # maxnsend 0 - 32 #maxnsend 16 maxnsend 4 # backoff 1000 - 20000 (usec) backoff 4800 # checksum (0 if off, 1 is on) checksum 0 # PE MAC address base hostname # comment 0 00:30:48:85:DB:6C server.pccluster.org # ip=192.168.0.254 on eth0 1 00:30:48:85:DB:7C comp1.pccluster.org # ip=192.168.0.101 on eth0 [root ＠ server ~]# (5) scorehosts.db [root ＠ server ~]# cat /opt/score/etc/scorehosts.db /* PM/Ethernet */ ethernet type=ethernet -config:file=/opt/score/etc/pm- ethernet.conf ## /* PM/SHMEM */ shmem0 type=shmem -node=0 shmem1 type=shmem -node=1 #define MSGBSERV msgbserv=(server.pccluster.org:8764) server.pccluster.org network=ethernet,shmem0,shmem1 group=_scoreall_,pcc,pcc0_1,pcc0_3,pcc0_9 smp=2 MSGBSERV cpugen=pentium4 speed=3000 comp1.pccluster.org network=ethernet,shmem0,shmem1 group=_scoreall_,pcc,pcc0_1,pcc0_3,pcc0_9 smp=2 MSGBSERV cpugen=pentium4 speed=3000 [root ＠ server ~]# (6) /etc/pm_ethernet.conf [root ＠ server ~]# cat /etc/pm_ethernet.conf PM_ETHERNET_UNIT_ETH0=0 [root ＠ comp1 ~]# cat /etc/pm_ethernet.conf PM_ETHERNET_UNIT_ETH0=0 (7) /proc/interrupts [root ＠ server ~]# cat /proc/interrupts CPU0 CPU1 0: 9436866 9393282 IO-APIC-edge timer 1: 11900 13053 IO-APIC-edge i8042 8: 1 0 IO-APIC-edge rtc 9: 0 0 IO-APIC-level acpi 12: 218324 210752 IO-APIC-edge i8042 14: 84307 84244 IO-APIC-edge ide0 169: 0 0 IO-APIC-level uhci_hcd 177: 8 18654 IO-APIC-level uhci_hcd, eth0 185: 84947 0 IO-APIC-level libata, uhci_hcd, eth1 193: 0 0 IO-APIC-level ehci_hcd, uhci_hcd NMI: 0 0 LOC: 18440962 18440974 ERR: 0 MIS: 0 [root ＠ server ~]# [root ＠ comp1 ~]# cat /proc/interrupts CPU0 CPU1 0: 6868613 6802361 IO-APIC-edge timer 8: 1 0 IO-APIC-edge rtc 9: 0 0 IO-APIC-level acpi 14: 380 231 IO-APIC-edge ide0 169: 0 0 IO-APIC-level uhci_hcd 177: 18394 0 IO-APIC-level uhci_hcd, eth0 185: 41191 31689 IO-APIC-level libata, uhci_hcd 193: 0 0 IO-APIC-level ehci_hcd, uhci_hcd NMI: 0 0 LOC: 13513903 13513914 ERR: 0 MIS: 0 [root ＠ comp1 ~]# (8) /proc/ioports [root ＠ server ~]# cat /proc/ioports 0000-001f : dma1 0020-0021 : pic1 0040-0043 : timer0 0050-0053 : timer1 0060-006f : keyboard 0070-0077 : rtc 0080-008f : dma page reg 00a0-00a1 : pic2 00c0-00df : dma2 00f0-00ff : fpu 01f0-01f7 : ide0 02f8-02ff : serial 0378-037a : parport0 03c0-03df : vga+ 03f6-03f6 : ide0 03f8-03ff : serial 0400-0403 : PM1a_EVT_BLK 0404-0405 : PM1a_CNT_BLK 0408-040b : PM_TMR 0428-042f : GPE0_BLK 0500-051f : 0000:00:1f.3 e000-e007 : 0000:00:02.0 e100-e11f : 0000:00:1d.0 e100-e11f : uhci_hcd e200-e21f : 0000:00:1d.1 e200-e21f : uhci_hcd e300-e31f : 0000:00:1d.2 e300-e31f : uhci_hcd e400-e41f : 0000:00:1d.3 e400-e41f : uhci_hcd e900-e907 : 0000:00:1f.2 e900-e907 : libata ea00-ea03 : 0000:00:1f.2 ea00-ea03 : libata eb00-eb07 : 0000:00:1f.2 eb00-eb07 : libata ec00-ec03 : 0000:00:1f.2 ec00-ec03 : libata ed00-ed0f : 0000:00:1f.2 ed00-ed0f : libata f000-f00f : 0000:00:1f.1 f000-f007 : ide0 [root ＠ server ~]# [root ＠ comp1 ~]# cat /proc/ioports 0000-001f : dma1 0020-0021 : pic1 0040-0043 : timer0 0050-0053 : timer1 0060-006f : keyboard 0070-0077 : rtc 0080-008f : dma page reg 00a0-00a1 : pic2 00c0-00df : dma2 00f0-00ff : fpu 01f0-01f7 : ide0 02f8-02ff : serial 0378-037a : parport0 03c0-03df : vga+ 03f6-03f6 : ide0 03f8-03ff : serial 0400-0403 : PM1a_EVT_BLK 0404-0405 : PM1a_CNT_BLK 0408-040b : PM_TMR 0428-042f : GPE0_BLK 0500-051f : 0000:00:1f.3 e000-e007 : 0000:00:02.0 e100-e11f : 0000:00:1d.0 e100-e11f : uhci_hcd e200-e21f : 0000:00:1d.1 e200-e21f : uhci_hcd e300-e31f : 0000:00:1d.2 e300-e31f : uhci_hcd e400-e41f : 0000:00:1d.3 e400-e41f : uhci_hcd e900-e907 : 0000:00:1f.2 e900-e907 : libata ea00-ea03 : 0000:00:1f.2 ea00-ea03 : libata eb00-eb07 : 0000:00:1f.2 eb00-eb07 : libata ec00-ec03 : 0000:00:1f.2 ec00-ec03 : libata ed00-ed0f : 0000:00:1f.2 ed00-ed0f : libata f000-f00f : 0000:00:1f.1 f000-f007 : ide0 [root ＠ comp1 ~]# あと今の状況で mandelのデモも実行してみると、 msgbのウインドウが赤くなったままになるものの、 それからターミナルになにも反応がありません。 以上です。 どうかよろしくお願い致します。 From f0530146 ＠ ipc.shizuoka.ac.jp Mon Dec 11 20:19:45 2006 From: f0530146 ＠ ipc.shizuoka.ac.jp (Yuta Inoue) Date: Mon, 11 Dec 2006 20:19:45 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?b?UE1fRXRoZW5ldBskQiROGyhCdGcz?= =?iso-2022-jp?b?GyRCJEskRCQkJEYbKEI=?= Message-ID: <457D3ED1.7070908@ipc.shizuoka.ac.jp> 　はじめまして． 　静岡大学　理工学研究科2年の井上雄太といいます． 　現在Scoreを3台のコンピュータにインストールしようとしていますが, Pm_Ethernetで躓いてしまいこの場で助言をいただければと思い投稿しました． 　こちらで起きた症状ですが，まず， # cd /opt/score/install # ./setup -score_comp を，実行しますとtg3 cannot Useと表示をされ， # /etc/rc.d/init.d/pm_ethernet start を実行したところ， Starting PM/Ethernet: open_epm(0): open failed: 2 Trying old style....device: eth1 etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!! となり，起動をしない状況です． 　dmesgについては， e1000_scorepm1: no version for "struct_module" found: kernel tainted. e1000_scorepm1: Unknown symbol pm_ethernet_netif_rxfunc e1000_scorepm1: Unknown symbol pm_ethernet_request_irq e1000_scorepm1: Unknown symbol pm_ethernet_free_irq との表示がありました． 　また，makeで出力された表示を確認したところ以下のようなERROR文の表示を確認しました． echo " ERROR: Kernel configuration is invalid."; \ echo " include/linux/autoconf.h or include/config/auto.conf are missing."; \ echo " Run 'make oldconfig && make prepare' on kernel src to fix it."; \ echo; \ /bin/false) mkdir -p /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/.tmp_versions rm -f /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/.tmp_versions/* make -f scripts/Makefile.build obj=/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3 gcc -m32 -Wp,-MD,/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/.tg3.o.d -nostdinc -isystem /usr/lib/gcc/i386-redhat-linux/3.4.6/include -D__KERNEL__ -Iinclude -i nclude include/linux/autoconf.h -Wall -Wundef -Wstrict-prototypes -Wno-trigraphs -fno-strict-aliasing -fno-common -Os -pipe -msoft-float -mpreferred-stack-boundary=2 -fno-unit-at-a-time -march=i686 -mtune=pentium4 -mregparm=3 -ffreestand ing -Iinclude/asm-i386/mach-generic -Iinclude/asm-i386/mach-default -fomit-frame-pointer -g -Wdeclaration-after-statement -I/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2. 6.18.3/.. -I/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/../../../include -I/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj. i386-centos4-linux2_6 ＠ 2.6.18.3/../../../../include -I/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/../../../../../../include -DMODULE -D"KBUILD_STR(s)=#s" -D"KBUIL D_BASENAME=KBUILD_STR(tg3)" -D"KBUILD_MODNAME=KBUILD_STR(tg3_scorepm1)" -c -o /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/.tmp_tg3.o /opt/score/score6-src/SCore/p m-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c In file included from /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:70: /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3_compat.h:10: error: conflicting types for 'pm_message_t' include/linux/pm.h:142: error: previous declaration of 'pm_message_t' was here /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3_compat.h:12: error: redefinition of typedef 'pci_power_t' include/linux/pci.h:70: error: previous declaration of 'pci_power_t' was here /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3_compat.h:44: warning: static declaration of 'pci_dev_present' follows non-static declaration include/linux/pci.h:457: warning: previous declaration of 'pci_dev_present' was here /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c: In function `tg3_start_xmit': /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:3724: error: structure has no member named `tso_size' /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c: In function `tg3_start_xmit_dma_bug': /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:3852: error: structure has no member named `tso_size' /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c: In function `tg3_chip_reset': /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:4648: error: too many arguments to function `pci_restore_state' /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c: In function `tg3_init_one': /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:11375: error: too many arguments to function `pci_save_state' /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:11409: error: too many arguments to function `pci_save_state' /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c: In function `tg3_resume': /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:11541: error: too many arguments to function `pci_restore_state' /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c: At top level: /opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.c:11569: warning: initialization from incompatible pointer type make[10]: *** [/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3/tg3.o] Error 1 make[9]: *** [_module_/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3] Error 2 make[9]: Leaving directory `/usr/src/kernels/linux-2.6.18.3' make[8]: *** [all] Error 2 make[8]: Leaving directory `/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6/obj.i386-centos4-linux2_6 ＠ 2.6.18.3' make[7]: *** [kernelmod-all] Error 2 make[7]: Leaving directory `/opt/score/score6-src/SCore/pm-v2/arch/ethernet/driver/tg3_scorepm/centos4-linux2_6' make[6]: [subdir-all] Error 2 (ignored) 　ここでのERRORの指示通り，kernelソースのところでmake oldconfigと make prepareを実行したましたが，これ以降のmakeでも同様のERRORを確認しています． 　kernel2.6.18.3を利用しているのは，Centos4.4のインストール時のkernelでは オンボードのBroadcomのNICを利用できなかったため利用しています． 　また，コンピュータホストをディスクレスで動かすためにドライバをkernelにbuildinしています． 　申し訳ありませんが，このような症状になっている原因と対策について助言をいただけないでしょうか？ 　それでは，失礼いたします． ------------------------------------------------------------ 井上雄太　　　　　Email:f0530146 ＠ ipc.shizuoka.ac.jp From kameyama ＠ pccluster.org Mon Dec 11 20:26:46 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Mon, 11 Dec 2006 20:26:46 +0900 Subject: [SCore-users-jp] rpmtest =?ISO-2022-JP?B?GyRCJEcbKEIgdGltZWQg?= =?ISO-2022-JP?B?b3V0?= In-Reply-To: <1165827339.30202.83.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> Message-ID: <457D4076.4080707@pccluster.org> 亀山です. sassa wrote: > (1) rpmでインストールしました。 > (2) PC2台をクロスケーブルでつないで、２台だけで検証しています > (片方はserver兼計算ホスト)。 > (3) rshはrootと一般ユーザともに許可してあります。 SCore 6 の PM/Ethernet は kernel 本体に patch を当てない代わりに NIC driver をいじっています. そのため, 現在, e1000 (e1000-scorepm1) と tg3 (tg3_scorepm1) しかサポートしていません. この 2 台の NIC は何を使用しているでしょうか? % /opt/score/install/linux2.6/netdev -a で確認できると思います. これが, tg3-scorepm1 か e1000-scorepm1 になっているかどうか 確認してください. Kameyama Toyohisa From kameyama ＠ pccluster.org Mon Dec 11 20:53:48 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Mon, 11 Dec 2006 20:53:48 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?UE1fRXRoZW5ldBskQiROGyhCdGcz?= =?ISO-2022-JP?B?GyRCJEskRCQkJEYbKEI=?= In-Reply-To: <457D3ED1.7070908@ipc.shizuoka.ac.jp> References: <457D3ED1.7070908@ipc.shizuoka.ac.jp> Message-ID: <457D46CC.4010107@pccluster.org> 亀山です. Yuta Inoue wrote: > 　こちらで起きた症状ですが，まず， > # cd /opt/score/install > # ./setup -score_comp > を，実行しますとtg3 cannot Useと表示をされ， > # /etc/rc.d/init.d/pm_ethernet start > を実行したところ， > Starting PM/Ethernet: open_epm(0): open failed: 2 > Trying old style....device: eth1 > etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!! > となり，起動をしない状況です． > 　dmesgについては， > との表示がありました． (中略) > 　kernel2.6.18.3を利用しているのは，Centos4.4のインストール時のkernelでは > オンボードのBroadcomのNICを利用できなかったため利用しています． > 　また，コンピュータホストをディスクレスで動かすためにドライバをkernel にbuildinしています． 確認ですが, PM/Ethernet で使用したい NIC は, オンボードのBroadcomのNIC なのですよね? SCore 6 の PM/Ethernet では kernel 本体の patch をやめたため, NIC の device driver を修正する必要があります. そのため, そのような修正を行った device driver を使用する必要があります. kernel が 2.6.18.3 でなければならない理由から考えると, 井上さんの環境では, SCore 付属の driver ではなく, 2.6.18.3 付属の driver を使用する必要が あるかと思います. 基本的には, NIC の driver で #include を行うだけで済むようにはなっていますが, 2.6.17 あたりから NIC driver の構造が変わっているので, 若干変更する必要があるかも しれません. Kameyama Toyohisa From sassa ＠ ace.ec.saga-u.ac.jp Mon Dec 11 21:23:22 2006 From: sassa ＠ ace.ec.saga-u.ac.jp (sassa) Date: Mon, 11 Dec 2006 21:23:22 +0900 Subject: [SCore-users-jp] rpmtest =?UTF-8?Q?=E3=81=A7?= timed out In-Reply-To: <1165827339.30202.83.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> Message-ID: <1165839802.22061.10.camel@server.pccluster.org> 亀山樣 >SCore 6 の PM/Ethernet は kernel 本体に patch を当てない代わりに >NIC driver をいじっています. >そのため, 現在, e1000 (e1000-scorepm1) と tg3 (tg3_scorepm1) >しかサポートしていません. >この 2 台の NIC は何を使用しているでしょうか? > % /opt/score/install/linux2.6/netdev -a >で確認できると思います. >これが, tg3-scorepm1 か e1000-scorepm1 になっているかどうか >確認してください. 早速確認致しました。 [root ＠ server ~]# /opt/score/install/linux2.6/netdev -a eth0 tg3 eth1 tg3 [root ＠ server ~]# [root ＠ comp1 ~]# /opt/score/install/linux2.6/netdev -a eth0 tg3 eth1 tg3 [root ＠ comp1 ~]# 以上のようになっておりました。 ------------------------------- 佐賀大学理工学部電気電子工学科4年 佐々木 裕一 E-mail:sassa ＠ ace.ec.saga-u.ac.jp From taku ＠ st.seikei.ac.jp Mon Dec 11 22:18:19 2006 From: taku ＠ st.seikei.ac.jp (Taku ITOH) Date: Mon, 11 Dec 2006 22:18:19 +0900 Subject: [SCore-users-jp] SCore-D =?ISO-2022-JP?B?GyRCJUYlOSVIJEdKIz90JVslOSVIJHI7SCRDJD86XSRLQDgkOCRrTGRCaiRLJEQkJCRGGyhC?= In-Reply-To: <457D11C4.8020002@pccluster.org> References: <457D11C4.8020002@pccluster.org> Message-ID: <20061211131822.197E2750042@mail.st.seikei.ac.jp> 亀山様 伊東です． 早速のご返信，ありがとうございました． > > eth0 (e1000-scorepm1) cannot use PM/Ethernet. > > > > というメッセージが出た Compute Host があったことです． > > これは setup script の bug です. > e1000-scorepm1 になっていれば大丈夫です. 了解しました． > > しかし，2ホスト以上を使用して実行すると問題が生じます． > > 以下のエラーメッセージは， > > > > $ scrun -nodes=2x1 ./hello > > > > を実行したときのエラーメッセージです． > > > > SCore-D 6.0.0 connected. > > <1> ULT: Exception Signal (Segmentation fault) > > この現象は PCI express 接続の e1000 で起こったのですが, > その機材は一時的に使用できただけで, > 残念ながら, 現在は使用できる環境にありません. > (多分, PM/Ethernet か, そのために手を入れた e1000-scorepm1 > driver が原因ではないかとは思っているのですが...) これからできるだけ早く Score の環境を構築するには， どういう手段が考えられますでしょうか？ 例えば，オンボードの NIC ではなく， 新たに別の NIC をマザーボードに挿して， CentOS 4.4 から EIT または rpm によって再インストールした場合には， Score の環境を構築できる可能性はありますでしょうか？ また，可能性がある場合， 推奨される NIC があれば教えていただけないでしょうか？ 大変申し訳ありませんが，ご助言をいただければと思います． 宜しくお願い致します． 成蹊大学 理工学部 情報科学科 伊東　拓 From kameyama ＠ pccluster.org Tue Dec 12 09:07:28 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Tue, 12 Dec 2006 09:07:28 +0900 Subject: [SCore-users-jp] rpmtest =?ISO-2022-JP?B?GyRCJEcbKEIgdGltZWQg?= =?ISO-2022-JP?B?b3V0?= In-Reply-To: <1165839802.22061.10.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839802.22061.10.camel@server.pccluster.org> Message-ID: <457DF2C0.6060407@pccluster.org> 亀山です. sassa wrote: >> SCore 6 の PM/Ethernet は kernel 本体に patch を当てない代わりに >> NIC driver をいじっています. >> そのため, 現在, e1000 (e1000-scorepm1) と tg3 (tg3_scorepm1) >> しかサポートしていません. >> この 2 台の NIC は何を使用しているでしょうか? >> % /opt/score/install/linux2.6/netdev -a >> で確認できると思います. >> これが, tg3-scorepm1 か e1000-scorepm1 になっているかどうか >> 確認してください. > > > > 早速確認致しました。 > > [root ＠ server ~]# /opt/score/install/linux2.6/netdev -a > eth0 tg3 > eth1 tg3 > [root ＠ server ~]# > > [root ＠ comp1 ~]# /opt/score/install/linux2.6/netdev -a > eth0 tg3 > eth1 tg3 > [root ＠ comp1 ~]# > > 以上のようになっておりました。 ということは, NIC のドライバーが変更されていなくて, 変更されれば 動く (可能性が高い? なんか, エラー報告ばかりみていると自信が...) ということですね? まず, /etc/modprobe.conf の中が eth0 tg3_scorepm1 のようになっているか確認してください. なっていたら, reboot して, もう一度 netdev を実行してみてください. Kameyama Toyohisa From kameyama ＠ pccluster.org Tue Dec 12 09:29:39 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Tue, 12 Dec 2006 09:29:39 +0900 Subject: [SCore-users-jp] SCore-D =?ISO-2022-JP?B?GyRCJUYlOSVIJEdKIxsoQg==?= =?ISO-2022-JP?B?GyRCP3QlWyU5JUgkcjtIJEMkPzpdJEtAOCQ4JGtMZEJqJEskRCQkGyhC?= =?ISO-2022-JP?B?GyRCJEYbKEI=?= In-Reply-To: <20061211131822.197E2750042@mail.st.seikei.ac.jp> References: <457D11C4.8020002@pccluster.org> <20061211131822.197E2750042@mail.st.seikei.ac.jp> Message-ID: <457DF7F3.7060508@pccluster.org> 亀山です. Taku ITOH wrote: >>> しかし，2ホスト以上を使用して実行すると問題が生じます． >>> 以下のエラーメッセージは， >>> >>> $ scrun -nodes=2x1 ./hello >>> >>> を実行したときのエラーメッセージです． >>> >>> SCore-D 6.0.0 connected. >>> <1> ULT: Exception Signal (Segmentation fault) >> この現象は PCI express 接続の e1000 で起こったのですが, >> その機材は一時的に使用できただけで, >> 残念ながら, 現在は使用できる環境にありません. >> (多分, PM/Ethernet か, そのために手を入れた e1000-scorepm1 >> driver が原因ではないかとは思っているのですが...) > > これからできるだけ早く Score の環境を構築するには， > どういう手段が考えられますでしょうか？ > 例えば，オンボードの NIC ではなく， > 新たに別の NIC をマザーボードに挿して， > CentOS 4.4 から EIT または rpm によって再インストールした場合には， > Score の環境を構築できる可能性はありますでしょうか？ > また，可能性がある場合， > 推奨される NIC があれば教えていただけないでしょうか？ 可能性はありますけど. 上記の原因が不明なので... こちらで動作確認しているのは, Broadcom Corporation NetXtreme BCM5701 Gigabit Ethernet (rev 15) Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 02) Intel Corporation 82541GI/PI Gigabit Ethernet Controller (rev 05) です. (いずれもオンボード, PCI-X 接続) 多分, EIT は eth0 しか設定してくれないでしょうし, すでに install されているわけですから, disk はそのままにして, NIC をさし, mkpmethernetconf (http://www.pccluster.org/score/dist/score/html/ja/man/man8/mkpmethernetconf.html) /etc/pm_ethernet.conf (http://www.pccluster.org/score/dist/score/html/ja/man/man5/pm_ethernet.conf.html) あたりを使用して, PM/Ethernet 環境を作るのが早いと思います. あと, Myrinet http://www.myri.com/myrinet/product_list.html を使うという手もありますが... Kameyama Toyohisa From sassa ＠ ace.ec.saga-u.ac.jp Tue Dec 12 10:06:20 2006 From: sassa ＠ ace.ec.saga-u.ac.jp (sassa) Date: Tue, 12 Dec 2006 10:06:20 +0900 Subject: [SCore-users-jp] rpmtest =?UTF-8?Q?=E3=81=A7?= timed out In-Reply-To: <1165839632.22061.9.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> Message-ID: <1165885580.22780.11.camel@server.pccluster.org> 亀山様 佐々木です。 度々もうしわけありません。 最終的に使う予定になっている全てのホストのNICを /opt/score/install/linux2.6/netdev -a で調べたところ、 tg3 e100_scorepm1 e1000-scorepm1 の3つが混在していました。 この場合、 NICをそろえる必要があるのでしょうか? すいません、よろしくお願い致します。 ---------------------------- 佐賀大学理工学部電気電子工学科4年 佐々木 裕一 E-mail:sassa ＠ ace.ec.saga-u.ac.jp From kameyama ＠ pccluster.org Tue Dec 12 10:49:44 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Tue, 12 Dec 2006 10:49:44 +0900 Subject: [SCore-users-jp] rpmtest =?ISO-2022-JP?B?GyRCJEcbKEIgdGltZWQg?= =?ISO-2022-JP?B?b3V0?= In-Reply-To: <1165885580.22780.11.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> <1165885580.22780.11.camel@server.pccluster.org> Message-ID: <457E0AB8.5050801@pccluster.org> 亀山です. sassa wrote: > 最終的に使う予定になっている全てのホストのNICを > /opt/score/install/linux2.6/netdev -a > で調べたところ、 > > tg3 > e100_scorepm1 > e1000-scorepm1 > > の3つが混在していました。 > > この場合、 > NICをそろえる必要があるのでしょうか? そろえなくても, それが PM/Ethernet に対応したものであれば動くとは思います. (e100 に関してはコンパイルできるようにしたものの 動かしていませんので不安はありますが...) ただ, 100 Mbps と Gigabit を混ぜた構成の場合, 性能が出なかったり, scstest などがうまく動かなかったりすることがありますので, 通信速度は 合わせたほうが良いと思います. Kameyama Toyohisa From sassa ＠ ace.ec.saga-u.ac.jp Tue Dec 12 11:58:20 2006 From: sassa ＠ ace.ec.saga-u.ac.jp (sassa) Date: Tue, 12 Dec 2006 11:58:20 +0900 Subject: [SCore-users-jp] rpmtest =?UTF-8?Q?=E3=81=A7?= timed out In-Reply-To: <457E0AB8.5050801@pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> <1165885580.22780.11.camel@server.pccluster.org> <457E0AB8.5050801@pccluster.org> Message-ID: <1165892300.22518.26.camel@server.pccluster.org> 亀山様 佐々木です。 対応ありがとうございます。 すいません、１つ前のメールを見落しておりました。 >ということは, NIC のドライバーが変更されていなくて, 変更されれば >動く (可能性が高い? なんか, エラー報告ばかりみていると自信が...) >ということですね? > >まず, /etc/modprobe.conf の中が > eth0 tg3_scorepm1 >のようになっているか確認してください. >なっていたら, reboot して, もう一度 netdev を実行してみてください. 調べてみましたら次のようになっていました。 [root ＠ server ~]# cat /etc/modprobe.conf alias eth0 tg3 alias eth1 tg3 alias scsi_hostadapter ata_piix alias usb-controller ehci-hcd alias usb-controller1 uhci-hcd [root ＠ server ~]# [root ＠ comp1 ~]# cat /etc/modprobe.conf alias eth0 tg3 alias eth1 tg3 alias scsi_hostadapter ata_piix alias usb-controller ehci-hcd alias usb-controller1 uhci-hcd [root ＠ comp1 ~]# これは、、、 tg3_scorepm1ではなくて、tg3とだけしか出ていないから tg3がscore用になっていないという意味なんでしょうか? (すいません勉強不足で) あと 「ネットワークの設定」でNICの既述の欄を見てみましたら、 Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet PCI Express となっていました。 もしかしたら、これが原因なのでしょうか。。。? ---------------------------- 佐賀大学理工学部電気電子工学科4年 佐々木 裕一 E-mail:sassa ＠ ace.ec.saga-u.ac.jp From kameyama ＠ pccluster.org Tue Dec 12 12:19:55 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Tue, 12 Dec 2006 12:19:55 +0900 Subject: [SCore-users-jp] rpmtest =?ISO-2022-JP?B?GyRCJEcbKEIgdGltZWQg?= =?ISO-2022-JP?B?b3V0?= In-Reply-To: <1165892300.22518.26.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> <1165885580.22780.11.camel@server.pccluster.org> <457E0AB8.5050801@pccluster.org> <1165892300.22518.26.camel@server.pccluster.org> Message-ID: <457E1FDB.5010005@pccluster.org> 亀山です. sassa wrote: > すいません、１つ前のメールを見落しておりました。 > > >> ということは, NIC のドライバーが変更されていなくて, 変更されれば >> 動く (可能性が高い? なんか, エラー報告ばかりみていると自信が...) >> ということですね? >> >> まず, /etc/modprobe.conf の中が >> eth0 tg3_scorepm1 >> のようになっているか確認してください. >> なっていたら, reboot して, もう一度 netdev を実行してみてください. > > > 調べてみましたら次のようになっていました。 > > [root ＠ server ~]# cat /etc/modprobe.conf > alias eth0 tg3 > alias eth1 tg3 > alias scsi_hostadapter ata_piix > alias usb-controller ehci-hcd > alias usb-controller1 uhci-hcd > [root ＠ server ~]# > [root ＠ comp1 ~]# cat /etc/modprobe.conf > alias eth0 tg3 > alias eth1 tg3 > alias scsi_hostadapter ata_piix > alias usb-controller ehci-hcd > alias usb-controller1 uhci-hcd > [root ＠ comp1 ~]# > > > これは、、、 > tg3_scorepm1ではなくて、tg3とだけしか出ていないから > tg3がscore用になっていないという意味なんでしょうか? > (すいません勉強不足で) はい. computer の boot 時に /etc/modprobe.conf を元にして module を load するのですが, それが書き換わっていなくて, tg3 が使用されているようです. (tg3 の場合は rpm の中で書き換えるはずなのですが...) > あと > 「ネットワークの設定」でNICの既述の欄を見てみましたら、 > Broadcom Corporation NetXtreme BCM5721 Gigabit Ethernet PCI Express > となっていました。 > > もしかしたら、これが原因なのでしょうか。。。? ここはそれ以前のところなんで... 確認ですが... 1. rpm の install は ./bininstall -compute で行ったでしょうか? 2. rpm -qa | grep score で score6.0.0-comp はでてきますでしょうか? 3. /opt/score/6.0.0/modules はありますでしょうか? 4. /lib/module/`uname -r`/extra/score+pm はありますでしょうか? その中に tg3_scorepm1.ko はありますでしょうか? Kameyama Toyohisa From sassa ＠ ace.ec.saga-u.ac.jp Tue Dec 12 14:28:34 2006 From: sassa ＠ ace.ec.saga-u.ac.jp (sassa) Date: Tue, 12 Dec 2006 14:28:34 +0900 Subject: [SCore-users-jp] rpmtest =?UTF-8?Q?=E3=81=A7?= timed out In-Reply-To: <457E1FDB.5010005@pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> <1165885580.22780.11.camel@server.pccluster.org> <457E0AB8.5050801@pccluster.org> <1165892300.22518.26.camel@server.pccluster.org> <457E1FDB.5010005@pccluster.org> Message-ID: <1165901314.26437.15.camel@server.pccluster.org> 亀山樣 佐々木です。 お手数をおかけして、すいません。 以下のように確認致しました。 >1. rpm の install は > ./bininstall -compute > で行ったでしょうか? はい、そのようにやりました。 >2. rpm -qa | grep score > で score6.0.0-comp はでてきますでしょうか? [root ＠ server ~]# rpm -qa | grep score score6.0.0-omni-6.0.0-1 score6.0.0-example-6.0.0-1 score6.0.0-comp-6.0.0-1 score6.0.0-demo-6.0.0-1 score6.0.0-server-6.0.0-1 score6.0.0-user-6.0.0-1 score6.0.0-mpi-6.0.0-1 score6.0.0-common-6.0.0-1 score6.0.0-test-common-6.0.0-1 score6.0.0-test-user-6.0.0-1 [root ＠ server ~]# >3. /opt/score/6.0.0/modules > はありますでしょうか? [root ＠ server ~]# ls /opt/score/6.0.0/modules/ allocator_ex obj.i386-centos4-linux2_6 ＠ 2.6.9-22.EL e1000_scorepm obj.i386-centos4-linux2_6 ＠ 2.6.9-22.ELhugemem e1000_scorepm2 obj.i386-centos4-linux2_6 ＠ 2.6.9-22.ELsmp e100_scorepm obj.i386-centos4-linux2_6 ＠ 2.6.9-42.0.2.EL ethernet obj.i386-centos4- linux2_6 ＠ 2.6.9-42.0.2.ELhugemem ethernet2 obj.i386-centos4-linux2_6 ＠ 2.6.9-42.0.2.ELsmp ethernet2_mem obj.i386-centos4-linux2_6 ＠ 2.6.9-42.EL ethernet_loader obj.i386-centos4-linux2_6 ＠ 2.6.9-42.ELhugemem include obj.i386-centos4-linux2_6 ＠ 2.6.9-42.ELsmp infini_sm pminf_fj memory shmem myrinet tg3_scorepm obj.i386-centos4-linux2_6 tg3_scorepm2 [root ＠ server ~]# >4. /lib/module/`uname -r`/extra/score+pm > はありますでしょうか? > その中に tg3_scorepm1.ko はありますでしょうか? [root ＠ server ~]# uname -r 2.6.9-42.ELsmp [root ＠ server ~]# ls /lib/modules/2.6.9-42.ELsmp/extra/score+pm/ allocator_ex_dev.ko infini_dev.ko pm_ethernet_dev_nkp.ko pm_shmem.ko e1000_scorepm1.ko infini_sm_dev.ko pm_ethernet_loader.ko e1000_scorepm2.ko pm_ethernet2.ko pm_memory.ko e100_scorepm1.ko pm_ethernet2_mem.ko pm_myrinet.ko [root ＠ server ~]# 、、 tg3_scorepm1.koは見当たりませんでした。 もしかしたら カーネルのバージョンがいけないのでしょうか? よろしくお願い致します。 From kameyama ＠ pccluster.org Tue Dec 12 15:26:35 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Tue, 12 Dec 2006 15:26:35 +0900 Subject: [SCore-users-jp] rpmtest =?ISO-2022-JP?B?GyRCJEcbKEIgdGltZWQg?= =?ISO-2022-JP?B?b3V0?= In-Reply-To: <1165901314.26437.15.camel@server.pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> <1165885580.22780.11.camel@server.pccluster.org> <457E0AB8.5050801@pccluster.org> <1165892300.22518.26.camel@server.pccluster.org> <457E1FDB.5010005@pccluster.org> <1165901314.26437.15.camel@server.pccluster.org> Message-ID: <457E4B9B.4080003@pccluster.org> 亀山です. sassa wrote: >> 3. /opt/score/6.0.0/modules >> はありますでしょうか? > > [root ＠ server ~]# ls /opt/score/6.0.0/modules/ > allocator_ex obj.i386-centos4-linux2_6 ＠ 2.6.9-22.EL > e1000_scorepm obj.i386-centos4-linux2_6 ＠ 2.6.9-22.ELhugemem > e1000_scorepm2 obj.i386-centos4-linux2_6 ＠ 2.6.9-22.ELsmp > e100_scorepm obj.i386-centos4-linux2_6 ＠ 2.6.9-42.0.2.EL > ethernet obj.i386-centos4- > linux2_6 ＠ 2.6.9-42.0.2.ELhugemem > ethernet2 obj.i386-centos4-linux2_6 ＠ 2.6.9-42.0.2.ELsmp > ethernet2_mem obj.i386-centos4-linux2_6 ＠ 2.6.9-42.EL > ethernet_loader obj.i386-centos4-linux2_6 ＠ 2.6.9-42.ELhugemem > include obj.i386-centos4-linux2_6 ＠ 2.6.9-42.ELsmp > infini_sm pminf_fj > memory shmem > myrinet tg3_scorepm > obj.i386-centos4-linux2_6 tg3_scorepm2 > [root ＠ server ~]# > > >> 4. /lib/module/`uname -r`/extra/score+pm >> はありますでしょうか? >> その中に tg3_scorepm1.ko はありますでしょうか? > > [root ＠ server ~]# uname -r > 2.6.9-42.ELsmp > [root ＠ server ~]# ls /lib/modules/2.6.9-42.ELsmp/extra/score+pm/ > allocator_ex_dev.ko infini_dev.ko pm_ethernet_dev_nkp.ko > pm_shmem.ko > e1000_scorepm1.ko infini_sm_dev.ko pm_ethernet_loader.ko > e1000_scorepm2.ko pm_ethernet2.ko pm_memory.ko > e100_scorepm1.ko pm_ethernet2_mem.ko pm_myrinet.ko > [root ＠ server ~]# > > 、、 > tg3_scorepm1.koは見当たりませんでした。 すみません. こちらの bug でした. 以下のコマンドを実行してみてください. # cd /opt/score/6.0.0/modules/tg3_scorepm # mv centos42-linux2_6 centos4-linux2_6 # cd /opt/score/6.0.0/install/linux2_6 # ./make_modules # ./install_modules # ./change_etherdriver Kameyama Toyohisa From sassa ＠ ace.ec.saga-u.ac.jp Tue Dec 12 22:37:22 2006 From: sassa ＠ ace.ec.saga-u.ac.jp (sassa) Date: Tue, 12 Dec 2006 22:37:22 +0900 Subject: [SCore-users-jp] rpmtest =?UTF-8?Q?=E3=81=A7?= timed out In-Reply-To: <457E1FDB.5010005@pccluster.org> References: <1165827339.30202.83.camel@server.pccluster.org> <1165839632.22061.9.camel@server.pccluster.org> <1165885580.22780.11.camel@server.pccluster.org> <457E0AB8.5050801@pccluster.org> <1165892300.22518.26.camel@server.pccluster.org> <457E1FDB.5010005@pccluster.org> Message-ID: <1165930642.22143.46.camel@server.pccluster.org> 亀山様， 佐々木です. >すみません. >こちらの bug でした. >以下のコマンドを実行してみてください. > # cd /opt/score/6.0.0/modules/tg3_scorepm > # mv centos42-linux2_6 centos4-linux2_6 > # cd /opt/score/6.0.0/install/linux2_6 > # ./make_modules > # ./install_modules > # ./change_etherdriver 以上のコマンドを実行していったところ /etc/modprobe.conf に、ちゃんと tg3_scorepm1 がでてました. 次に、モジュールを読みこませるために reboot してみると # /opt/score/install/linux2.6/netdev -a でも、ちゃんと tg3-scorepm1 がでてました. そして、問題でありましたrpmtestも インストールガイドの通りに 正常に動作致しました. さらに 念願でありましたmandelのデモも実行できました! 亀山様， 丁寧で迅速な対応をしていただき，ありがとうございました． 自分でやってて，なかなかうまくいってなかったので本当に助かりました． これで，やっと卒研が軌道(?)に乗った気が致します． 今後は本来の台数(20台)で動作を確認していきたいと思います． それでは失礼致します． 本当にありがとうございました! ---------------------------- 佐賀大学理工学部電気電子工学科4年 佐々木 裕一 E-mail:sassa ＠ ace.ec.saga-u.ac.jp From f0530146 ＠ ipc.shizuoka.ac.jp Wed Dec 13 19:11:09 2006 From: f0530146 ＠ ipc.shizuoka.ac.jp (Yuta Inoue) Date: Wed, 13 Dec 2006 19:11:09 +0900 Subject: [SCore-users-jp] =?ISO-2022-JP?B?UE1fRXRoZW5ldBskQiROGyhCdGcz?= =?ISO-2022-JP?B?GyRCJEskRCQkJEYbKEI=?= In-Reply-To: <457D46CC.4010107@pccluster.org> References: <457D3ED1.7070908@ipc.shizuoka.ac.jp> <457D46CC.4010107@pccluster.org> Message-ID: <457FD1BD.6010301@ipc.shizuoka.ac.jp> 亀山様． 　井上です．こちらからの返信が遅くなり申し訳ありません． 　また，助言ありがとうございました． >確認ですが, PM/Ethernet で使用したい NIC は, オンボードのBroadcomのNIC >なのですよね? 　はい．オンボードのBroadcomのNICです． 02:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5751 Gigabit Ethernet PCI Express (rev 11) lspciで上記のように出力されます． 　OSのイメージを取る際にネットワークに繋がらなかった為，このインストール作業を 行っているコンピュータにのみ応急処置としてIntelのNICをつけました． 　その時の状態のままですのでBroadcomのNICがeth1となっています． >基本的には, NIC の driver で > #include >を行うだけで済むようにはなっていますが, 2.6.17 あたりから >NIC driver の構造が変わっているので, 若干変更する必要があるかも >しれません. 　kernel2.6.18.3のtg3ドライバに #include を，追記し #define DRV_MODULE_NAME "tg3-scorepm1" と，することでmakeとOS起動時にでるkobject_addのエラーはとることができました． 　しかし， #/etc/rc.d/init.d/pm_ethernet start を，行うと Starting PM/Ethernet: open_epm(0): open failed: 2 Trying old style....device: eth1 etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!! と，なります．しかし，dmesgには e1000_scorepm1: no version for "struct_module" found: kernel tainted. e1000_scorepm1: Unknown symbol pm_ethernet_netif_rxfunc e1000_scorepm1: Unknown symbol pm_ethernet_request_irq e1000_scorepm1: Unknown symbol pm_ethernet_free_irq と出力の変化はありませんでした． 　2.6.17からNIC driverの構造が変わったとのことですが，それが原因でしょうか？ 　度々，申し訳ありませんが助言をまたいただけないでしょうか． 　それでは，失礼いたします． ------------------------------------------------------------ 井上雄太　　　　　Email:f0530146 ＠ ipc.shizuoka.ac.jp From kameyama ＠ pccluster.org Thu Dec 14 23:18:44 2006 From: kameyama ＠ pccluster.org (Toyohisa Kameyama) Date: Thu, 14 Dec 2006 23:18:44 +0900 Subject: [SCore-users-jp] Re: =?iso-2022-jp?b?UE1fRXRoZW5ldBskQiROGyhCdGczGyRCJEskRCQkGyhC?= =?iso-2022-jp?b?GyRCJEYbKEI=?= In-Reply-To: <457FD1BD.6010301@ipc.shizuoka.ac.jp> References: <457D3ED1.7070908@ipc.shizuoka.ac.jp> <457D46CC.4010107@pccluster.org> <457FD1BD.6010301@ipc.shizuoka.ac.jp> Message-ID: <20061214141844.28688.qmail@postman.riken.go.jp> 亀山です. Yuta Inoue writes: >>確認ですが, PM/Ethernet で使用したい NIC は, オンボードのBroadcomのNIC >>なのですよね? > > 　はい．オンボードのBroadcomのNICです． > 02:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5751 Gigabit Ethernet PCI Express (rev 11) > lspciで上記のように出力されます 分かりました. >>基本的には, NIC の driver で >> #include >>を行うだけで済むようにはなっていますが, 2.6.17 あたりから >>NIC driver の構造が変わっているので, 若干変更する必要があるかも >>しれません. > > 　kernel2.6.18.3のtg3ドライバに > #include > を，追記し > #define DRV_MODULE_NAME "tg3-scorepm1" > と，することでmakeとOS起動時にでるkobject_addのエラーはとることができました． > 　しかし， > #/etc/rc.d/init.d/pm_ethernet start > を，行うと > Starting PM/Ethernet: open_epm(0): open failed: 2 > Trying old style....device: eth1 > etherpmctl: ERROR on unit 0: "Operation not supported(95)" Check dmesg log!! > と，なります．しかし，dmesgには > e1000_scorepm1: no version for "struct_module" found: kernel tainted. > e1000_scorepm1: Unknown symbol pm_ethernet_netif_rxfunc > e1000_scorepm1: Unknown symbol pm_ethernet_request_irq > e1000_scorepm1: Unknown symbol pm_ethernet_free_irq > と出力の変化はありませんでした． (現在使用したいのは tg3 なので, 基本的には e1000 のメッセージは 無視しても良いような気がしますが...) PM/Etherenet 用の driver は pm_ethernet_loader という driver を使用します. pm_ethernet_netif_rxfunc などはその module に入っています. 通常の環境ですと, depmod しておけば, tg3_scorepm1 を load するときに pm_ethernet_loader も読み込むのですが, そちらの環境は diskless でしたよね... ということは, この 2 つの module を initrd にいれておくか, builtin にする必要があるのですが... Kameyama Toyohisa From kameyama ＠ pccluster.org Fri Dec 15 00:17:44 2006 From: kameyama ＠ pccluster.org (=?iso-2022-jp?b?a2FtZXlhbWEgGyRCIXcbKEIgcGNjbHVzdGVyLm9yZw==?=) Date: Fri, 15 Dec 2006 00:17:44 +0900 Subject: [SCore-users-jp] [SCore-users] SCore 6.0.1 is released. Message-ID: <200612141517.kBEFHi7V003274@fs2.il.is.s.u-tokyo.ac.jp> We are happy to announce the SCore 6.0.1 release. Please visit the following URL to obtain the package. http://www.pccluster.org/score/dist/ New Features in SCore 6.0.1 1. PM/Myrinet2XP device come back. 2. X11 relay come back. When the SCore program use X11, the program connect via ssh with X11 forwarding and X11 server disable TCP/IP. 3. SCore Auto Configuration Tool Documents is available. But Japanese only. Bug Fixes 1. Port is used when execute SCore-D multi user mode is fixed. 2. PM/Myrinet is hang when pmRead() use the first. 3. When SCore program is abnormal end with a node and without debug option, the program is exited quickly. Limitation 1. Because the document of the new checkpoint facility has not been available, please send an e-mail to the user mailing list if you want to use it. 2. Because the document of the auto configuration tool has not been available, please send an e-mail to the user mailing list if you want to use it. Kameyama Toyohisa _______________________________________________ SCore-users mailing list SCore-users ＠ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From j.oloughlin ＠ qmul.ac.uk Wed Dec 13 22:19:13 2006 From: j.oloughlin ＠ qmul.ac.uk (John O'Loughlin) Date: Wed, 13 Dec 2006 13:19:13 +0000 (GMT) Subject: [SCore-users-jp] [SCore-users] ult problem Message-ID: Dear All One of my nodes is causing a problem, I'm seeing this in the job output file: <6> ULT: Exception Signal (11) Any ideas as to what could be? Regards John _______________________________________________ SCore-users mailing list SCore-users ＠ pccluster.org http://www.pccluster.org/mailman/listinfo/score-users From enomoto.shunji ＠ jaxa.jp Sat Dec 16 02:31:20 2006 From: enomoto.shunji ＠ jaxa.jp (Shunji ENOMOTO) Date: Sat, 16 Dec 2006 02:31:20 +0900 (JST) Subject: [SCore-users-jp] =?iso-2022-jp?b?QnJvYWRjb20gTmV0ZXh0cmVhbUlJ?= =?iso-2022-jp?b?IDU3MDggGyRCJE8bKEIgU2NvcmU2LjAuMSAbJEIkRztITVEyREc9GyhC?= =?iso-2022-jp?b?GyRCJEckNyRnJCYkKxsoQg==?= In-Reply-To: References: Message-ID: <10f872b03f1.86351827.c53d5038@jaxa.jp> はじめまして 榎本と申します． 最近新たにマシンを入手できることになりまして， SCore6.0.1を入れられるかどうかを検討しているところです． NICは Broadcom NetXtreamII 5708 です． SCore6.0.1ではBroadcomのNICは今のところtg3しか対応していない とのことですが，BroadcomのWebサイトを見ると， 5708のドライバは tg3 ではなく bnx2 という名前のようなので， SCore6.0.1のディストリビューションのままでは使用できない， ということになるのではないかと思います． Broadcomはドライバのソースコードも配布しているようなので， もし，これにパッチを当ててコンパイルする，などの方法で 解決するようでしたら，その方法を教えていただけませんでしょうか？ よろしくお願い申し上げます． -- 榎本 俊治 Shunji ENOMOTO 宇宙航空研究開発機構 総合技術研究本部 航空エンジン技術開発センター 182-8522東京都調布市深大寺東町7-44-1 Tel.0422-40-3456, Fax.0422-40-3445 mailto:enomoto.shunji ＠ jaxa.jp http://www.iat.jaxa.jp http://maps.google.co.jp/maps?ll=35.675679,139.562201&spn=0.006069,0.010600&hl=ja (webmail) From kameyama ＠ pccluster.org Mon Dec 18 11:25:23 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Mon, 18 Dec 2006 11:25:23 +0900 Subject: [SCore-users-jp] Re: =?iso-2022-jp?b?RUlUGyRCJEckTiUkJXMlOSVIITwlayRIGyhCcnBt?= =?iso-2022-jp?b?GyRCJEckTiUkJXMlOSVIITwlaxsoQg==?= In-Reply-To: <1166147291.23571.13.camel@server.pccluster.org> References: <1166147291.23571.13.camel@server.pccluster.org> Message-ID: <4585FC13.1030708@pccluster.org> 亀山です. sassa wrote: > 今日は > SCore6.0.0の計算ホストで > EITでのインストールと > rpmでのインストールの > 両者をやってみて、気づいたことがあるので > ご報告したいと思いメールしました。 > > > EITでインストールしますと、 > /opt/score/deploy/cstest > /opt/score/deploy/scbpmexec > /opt/score/deploy/scstest > > がインストールされないみたいです。(rpmだとインストールされてます。) > だからrpmtestもできないみたいです。 > > これは、これでいいのでしょうか? すみません. EIT のときにも score6.0.0-test-common. をいれる必要があるのですが, 入れ忘れていました. rpm 自体は, DVD の score.rpm/ にありますので, rpm でインストールしてください. Kameyama Toyohisa From hyasui ＠ sc.musashi-tech.ac.jp Thu Dec 28 00:46:09 2006 From: hyasui ＠ sc.musashi-tech.ac.jp (Hiroyuki YASUI) Date: Thu, 28 Dec 2006 00:46:09 +0900 Subject: [SCore-users-jp] pmtest Message-ID: <45929541.4000401@sc.musashi-tech.ac.jp> 武蔵工大の安井です． score5.8.3を使っています． いままで正しく動作していたはずなのですが， 今回起動したところ <0> SCore-D:WARNING Unable to open PM ethernet/ethernet (error=2). <0> SCore-D:WARNING argv[0] -config <0> SCore-D:WARNING argv[1] /var/scored/scoreboard/cls1.V6:8Pys のようなエラーが出てしまいました． これがほぼ全ての計算ホストで発生しています． 確認のためにpmtestを実行したところ pmOpenDevice: No such file or directory(2) となりました． 唯一，テスト用に1台で1グループにしている計算 ホストだけはpmtestでのエラーはありませんでした． 中身は他の計算ホストと同じはずなのですが．．． 情報が少なくて恐縮ですが，何かアドバイスを 頂ければ宜しくお願いいたします． -- Best regards, Hiroyuki YASUI /\_/\ _ D.Sc., Assistant Professor =^y^=____(( Information Processing center, /~@~~ \)) Musashi Institute of Technology, JAPAN \)(/--/__/ From kameyama ＠ pccluster.org Thu Dec 28 09:45:36 2006 From: kameyama ＠ pccluster.org (Kameyama Toyohisa) Date: Thu, 28 Dec 2006 09:45:36 +0900 Subject: [SCore-users-jp] pmtest In-Reply-To: <45929541.4000401@sc.musashi-tech.ac.jp> References: <45929541.4000401@sc.musashi-tech.ac.jp> Message-ID: <459313B0.9000209@pccluster.org> 亀山です. Hiroyuki YASUI wrote: > score5.8.3を使っています． > いままで正しく動作していたはずなのですが， > 今回起動したところ > > <0> SCore-D:WARNING Unable to open PM ethernet/ethernet (error=2). > <0> SCore-D:WARNING argv[0] -config > <0> SCore-D:WARNING argv[1] /var/scored/scoreboard/cls1.V6:8Pys > > のようなエラーが出てしまいました． > これがほぼ全ての計算ホストで発生しています． > 確認のためにpmtestを実行したところ > > pmOpenDevice: No such file or directory(2) > > となりました． 該当する計算ホストで以下のチェックをしてみてください. 1. /proc/pm/ethernet/ というディレクトリがあるか? なければ, PM/ethernet の driver がロードされていないせいです. (5.8.3 の場合は built in が default だったような...) kernel が SCore patch をあてたバージョンかどうかを確認してください. 2. /proc/pm/ethernet/0/info というファイルがあるか? なければ. # /sbin/service pm_ethernet on を実行してください. 3. /dev/etherpm/0 があるか? なければ, 作成する必要があります. mkpmethernetdev を実行し, kernel が 2.6 の場合は reboot してみてください. 4. server host の /opt/score/etc/scorehosts.db, /opt/score/etc/pm-ethernet.conf は正しいか? 5. /var/scored/scoreboard/cls1.V6:8Pys があるか? なければ, /var/scored/scoreboard のパーミッションがおかしいかも知れま せん. この directory が誰でも読み書きできるか確認してください. 6. 環境変数 PM_DEBUG を 1 に設定して pmtest を実行してみてください. もう少しエラーの原因を特定できると思います. Kameyama Toyohisa From hyasui ＠ sc.musashi-tech.ac.jp Sat Dec 30 00:02:35 2006 From: hyasui ＠ sc.musashi-tech.ac.jp (Hiroyuki YASUI) Date: Sat, 30 Dec 2006 00:02:35 +0900 Subject: [SCore-users-jp] =?iso-2022-jp?b?cG10ZXN0GyRCIUoycjdoIUsbKEI=?= Message-ID: <45952E0B.6000009@sc.musashi-tech.ac.jp> 武蔵工大の安井です． 亀山様， メールの転送設定がおかしく，アーカイブでお返事を 確認いたしました． 今回の件，pm-ethernet.confファイルに直接手を加えて 計算ホストを1台追加したことが原因でした． mkpmethernetconfで生成しなおしたところ正しく 動作いたしました．ご迷惑をお掛けいたしました． > score5.8.3を使っています． > いままで正しく動作していたはずなのですが， > 今回起動したところ > > <0> SCore-D:WARNING Unable to open PM ethernet/ethernet (error=2). > <0> SCore-D:WARNING argv[0] -config > <0> SCore-D:WARNING argv[1] /var/scored/scoreboard/cls1.V6:8Pys > > のようなエラーが出てしまいました． > これがほぼ全ての計算ホストで発生しています． > 確認のためにpmtestを実行したところ > > pmOpenDevice: No such file or directory(2) > > となりました． > 唯一，テスト用に1台で1グループにしている計算 > ホストだけはpmtestでのエラーはありませんでした． > 中身は他の計算ホストと同じはずなのですが．．． > > 情報が少なくて恐縮ですが，何かアドバイスを > 頂ければ宜しくお願いいたします． -- Best regards, Hiroyuki YASUI /\_/\ _ D.Sc., Assistant Professor =^y^=____(( Information Processing center, /~@~~ \)) Musashi Institute of Technology, JAPAN \)(/--/__/