[SCore-users-jp] Network Trunking機構の設定について
Shinji Sumimoto
s-sumi ＠ bd6.so-net.ne.jp
2003年 11月 2日 (日) 09:44:52 JST
富士通研の住元です。
From: "Yoshihiro ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com>
Subject: Re: [SCore-users-jp] Network Trunking機構の設定について
Date: Sat, 1 Nov 2003 18:25:27 +0900
Message-ID: <015f01c3a05a$1628f6b0$6f501da0 ＠ airfoceone>
yoshihiro551230> 亀山 様，富士通研住元 様
yoshihiro551230>
yoshihiro551230> 先日はご回答いただきありがとうございました．
yoshihiro551230> ようやくうまく動作いたしました．
yoshihiro551230>
yoshihiro551230> 原因は，/opt/score/etc/pm-ethernet-1.conf
yoshihiro551230> のファイル名ミスでした．
yoshihiro551230>
yoshihiro551230> Linpack hplベンチマークを行ったところ，
yoshihiro551230> 4CPU，1000Base-T x 2で約8GFLOPSの性能を
yoshihiro551230> 出すことができました．以前構築したBeowulf型で
yoshihiro551230> 同等のPCクラスタに比べると0.5GFLOPSほど性能
yoshihiro551230> が向上しました．
pm-ethernet.confのパラメータはデフォールトでしょうか？
パラメータチューニングすると性能が向上する場合があります。
rpmtest, rcstestで試しながらパラメータを変更するとバンド幅、遅延が変わ
ることがわかります。
もし、試されていないようでしたら、お試しください。
yoshihiro551230> 以上です．今回はありがとうございました．
yoshihiro551230>
yoshihiro551230> ====================================
yoshihiro551230> 岩手大学大学院工学研究科機械工学専攻
yoshihiro551230> 航空宇宙システム部門/船崎・山田研究室
yoshihiro551230> 修士課程１年 石川慶拓 Yoshihiro Ishikawa
yoshihiro551230> mail yoshihiro551230 ＠ bc.wakwak.com
yoshihiro551230> ====================================
yoshihiro551230>
yoshihiro551230> ----- Original Message -----
yoshihiro551230> From: "Shinji Sumimoto" <s-sumi ＠ flab.fujitsu.co.jp>
yoshihiro551230> To: <yoshihiro551230 ＠ bc.wakwak.com>
yoshihiro551230> Cc: <score-users-jp ＠ pccluster.org>; <s-sumi ＠ flab.fujitsu.co.jp>
yoshihiro551230> Sent: Friday, October 31, 2003 9:24 AM
yoshihiro551230> Subject: Re: [SCore-users-jp] Network Trunking機構の設定について
yoshihiro551230>
yoshihiro551230>
yoshihiro551230> > 石川様
yoshihiro551230> >
yoshihiro551230> > 富士通研の住元です。
yoshihiro551230> >
yoshihiro551230> > 以下のことを再度確かめて頂けないでしょうか?
yoshihiro551230> >
yoshihiro551230> > 1) 各ネットワークはupされているか?
yoshihiro551230> > /procで見えているので大丈夫かと思います。
yoshihiro551230> > /sbin/ifconfigで up状態になっているか?
yoshihiro551230> >
yoshihiro551230> > 2) デバイスドライバが正常にロードされているか?
yoshihiro551230> > dmesgでエラーが出力されていないか?
yoshihiro551230> > 特にfsck後等に実行するとメモリが取れなくてエラーが出ることがあります。
yoshihiro551230> >
yoshihiro551230> > 3) /etc/init.d/pm_ethernet startを実行したときにエラーが出ていないか?
yoshihiro551230> > dmesgでエラーが出力されていないか?
yoshihiro551230> >
yoshihiro551230> > 4) /etc/init.d/pm_ethernet で設定されている UNIT番号と
yoshihiro551230> pm-ethernet-[01].conf
yoshihiro551230> > のunitオプションで指定される番号があっているか?
yoshihiro551230> >
yoshihiro551230> > 5) 各unitのMACアドレスはあっているか?
yoshihiro551230> >
yoshihiro551230> > 以上に問題がなければ動くと思います。
yoshihiro551230> >
yoshihiro551230> > 一番最初の問題は2)だったのかもしれません。
yoshihiro551230> >
yoshihiro551230> > 念のためですが、scorehosts.dbを実行した後は/etc/init.d/scoreboard reload
yoshihiro551230> > を忘れずに実行してください。
yoshihiro551230> >
yoshihiro551230> > From: "Yoshihiro ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com>
yoshihiro551230> > Subject: Re: [SCore-users-jp] Network Trunking機構の設定について
yoshihiro551230> > Date: Fri, 31 Oct 2003 04:39:48 +0900
yoshihiro551230> > Message-ID: <00ef01c39f1d$94a1b740$6f501da0 ＠ airfoceone>
yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> 亀山 様
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> 先日はご回答いただきありがとうございました．その内容を
yoshihiro551230> > yoshihiro551230> 参考にしつつ，eth1とeth2でNetwork Trunkingしようとしてい
yoshihiro551230> る
yoshihiro551230> > yoshihiro551230> ことに問題があるのではないかと思い，eth0とeth1でNetwork
yoshihiro551230> > yoshihiro551230> Trunkingするように設定し，Point-to-Pointテストを実行する
yoshihiro551230> と，
yoshihiro551230> > yoshihiro551230> 以下のようなメッセージが出てしまいました．恐縮ですが再
yoshihiro551230> 度，
yoshihiro551230> > yoshihiro551230> アドバイスをいただけないでしょうか？
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> ===================================================
yoshihiro551230> > yoshihiro551230> [root ＠ cluster2 sbin]# ./rpmtest cluster01
yoshihiro551230> ethernet-1 -reply
yoshihiro551230> > yoshihiro551230> Unable to get filename (ethernet-1,-config:file)
yoshihiro551230> > yoshihiro551230> ===================================================
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> 前回指摘のあったetherpmctl の実行は，
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> /proc/pm/ethernet/0/info
yoshihiro551230> > yoshihiro551230> /proc/pm/ethernet/1/info
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> が存在するので，正常にいったと思います．
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> scoreboard.dbと各ノードの/etc/rc.d/init.d/pm_ethernet
yoshihiro551230> > yoshihiro551230> は次のようにしました．
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> ==scoreboard.db======================================
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> ethernet-0 type=ethernet \
yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet-0.conf
yoshihiro551230> > yoshihiro551230> ethernet-1 type=ethernet \
yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet-1.conf
yoshihiro551230> > yoshihiro551230> ethernet-x2 type=ethernet \
yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet-0.conf \
yoshihiro551230> >
yoshihiro551230> -trunk0:file=/opt/score/etc/pm-ethernet-1.conf
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> #define PCC msgbserv=(cluster2.iwate-u.ac.jp:8764)
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> cluster2.iwate-u.ac.jp \
yoshihiro551230> > yoshihiro551230> network=ethernet-0,ethernet-1,ethernet-x2 \
yoshihiro551230> > yoshihiro551230> group=_scoreall_,pccall smp=1 PCC
yoshihiro551230> > yoshihiro551230> cluster01.iwate-u.ac.jp \
yoshihiro551230> > yoshihiro551230> network=ethernet-0,ethernet-1,ethernet-x2 \
yoshihiro551230> > yoshihiro551230> group=_scoreall_,pccall smp=1 PCC
yoshihiro551230> > yoshihiro551230> cluster02.iwate-u.ac.jp \
yoshihiro551230> > yoshihiro551230> network=ethernet-0,ethernet-1,ethernet-x2 \
yoshihiro551230> > yoshihiro551230> group=_scoreall_,pccall smp=1 PCC
yoshihiro551230> > yoshihiro551230> cluster03.iwate-u.ac.jp \
yoshihiro551230> > yoshihiro551230> network=ethernet-0,ethernet-1,ethernet-x2 \
yoshihiro551230> > yoshihiro551230> group=_scoreall_,pccall smp=1 PCC
yoshihiro551230> > yoshihiro551230> =====================================================
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> /etc/rc.d/init.d/pm_ethernetはeth0に加えてeth1を使用する
yoshihiro551230> ので，
yoshihiro551230> > yoshihiro551230> 下記のようにunit1とeth1の部分コメントアウトを外しました．
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> ==/etc/rc.d/init.d/pm_ethernetの一部
yoshihiro551230> ===============================
yoshihiro551230> > yoshihiro551230> /sbin/etherpmctl $IF -pm on -ir
yoshihiro551230> $INTERRUPT_REAPING -unit $UNIT
yoshihiro551230> > yoshihiro551230> /sbin/etherpmctl eth1 -pm on -ir
yoshihiro551230> $INTERRUPT_REAPING -unit 1
yoshihiro551230> > yoshihiro551230> # /sbin/etherpmctl eth2 -pm on -ir
yoshihiro551230> $INTERRUPT_REAPING -unit 2
yoshihiro551230> > yoshihiro551230> # /sbin/etherpmctl eth3 -pm on -ir
yoshihiro551230> $INTERRUPT_REAPING -unit 3
yoshihiro551230> > yoshihiro551230> touch /var/lock/subsys/pm_ethernet
yoshihiro551230> > yoshihiro551230> ;;
yoshihiro551230> > yoshihiro551230> stop)
yoshihiro551230> > yoshihiro551230> echo -n "Stopping PM/Ethernet: "
yoshihiro551230> > yoshihiro551230> /sbin/etherpmctl $IF -pm off
yoshihiro551230> > yoshihiro551230> /sbin/etherpmctl eth1 -pm off
yoshihiro551230> > yoshihiro551230> # /sbin/etherpmctl eth2 -pm off
yoshihiro551230> > yoshihiro551230> # /sbin/etherpmctl eth3 -pm off
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> ================================================================
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> 以上です．よろしくお願いいたします．
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> ====================================
yoshihiro551230> > yoshihiro551230> 岩手大学大学院工学研究科機械工学専攻
yoshihiro551230> > yoshihiro551230> 航空宇宙システム部門/船崎・山田研究室
yoshihiro551230> > yoshihiro551230> 修士課程１年 石川慶拓 Yoshihiro Ishikawa
yoshihiro551230> > yoshihiro551230> mail yoshihiro551230 ＠ bc.wakwak.com
yoshihiro551230> > yoshihiro551230> ====================================
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> ----- Original Message -----
yoshihiro551230> > yoshihiro551230> From: <kameyama ＠ pccluster.org>
yoshihiro551230> > yoshihiro551230> To: "Yoshihiro ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com>
yoshihiro551230> > yoshihiro551230> Cc: "SCoreメーリングリスト"
yoshihiro551230> <score-users-jp ＠ pccluster.org>
yoshihiro551230> > yoshihiro551230> Sent: Tuesday, October 21, 2003 9:16 AM
yoshihiro551230> > yoshihiro551230> Subject: Re: [SCore-users-jp] Network Trunking機構の設定
yoshihiro551230> について
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> > 亀山です.
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > In article <00b401c39719$6101a460$6f501da0 ＠ airfoceone>
yoshihiro551230> "Yoshihiro
yoshihiro551230> > yoshihiro551230> ISHIKAWA" <yoshihiro551230 ＠ bc.wakwak.com> wrotes:
yoshihiro551230> > yoshihiro551230> > > マニュアルを参考にNetwork Trunkingの設定をして，
yoshihiro551230> > yoshihiro551230> > > Point-to-Pointテストをしたところ，以下のようなメッ
yoshihiro551230> セージが
yoshihiro551230> > yoshihiro551230> > > 出てきました．ethernet-1のところをethernetに変える
yoshihiro551230> と，
yoshihiro551230> > yoshihiro551230> > > うまくいくのですが，ethernet-1やethernet-2にすると，
yoshihiro551230> うまく
yoshihiro551230> > yoshihiro551230> > > いきません．何が原因でこのようになっているのか，お分
yoshihiro551230> かり
yoshihiro551230> > yoshihiro551230> > > の方がいらっしゃいましたら，教えていただきたく思いま
yoshihiro551230> す．
yoshihiro551230> > yoshihiro551230> > >
yoshihiro551230> > yoshihiro551230> > > ===================================================
yoshihiro551230> > yoshihiro551230> > > [root ＠ cluster2 sbin]# ./rpmtest cluster01
yoshihiro551230> ethernet-1 -reply
yoshihiro551230> > yoshihiro551230> > > pmOpenDevice: Cannot allocate memory(12)
yoshihiro551230> > yoshihiro551230> > > ===================================================
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > メモリ不足のようですが,
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > > メモリ 2GB
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > では考えにくいですね.
yoshihiro551230> > yoshihiro551230> > 環境変数 PM_DEBUG を 1 にして実行すれば, もう少し情報が
yoshihiro551230> とれると思います.
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > あと etherpmctl の実行は正常にいったでしょうか?
yoshihiro551230> > yoshihiro551230> > /proc/pm/ethernet/0/info
yoshihiro551230> > yoshihiro551230> > /proc/pm/ethernet/1/info
yoshihiro551230> > yoshihiro551230> > などが存在すれば大丈夫だとは思いますが...
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > > このときのscorehosts.dbは以下のようになっています．
yoshihiro551230> > yoshihiro551230> > >
yoshihiro551230> > yoshihiro551230> > > == scorehosts.db ====================================
yoshihiro551230> > yoshihiro551230> > > /* PM/Ethernet */
yoshihiro551230> > yoshihiro551230> > > ethernet type=ethernet \
yoshihiro551230> > yoshihiro551230> > > /* PM/Ethernet */
yoshihiro551230> > yoshihiro551230> > > ethernet type=ethernet \
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > ここまでの 4 行はゴミのようですので, 削除したほうがよい
yoshihiro551230> と思います.
yoshihiro551230> > yoshihiro551230> > (これが影響して ethernet を指定した場合に config file
yoshihiro551230> とかが
yoshihiro551230> > yoshihiro551230> > 無視されている可能性があります.)
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > > /* PM/Ethernet */
yoshihiro551230> > yoshihiro551230> > > ethernet type=ethernet \
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet.conf
yoshihiro551230> > yoshihiro551230> > > ethernet-1 type=ethernet \
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet-1.conf
yoshihiro551230> > yoshihiro551230> > > ethernet-2 type=ethernet \
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet-2.conf
yoshihiro551230> > yoshihiro551230> > > ethernet-x2 type=ethernet \
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> -config:file=/opt/score/etc/pm-ethernet-1.conf
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> -trunk0:file=/opt/score/etc/pm-ethernet-2.conf
yoshihiro551230> > yoshihiro551230> > >
yoshihiro551230> > yoshihiro551230> > > #define PCC
yoshihiro551230> msgbserv=(cluster2.iwate-u.ac.jp:8764)
yoshihiro551230> > yoshihiro551230> > >
yoshihiro551230> > yoshihiro551230> > > cluster2.iwate-u.ac.jp \
yoshihiro551230> > yoshihiro551230> > >
yoshihiro551230> network=ethernet,ethernet-1,ethernet-2,ethernet-x2,udp \
yoshihiro551230> > yoshihiro551230> > > group=_scoreall_,pccall smp=1 PCC
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > network の udp は存在しないようなので, 削除しないと
yoshihiro551230> SCore が起動できないと
yoshihiro551230> > yoshihiro551230> > 思います.
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230> > from Kameyama Toyohisa
yoshihiro551230> > yoshihiro551230> > _______________________________________________
yoshihiro551230> > yoshihiro551230> > SCore-users-jp mailing list
yoshihiro551230> > yoshihiro551230> > SCore-users-jp ＠ pccluster.org
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> http://www.pccluster.org/mailman/listinfo/score-users-jp
yoshihiro551230> > yoshihiro551230> >
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230> _______________________________________________
yoshihiro551230> > yoshihiro551230> SCore-users-jp mailing list
yoshihiro551230> > yoshihiro551230> SCore-users-jp ＠ pccluster.org
yoshihiro551230> > yoshihiro551230> http://www.pccluster.org/mailman/listinfo/score-users-jp
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > yoshihiro551230>
yoshihiro551230> > ------
yoshihiro551230> > Shinji Sumimoto, Fujitsu Labs
yoshihiro551230> > _______________________________________________
yoshihiro551230> > SCore-users-jp mailing list
yoshihiro551230> > SCore-users-jp ＠ pccluster.org
yoshihiro551230> > http://www.pccluster.org/mailman/listinfo/score-users-jp
yoshihiro551230> >
yoshihiro551230>
yoshihiro551230>
yoshihiro551230> _______________________________________________
yoshihiro551230> SCore-users-jp mailing list
yoshihiro551230> SCore-users-jp ＠ pccluster.org
yoshihiro551230> http://www.pccluster.org/mailman/listinfo/score-users-jp
yoshihiro551230>
------
Shinji Sumimoto, Fujitsu Labs
SCore-users-jp メーリングリストの案内