From kameyama ＠ pccluster.org  Thu Sep 16 09:07:00 2010
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Thu, 16 Sep 2010 09:07:00 +0900
Subject: [SCore-users-jp] =?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
 =?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
Message-ID: <4C915FA4.3050805@pccluster.org>

亀山です.

score-users-jp に転送します.

Kameyama Toyohisa

-------- Original Message --------
Subject: SCore7でのネットワークトランキングについて
Date: Thu, 16 Sep 2010 03:24:34 +0900
From: Taro Sakata <ks2718281828 ＠ mopera.net>
To: <mailman-owner ＠ pccluster.org>

毎々,お世話になります。
広島の坂田と申します。

当方，５台のＰＣディスクトップ機にＳＣｏｒｅ7.4を導入して，クラスタを構築中ですがｆ，
題記について教示いただきたく，メールいたしました。

当方のクラスタでは，これまでの貴主催のワークショップや本メールリストでの情報のおかげで，

　　　　 1)　"Ｈｏｌｌｏ　Program"によりセットアップ確認
       2)　pmxtestによる各ノード間の通信状態確認
　　　　3)  姫野ベンチマークによる並列計算の演算性能チェック

まで，何とか進むことができ，現在，簡単な自作ＭＰＩプログラムを作りながら活用を図っている
ところです。

ネットワークについては，　pmx-ethernetで，各ＰＣにギガビットＮＩＣを２枚刺しして，それぞれ
eth0 と　eth1に対応させて設定しています。

そこで質問ですが，
　現状，scrun において　network=ethernet　とすると　eth0 でのみ通信し，
network=ethernet:eth0  または　network=ethernet:eth1 と指定すると，eth0 ，eth1
それぞれに
対応したルートで通信します。（スイッチングHUBのランプの点滅で確認）
すなわち，現状，eth0 と eth1を束ねるトランキング が機能していませんが，これを働かせるには
どうすればよいのでしょうか？（過去のメールリストにトランキングの記述を見つけましたが，
現時点では，もはや古い（？）ように思われましたので最新情報を教示願います）


よろしくお願いいたします。なお，pmxtest　の結果（抜粋）参考に添付します。
（severＰＣは計算ＰＣも兼ねています。また，計算ＰＣ４台のうち１台は予備機）
ＩＰアドレスは eth0 と eth1 で同じアドレスを設定しています。(用いないので無関係でしょうか？）

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　坂田　太郎


ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

[taro ＠ server test]$ scout -g ./machinefile
-e pmxtest -iter 1 -network ethernet

23/Aug/10 21:02:51 #### PMX Test for [ethernet,smp=1,key=586]  ####
23/Aug/10 21:02:51 #### 500 [msec] per step ####
Testing Two-Sided Communication (MTU is 1460  Bytes)

Receive Polling (ENOBUFS)
0.0228 us for 21900000 times iteration

Send Polling (ENOBUFS)
32B: 0.0268 us for 18700000 times iteration
64B: 0.0269 us for 18600000 times iteration
128B: 0.0269 us for 18600000 times iteration
256B: 0.0268 us for 18700000 times iteration
512B: 0.0273 us for 18400000 times iteration
1KB: 0.0268 us for 18700000 times iteration
1.4KB: 0.0268 us for 18700000 times iteration

One-Way, Peer-to-Peer, Burst Communication
[0->1] 32B .. 98.74 KP/s (49401 pkt)  10.13 us/p  3.16 MB/s  S/R 71.87%
[0->2] 32B .. 101.25 KP/s (51201 pkt)  9.88 us/p  3.24 MB/s  S/R 30.53%
[0->3] 32B .. 101.84 KP/s (51801 pkt)  9.82 us/p  3.26 MB/s  S/R 16.07%
[1->0] 32B .. 134.55 KP/s (67901 pkt)  7.43 us/p  4.31 MB/s  S/R 39.83%
[1->2] 32B .. 132.67 KP/s (67601 pkt)  7.54 us/p  4.25 MB/s  S/R  8.75%
[1->3] 32B .. 132.24 KP/s (67301 pkt)  7.56 us/p  4.23 MB/s  S/R  8.92%
[2->0] 32B .. 133.80 KP/s (66901 pkt)  7.47 us/p  4.28 MB/s  S/R  7.65%
[2->1] 32B .. 133.59 KP/s (66801 pkt)  7.49 us/p  4.27 MB/s  S/R 14.19%
[2->3] 32B .. 133.27 KP/s (66701 pkt)  7.50 us/p  4.26 MB/s  S/R  8.30%
[3->0] 32B .. 101.22 KP/s (51101 pkt)  9.88 us/p  3.24 MB/s  S/R 11.21%
[3->1] 32B .. 99.87 KP/s (50001 pkt)  10.01 us/p  3.20 MB/s  S/R 13.36%
[3->2] 32B .. 100.95 KP/s (50501 pkt)  9.91 us/p  3.23 MB/s  S/R 13.07%
[0->1] 64B .. 102.92 KP/s (52101 pkt)  9.72 us/p  6.59 MB/s  S/R 25.23%
[0->2] 64B .. 101.07 KP/s (50601 pkt)  9.89 us/p  6.47 MB/s  S/R 25.44%
[0->3] 64B .. 99.86 KP/s (50001 pkt)  10.01 us/p  6.39 MB/s  S/R 17.40%
[1->0] 64B .. 173.26 KP/s (86701 pkt)  5.77 us/p  11.09 MB/s  S/R 15.40%
[1->2] 64B .. 181.05 KP/s (90601 pkt)  5.52 us/p  11.59 MB/s  S/R  0.02%
[1->3] 64B .. 160.89 KP/s (80501 pkt)  6.22 us/p  10.30 MB/s  S/R  4.86%
[2->0] 64B .. 180.26 KP/s (90201 pkt)  5.55 us/p  11.54 MB/s  RNB=51301036
[2->1] 64B .. 179.73 KP/s (89901 pkt)  5.56 us/p  11.50 MB/s  RNB=21109297
[2->3] 64B .. 178.79 KP/s (89401 pkt)  5.59 us/p  11.44 MB/s  RNB=39623678
[3->0] 64B .. 171.09 KP/s (85601 pkt)  5.84 us/p  10.95 MB/s  S/R  1.61%
[3->1] 64B .. 166.89 KP/s (83801 pkt)  5.99 us/p  10.68 MB/s  S/R  3.14%
[3->2] 64B .. 180.03 KP/s (90101 pkt)  5.55 us/p  11.52 MB/s  RNB=42136067
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　中　略　　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・
[0<->1] 1.4KB .. 31.01 KP/s (15600 pkt)  32.25 us/p  45.28 MB/s
[0<->2] 1.4KB .. 30.97 KP/s (15600 pkt)  32.29 us/p  45.21 MB/s
[0<->3] 1.4KB .. 30.92 KP/s (15600 pkt)  32.34 us/p  45.15 MB/s
[1<->0] 1.4KB .. 30.80 KP/s (15500 pkt)  32.46 us/p  44.97 MB/s
[1<->2] 1.4KB .. 30.98 KP/s (15600 pkt)  32.27 us/p  45.24 MB/s
[1<->3] 1.4KB .. 30.91 KP/s (15600 pkt)  32.35 us/p  45.13 MB/s
[2<->0] 1.4KB .. 30.15 KP/s (15200 pkt)  33.17 us/p  44.02 MB/s
[2<->1] 1.4KB .. 30.99 KP/s (15600 pkt)  32.26 us/p  45.25 MB/s
[2<->3] 1.4KB .. 30.89 KP/s (15600 pkt)  32.38 us/p  45.10 MB/s
[3<->0] 1.4KB .. 30.21 KP/s (15300 pkt)  33.10 us/p  44.11 MB/s
[3<->1] 1.4KB .. 30.96 KP/s (15600 pkt)  32.30 us/p  45.20 MB/s

One-Way, Ring, Burst Communication
[3<->2] 1.4KB .. 30.92 KP/s (15600 pkt)  32.34 us/p  45.14 MB/s
32B .. 74.81 KP/s (37700 pkt)  13.37 us/p  2.39 MB/s
64B .. 71.26 KP/s (36300 pkt)  14.03 us/p  4.56 MB/s
128B .. 73.98 KP/s (37700 pkt)  13.52 us/p  9.47 MB/s
256B .. 82.49 KP/s (41900 pkt)  12.12 us/p  21.12 MB/s
512B .. 55.86 KP/s (28300 pkt)  17.90 us/p  28.60 MB/s
1KB .. 36.18 KP/s (18300 pkt)  27.64 us/p  37.05 MB/s
1.4KB .. 28.52 KP/s (14400 pkt)  35.07 us/p  41.64 MB/s

Brute-Force, One-to-All Communication
32B .. 59.03 KP/s (29514 pkt)  16.94 us/p  1.89 MB/s
64B .. 52.14 KP/s (26283 pkt)  19.18 us/p  3.34 MB/s
128B .. 49.95 KP/s (24975 pkt)  20.02 us/p  6.39 MB/s
256B .. 38.46 KP/s (19230 pkt)  26.00 us/p  9.85 MB/s
512B .. 31.09 KP/s (15549 pkt)  32.16 us/p  15.92 MB/s
1KB .. 21.04 KP/s (10524 pkt)  47.52 us/p  21.55 MB/s
1.4KB .. 16.48 KP/s (8244 pkt)  60.66 us/p  24.07 MB/s

Random All-to-All Communication
... 1/20
... 2/20
... 3/20
... 4/20
... 5/20
... 6/20
... 7/20
... 8/20
... 9/20
... 10/20
... 11/20
... 12/20
... 13/20
... 14/20
... 15/20
... 16/20
... 17/20
... 18/20
... 19/20
... 20/20
[OK]
6.70 KP/s (67106 pkt)  149.17 us/p  4.99 MB/s

-- Get MTU
MTU[0] --- self node ---
MTU[1] TS:1460 (0x5b4)  OS:1300 (0x514)
MTU[2] TS:1460 (0x5b4)  OS:1300 (0x514)
MTU[3] TS:1460 (0x5b4)  OS:1300 (0x514)
[OK]
-- Get Context Attribute
 PMX Device Name: [composite]
 MTU TwoSidedComm 1460 (0x5b4)  OneSidedComm 1300 (0x514)
 Alignment Mask:  Address 0x0  Offset 0x0
[OK]
-- Dump Context .. [OK]
-- Simple message send and receive .. [OK]
-- Simple message send and receive -- PMX_DESC_ANY .. [OK]
-- Reverse-order Receiving .. [OK]
-- Reverse-order Receiving -- PMX_DESC_ANY .. [OK]
-- Reverse-order Sending .. [OK]
-- Reverse-order Sending -- PMX_DESC_ANY .. [OK]
-- Truncate Messages .. [OK]
-- KeepSendDesc() and GetSendDescInfo() .. [OK]
-- KeepSendDesc() and GetSendDescInfo() -- PMX_DESC_ANY .. [OK]
-- IsSendDone() .. [OK]
-- IsSendDone() -- PMX_DESC_ANY .. [OK]
-- PM-V2 Compatibility .. [OK]

Finalizing

23/Aug/10 21:05:25 #### TEST SUCCEEDED ####

==== checking [0(0:0)/4] /proc ====　




From kameyama ＠ pccluster.org  Thu Sep 16 09:27:53 2010
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Thu, 16 Sep 2010 09:27:53 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
 =?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
In-Reply-To: <4C915FA4.3050805@pccluster.org>
References: <4C915FA4.3050805@pccluster.org>
Message-ID: <4C916489.4060903@pccluster.org>

亀山です.

(09/16/10 03:24), Taro Sakata Wrote:
> 当方，５台のＰＣディスクトップ機にＳＣｏｒｅ7.4を導入して，クラスタを構築中ですがｆ，
> 題記について教示いただきたく，メールいたしました。

SCore 7 Beta 4 ですね.

> そこで質問ですが，
> 　現状，scrun において　network=ethernet　とすると　eth0 でのみ通信し，
> network=ethernet:eth0  または　network=ethernet:eth1 と指定すると，eth0 ，eth1
> それぞれに
> 対応したルートで通信します。（スイッチングHUBのランプの点滅で確認）
> すなわち，現状，eth0 と eth1を束ねるトランキング が機能していませんが，これを働かせるには
> どうすればよいのでしょうか？（過去のメールリストにトランキングの記述を見つけましたが，
> 現時点では，もはや古い（？）ように思われましたので最新情報を教示願います）

SCore 7 では PMX/Ethernet ではトランキングをサポートしていません.
PMX/Etherhxb を使用してください.

設定方法は
    http://www.pccluster.org/score_doc/score-7-beta4/html/en/man/man5/scorehosts.db.html
あたりを参考にしてください.

Kameyama Toyohisa


From kameyama ＠ pccluster.org  Tue Sep 21 10:16:25 2010
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Tue, 21 Sep 2010 10:16:25 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
 =?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
In-Reply-To: <59E9BE18E8BE4F3C92BCA27609714B73@TVPC>
References: <4C915FA4.3050805@pccluster.org> <4C916489.4060903@pccluster.org>
	<59E9BE18E8BE4F3C92BCA27609714B73@TVPC>
Message-ID: <4C980769.4000908@pccluster.org>

亀山です.

(09/18/10 15:35), Taro Sakata Wrote:
> 
>> SCore 7 では PMX/Ethernet ではトランキングをサポートしていません.
>> PMX/Etherhxb を使用してください.
> 
> 　了解です。PMX/Etherhxb を用いることにします。
> 
> そこで確認ですが，
> 
> 当方のクラスタのＮＩＣは，Intel PRO/1000 MT Desktop Adapterを統一して用いています。
> この場合でもPMX/Etherhxbを稼動させるためには，ドキュメント"HowToAdd-PMX-EtherHXB-Driver.txt"
> に従って，e1000のソースファイルを改造してインストールする必要があるのでしょうか？

e1000 であれば, 改造したものが
    score7-src/SCore/pmx/arch/etherhxb/driver/e1000_pmx/linux2_6
にあります.
SCore の install によってすでに組み込まれている可能性もあります.
    /proc/pmx/ether_loader
を確認してみてください.

Kameyama Toyohisa


From ks2718281828 ＠ mopera.net  Tue Sep 28 10:19:21 2010
From: ks2718281828 ＠ mopera.net (Taro Sakata)
Date: Tue, 28 Sep 2010 10:19:21 +0900
Subject: [SCore-users-jp]
	=?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
	=?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
In-Reply-To: <4C980769.4000908@pccluster.org>
References: <4C915FA4.3050805@pccluster.org> <4C916489.4060903@pccluster.org>
	<59E9BE18E8BE4F3C92BCA27609714B73@TVPC>
	<4C980769.4000908@pccluster.org>
Message-ID: <5B2883D1BE444B288A1428E940CBC43A@TVPC>

亀山様

坂田です。ご返事遅くなりましたが，以下のとおりご報告します。


> e1000 であれば, 改造したものが
>    score7-src/SCore/pmx/arch/etherhxb/driver/e1000_pmx/linux2_6
> にあります.
> SCore の install によってすでに組み込まれている可能性もあります.
>    /proc/pmx/ether_loader
> を確認してみてください.


PMX/Ethernet loader

The following PMX devices for Ethernet are available

PMX/Ethernet (magic number 0xff0102ff)
 (any ethernet device)
PMX/Etherhxb (magic number 0xff0202ff)
 eth0 eth1

上記のとおり，PMX/Etherhxb のeth0 とeth1 がavailabeとなっていました。
なお，念のため下記を出してみました。

[root ＠ server ~]# lsmod | grep pm
pmx_etherhxb          705972  0
pmx_ethernet           61568  0
e1000_pmx             182920  0
pmx_etherhxb_mem     8501272  2 pmx_etherhxb,e1000_pmx
pmx_ethernet_loader    40480  4 
pmx_etherhxb,pmx_ethernet,e1000_pmx,pmx_etherhxb_mem

scrunでnetwork=etherhxbとした場合の症状としては，何の応答もない状態となりました。

以上，よろしくお願いします。

----- Original Message ----- 
From: "Kameyama Toyohisa" <kameyama ＠ pccluster.org>
To: "Taro Sakata" <ks2718281828 ＠ mopera.net>
Cc: <score-users-jp ＠ pccluster.org>
Sent: Tuesday, September 21, 2010 10:16 AM
Subject: Re: [SCore-users-jp] Fwd: SCore7でのネットワークトランキングについて 



> 亀山です.
>
> (09/18/10 15:35), Taro Sakata Wrote:
>>
>>> SCore 7 では PMX/Ethernet ではトランキングをサポートしていません.
>>> PMX/Etherhxb を使用してください.
>>
>> 　了解です。PMX/Etherhxb を用いることにします。
>>
>> そこで確認ですが，
>>
>> 当方のクラスタのＮＩＣは，Intel PRO/1000 MT Desktop Adapterを統一して用いています。
>> この場合でもPMX/Etherhxbを稼動させるためには，ドキュメント"HowToAdd-PMX-EtherHXB-Driver.txt"
>> に従って，e1000のソースファイルを改造してインストールする必要があるのでしょうか？
>
> e1000 であれば, 改造したものが
>    score7-src/SCore/pmx/arch/etherhxb/driver/e1000_pmx/linux2_6
> にあります.
> SCore の install によってすでに組み込まれている可能性もあります.
>    /proc/pmx/ether_loader
> を確認してみてください.
>
> Kameyama Toyohisa
> 



From kameyama ＠ pccluster.org  Tue Sep 28 10:41:26 2010
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Tue, 28 Sep 2010 10:41:26 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
 =?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
In-Reply-To: <5B2883D1BE444B288A1428E940CBC43A@TVPC>
References: <4C915FA4.3050805@pccluster.org> <4C916489.4060903@pccluster.org>
	<59E9BE18E8BE4F3C92BCA27609714B73@TVPC>
	<4C980769.4000908@pccluster.org>
	<5B2883D1BE444B288A1428E940CBC43A@TVPC>
Message-ID: <4CA147C6.4060602@pccluster.org>

亀山です.

(09/28/10 10:19), Taro Sakata Wrote:
> scrunでnetwork=etherhxbとした場合の症状としては，何の応答もない状態となりました。
> 

ためしに pmxtest を実行してみてください.
    $ pmxtest -iter 1 -network etherxhb
詳しい出力などは
    http://www.pccluster.org/pipermail/score-users-jp/2009-March/003515.html
を参照してください.
(あれ, これ etherhxb ではなく, ethernet をテストしている...)

Kameyama Toyohisa


From ks2718281828 ＠ mopera.net  Tue Sep 28 11:53:28 2010
From: ks2718281828 ＠ mopera.net (Taro Sakata)
Date: Tue, 28 Sep 2010 11:53:28 +0900
Subject: [SCore-users-jp]
	=?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
	=?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
In-Reply-To: <4CA147C6.4060602@pccluster.org>
References: <4C915FA4.3050805@pccluster.org> <4C916489.4060903@pccluster.org>
	<59E9BE18E8BE4F3C92BCA27609714B73@TVPC>
	<4C980769.4000908@pccluster.org>
	<5B2883D1BE444B288A1428E940CBC43A@TVPC>
	<4CA147C6.4060602@pccluster.org>
Message-ID: <EA71D020F56A415FB3EC99C3B35DA7CD@TVPC>

亀山様

> ためしに pmxtest を実行してみてください.
>    $ pmxtest -iter 1 -network etherxhb

実行してみましたところ下記でした。
ちなみに，etherhxb のところを　ethernet としても同様な結果でした。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　坂田　
----------------------------------------------------------------------------------
[taro ＠ server ~]$ pmxtest -iter 1 -network etherhxb
PMXTEST.EXE ＠ server#20912 <><><><><<><> (no trace available) <><><><><<><>
PMXTEST.EXE ＠ server#20912: ABORT spawn_procs() at spawn.c:192  No SCOUT 
environment.

強制終了
----------------------------------------------------------------------------------



From kameyama ＠ pccluster.org  Tue Sep 28 11:56:48 2010
From: kameyama ＠ pccluster.org (Kameyama Toyohisa)
Date: Tue, 28 Sep 2010 11:56:48 +0900
Subject: [SCore-users-jp]
 =?iso-2022-jp?b?RndkOiBTQ29yZTcbJEIkRyROJU0bKEI=?=
 =?iso-2022-jp?b?GyRCJUMlSCVvITwlLyVIJWklcyUtJXMlMCRLJEQkJCRGGyhC?=
In-Reply-To: <EA71D020F56A415FB3EC99C3B35DA7CD@TVPC>
References: <4C915FA4.3050805@pccluster.org>
	<4C916489.4060903@pccluster.org>	<59E9BE18E8BE4F3C92BCA27609714B73@TVPC>	<4C980769.4000908@pccluster.org>	<5B2883D1BE444B288A1428E940CBC43A@TVPC>	<4CA147C6.4060602@pccluster.org>
	<EA71D020F56A415FB3EC99C3B35DA7CD@TVPC>
Message-ID: <4CA15970.70604@pccluster.org>

亀山です.

(09/28/10 11:53), Taro Sakata Wrote:
>> ためしに pmxtest を実行してみてください.
>>     $ pmxtest -iter 1 -network etherxhb
> 
> 実行してみましたところ下記でした。

あ, scrun は scout 上で実行していなかったのですね.

     $ scout -g machinefile -e pmxtest -iter 1  -network etherhxb

ではどうでしょうか?

Kameyama Toyohisa