[SCore-users-jp] ノード内MPI 及びノード間MPI の通信性能が劣化する原因
hi-morita ＠ itg.hitachi.co.jp
hi-morita ＠ itg.hitachi.co.jp
2004年 4月 2日 (金) 21:11:35 JST
亀山様
日立製作所の森田です。
早々の回答有難うございます。
>
> 測定は 1 回だけ実行した結果でしょうか?
> それとも, 何回か行ったものの平均でしょうか?
>
ラウンドトリップタイムの測定を10回実施したものの平均です。
> zerocopy のほうは MPICH で PM に渡すのが 1 回に 1MB なので,
> それが影響していると思います.
> mpi_rmamtu オプションおよび mpi_locksize オプションで変化するかも
> しれません.
> scrun -nodes=1x2,mpi_rmamtu=2097152,mpi_locksize=2097152 ...
> (myrinet の場合は最大 1 MB なので, 増やせませんけど...)
ご教授有難うございました。
mpi_rmamtu オプション及びmpi_locksizeオプションに関してなのですが、
私がWeb等で調査した限り、どのような機能を与えるオプションであるかと
いう情報を入手できませんでした。
mpi_rmamtu オプション及びmpi_locksizeオプションが、どのようなパラメータ
を調整するオプションなのでしょうか。お手数ですが、ご教授頂けるでしょうか、
よろしくお願い致します。
(mpi_rmamtu オプションはリモートメモリアクセスでの1回の転送で送信できるデータ
の最大値ですか？mpi_locksizeオプションはまったくわかりません。)
>
> 回りと比べて zerocopy on の 2 MB, 50 MB,
> zerocopy off の 40 MB だけが下がっていますね.
> (zerocopy on の 20 MB も 2 MB と同じ値ですけど,
> ここを問題にしないのはなぜでしょうか?)
> その host でほかのプロセスが動いていたり, SCore-D が裏で
> きちんと動いているか監視していたりしますので, その影響かもしれません.
>
亀山様のご指摘の通り、zerocopy on の 20 MBも問題だという認識です。
問題として取り上げなかったのは、私がzerocopy on の 20 MBはzerocopy on
の 50 MBと同じ原因でスループットの値が下がっていると推察したためです。
下記メールにおける測定は1GBまで実施しており、メッセージサイズを増加
させていくと、「スループットの値が１度減少して、増加する」といった現象を
周期的に繰り返します。
周期的に1度スループットの値が下がるのは、下記のような可能性で生じている
と理解するのは正しいでしょうか。お手数ですが、この点についても
ご教授頂けるでしょうか、お手数ですがよろしくお願い致します。
> その host でほかのプロセスが動いていたり, SCore-D が裏で
> きちんと動いているか監視していたりしますので, その影響かもしれません.
以上です。
>亀山です.
>
>In article <200404020609.PAA07649 ＠ smgw01.itg.hitachi.co.jp.> hi-morita ＠ itg.hitachi.co.jp wrotes:
>> 1. 質問
>>
>> あるメッセージサイズ間(1MBと2MB、30MBと40MB、40MBと50MB)でノード内
>> MPIまたはノード間MPIの通信性能が劣化する原因として、どのようなことが
>> 考えられるでしょうか。
>>
>> (MPICH-SCore(MPICH)の仕様により、通信方式が変更されているのでしょうか。)
>>
>> 2. 詳細
>>
>> <<測定内容>>
>>
>> ノード内MPI及びノード間MPIの通信性能を調査するために、メッセージサイズ
>> [*1]を変数として、ノード内CPU間の1/2ラウンド・トリップタイム[*2]を測定し
>> 、スループット[*3]を算出しました。
>
>測定は 1 回だけ実行した結果でしょうか?
>それとも, 何回か行ったものの平均でしょうか?
>
>> <<測定結果(抜粋)>>
>>
>> ●ノード内MPIの通信性能
>>
>> -----------------------------------------------------------
>> メッセージ | スループット [MByte/sec]
>> サイズ[Byte] |------------------------------------------
>> | ゼロコピーON | ゼロコピーOFF
>> -----------------------------------------------------------
>> 921600 | 2.27E+09 | 9.35E+08
>> 1048576 | 2.34E+09 | 9.28E+08
>> 2097152 | 7.03E+08 <-- | 7.98E+08 <--
>> 3145728 | 7.37E+08 | 8.50E+08
>> 4194304 | 7.71E+08 | 8.58E+08
>> -----------------------------------------------------------
>
>zerocopy のほうは MPICH で PM に渡すのが 1 回に 1MB なので,
>それが影響していると思います.
>mpi_rmamtu オプションおよび mpi_locksize オプションで変化するかも
>しれません.
> scrun -nodes=1x2,mpi_rmamtu=2097152,mpi_locksize=2097152 ...
>(myrinet の場合は最大 1 MB なので, 増やせませんけど...)
>
>> ●ノード間MPIの通信性能
>>
>> -----------------------------------------------------------
>> メッセージ | スループット [MByte/sec]
>> サイズ[Byte] |------------------------------------------
>> | ゼロコピーON | ゼロコピーOFF
>> -----------------------------------------------------------
>> 921600 | 2.09E+08 | 1.30E+08
>> 1048576 | 2.11E+08 | 1.30E+08
>> 2097152 | 2.07E+08 <-- | 1.31E+08
>> 3145728 | 2.10E+08 | 1.31E+08
>> 4194304 | 2.12E+08 | 1.31E+08
>> 〜
>> 10485760 | 2.15E+08 | 1.31E+08
>> 20971520 | 2.07E+08 | 1.31E+08
>> 31457280 | 2.10E+08 | 1.31E+08
>> 41943040 | 2.12E+08 | 1.22E+08 <--
>> 52428800 | 1.95E+08 <-- | 1.31E+08
>> 62914560 | 2.13E+08 | 1.30E+08
>> 73400320 | 2.14E+08 | 1.31E+08
>> -----------------------------------------------------------
>
>回りと比べて zerocopy on の 2 MB, 50 MB,
>zerocopy off の 40 MB だけが下がっていますね.
>(zerocopy on の 20 MB も 2 MB と同じ値ですけど,
>ここを問題にしないのはなぜでしょうか?)
>その host でほかのプロセスが動いていたり, SCore-D が裏で
>きちんと動いているか監視していたりしますので, その影響かもしれません.
>
> from Kameyama Toyohisa
>
SCore-users-jp メーリングリストの案内