[SCore-users-jp] ノード内MPI 及びノード間MPI の通信性能が劣化する原因

[kameyama ＠ pccluster.org]

亀山です.

In article <200404020609.PAA07649 ＠ smgw01.itg.hitachi.co.jp.> hi-morita ＠ itg.hitachi.co.jp wrotes:
> 1. 質問
> 
> あるメッセージサイズ間(1MBと2MB、30MBと40MB、40MBと50MB)でノード内
> MPIまたはノード間MPIの通信性能が劣化する原因として、どのようなことが
> 考えられるでしょうか。
> 
> (MPICH-SCore(MPICH)の仕様により、通信方式が変更されているのでしょうか。)
> 
> 2. 詳細
> 
> <<測定内容>>
> 
> ノード内MPI及びノード間MPIの通信性能を調査するために、メッセージサイズ
> [*1]を変数として、ノード内CPU間の1/2ラウンド・トリップタイム[*2]を測定し
> 、スループット[*3]を算出しました。

測定は 1 回だけ実行した結果でしょうか?
それとも, 何回か行ったものの平均でしょうか?

> <<測定結果(抜粋)>>
> 
> ●ノード内MPIの通信性能
> 
> -----------------------------------------------------------
> メッセージ      |       スループット [MByte/sec]
> サイズ[Byte]    |------------------------------------------
>                 |   ゼロコピーON      |    ゼロコピーOFF
> -----------------------------------------------------------
> 921600          |      2.27E+09       |     9.35E+08
> 1048576         |      2.34E+09       |     9.28E+08
> 2097152         |      7.03E+08 <--   |     7.98E+08  <--
> 3145728         |      7.37E+08       |     8.50E+08
> 4194304         |      7.71E+08       |     8.58E+08
> -----------------------------------------------------------

zerocopy のほうは MPICH で PM に渡すのが 1 回に 1MB なので,
それが影響していると思います.
mpi_rmamtu オプションおよび mpi_locksize オプションで変化するかも
しれません.
    scrun -nodes=1x2,mpi_rmamtu=2097152,mpi_locksize=2097152 ...
(myrinet の場合は最大 1 MB なので, 増やせませんけど...)

> ●ノード間MPIの通信性能
> 
> -----------------------------------------------------------
> メッセージ      |       スループット [MByte/sec]
> サイズ[Byte]    |------------------------------------------
>                 |   ゼロコピーON      |    ゼロコピーOFF
> -----------------------------------------------------------
> 921600          |      2.09E+08       |     1.30E+08
> 1048576         |      2.11E+08       |     1.30E+08
> 2097152         |      2.07E+08 <--   |     1.31E+08
> 3145728         |      2.10E+08       |     1.31E+08
> 4194304         |      2.12E+08       |     1.31E+08
> 〜
> 10485760        |      2.15E+08       |     1.31E+08
> 20971520        |      2.07E+08       |     1.31E+08
> 31457280        |      2.10E+08       |     1.31E+08
> 41943040        |      2.12E+08       |     1.22E+08 <--
> 52428800        |      1.95E+08 <--   |     1.31E+08
> 62914560        |      2.13E+08       |     1.30E+08
> 73400320        |      2.14E+08       |     1.31E+08
> -----------------------------------------------------------

回りと比べて zerocopy on の 2 MB, 50 MB,
zerocopy off の 40 MB だけが下がっていますね.
(zerocopy on の 20 MB も 2 MB と同じ値ですけど,
ここを問題にしないのはなぜでしょうか?)
その host でほかのプロセスが動いていたり, SCore-D が裏で
きちんと動いているか監視していたりしますので, その影響かもしれません.

                       from Kameyama Toyohisa