[SCore-users-jp] ノード内MPI 及びノード間MPI の通信性能が劣化する原因

[kameyama ＠ pccluster.org]

亀山です.

In article <200404021211.VAA28364 ＠ smgw01.itg.hitachi.co.jp.> hi-morita ＠ itg.hitachi.co.jp wrotes:
> > zerocopy のほうは MPICH で PM に渡すのが 1 回に 1MB なので,
> > それが影響していると思います.
> > mpi_rmamtu オプションおよび mpi_locksize オプションで変化するかも
> > しれません.
> >     scrun -nodes=1x2,mpi_rmamtu=2097152,mpi_locksize=2097152 ...
> > (myrinet の場合は最大 1 MB なので, 増やせませんけど...)
> 
> ご教授有難うございました。
> 
> mpi_rmamtu オプション及びmpi_locksizeオプションに関してなのですが、
> 私がWeb等で調査した限り、どのような機能を与えるオプションであるかと
> いう情報を入手できませんでした。

すみません.
document には記載していません.

> mpi_rmamtu オプション及びmpi_locksizeオプションが、どのようなパラメータ
> を調整するオプションなのでしょうか。お手数ですが、ご教授頂けるでしょうか、
> よろしくお願い致します。
> 
> (mpi_rmamtu オプションはリモートメモリアクセスでの1回の転送で送信できるデータ
>  の最大値ですか？mpi_locksizeオプションはまったくわかりません。)

PM で zerocopy 通信を行う場合, pmMLock() で領域を pindown し,
pmRead() もしくは pmWrite() で実際にデータを転送します.
mpi_locksize は一度に pmMLock() で pindown するときの最大値,
mpi_rmamtu は pmRead() で転送するときの最大値です.

> 問題として取り上げなかったのは、私がzerocopy on の 20 MBはzerocopy on 
> の 50 MBと同じ原因でスループットの値が下がっていると推察したためです。
> 
> 下記メールにおける測定は1GBまで実施しており、メッセージサイズを増加
> させていくと、「スループットの値が１度減少して、増加する」といった現象を
> 周期的に繰り返します。
> 
> 周期的に1度スループットの値が下がるのは、下記のような可能性で生じている
> と理解するのは正しいでしょうか。お手数ですが、この点についても
> ご教授頂けるでしょうか、お手数ですがよろしくお願い致します。

SCore ではスケジューリングと multi user mode の場合で
500 ミリ秒 (scored の -ts オプションで変更可能),
single user mode で 10 秒 (変更不可) ごとに監視のためのプロセスが走ります.
上記の "周期" がこの値に一致すれば, その影響であることが大きいと思います.

                       from Kameyama Toyohisa