[SCore-users-jp] Score+Scash+OmniMP

[長谷川 篤史]

始めまして、長谷川＠ＮＥＣ情報システムズと申します。
omniのランタイムライブラリ関連の開発を担当しておりました。


> で、この小規模な計算では、やはりノード数を増やす方が遅くなりました。
> （スイッチはギガビットですが、NICが100base）

原田さんもおっしゃられていますが、Omni/SCASHは、
分散共有メモリシステム上にOpenMP環境を実装しているため、
Remote Memory Readの速度が、かなり、プログラムの実行に影響を及ぼします。
myrinet2000のシステムですと、Remote Memory Readの速度が早いため、
性能が出やすいですが、100Base/Tでは、かなり難しいと思われます。

他にも、Omniをethernetで使用したいという意見が出でいましたので、
参考までに、Omniに付属のサンプル(/opt/omni/lib/openmp/examples/scash-
test/cg)をSCore-IIIクラスタで測定した結果を乗せておきます。

バリア同期が多く、omni/scashのsampleとしては、あまりよくないのですが....
簡単な行列演算で、ソースも付属していますので、なにかの参考にでもしていた
だけると幸いです。

==========================================================
cg-omp

myrinet2000
------------------------
node
: time
-------------------------
1
: 25.407382
2
: 18.099523
4
: 11.862331
8
:  9.582161
16
: 10.298733
32
: 14.122206


ether express pro 100
------------------------
node
: time
-------------------------
1
:  25.023178
2
:  49.618274
4
:  62.386232
8
:  90.973922
16
: 113.604717
32
: 159.409118
==========================================================

 
> 手元にNetgearの1000base-SXのNICがあるのですが、ethernetベースなら
> 改善されないのでしょうね。。。（それ以前に、scoreが対応してない？）

1000Baseのイーサネットを使ったOmni/SCASHの性能測定を行ってませんでしたで、
どのていど性能が改善されるのかはわかりません。
申し訳ありません。


> 私が使いたいのは微分方程式を数値的に解くレイトレーシングなので、
> PE間の通信は遅くても良いのでPCクラスタが適すると思ったのですが。。。

> 教訓
> (1)高機能スイッチには気をつけよう
> (2)メモリは鬼ほど積もう

メモリに関してですが、
  OMPC_DEBUG=1 ./a.out
として実行すると、デバッグメッセージとして、
プログラムが使用する共有メモリ容量を出力します。
実行には、最低でも、その倍の物理メモリを必要とします。
                            ~~~~
このため、不必要な変数はthread-private, private変数にして、
shared変数を減らすような工夫が必要となります。
 

---
長谷川 篤史  E-Mail:a-hasega ＠ ats.nis.nec.co.jp
株式会社NEC情報システムズ 基盤ソフトウェア事業部 サイエンス基盤部
外線:03-3798-9991(Fax.03-3798-9198) / 内線:8-115-2410(Fax.8-115-2419)