[SCore-users-jp] MPICH-SCoreでのメモリ獲得について

[Mitsugu Kawaguchi]

富士通プライムソフトテクノロジの川口です。
ご対応していただき、ありがとうございます。

> -----Original Message-----
> From: kameyama ＠ il.is.s.u-tokyo.ac.jp
> [mailto:kameyama ＠ il.is.s.u-tokyo.ac.jp] On Behalf Of
> kameyama ＠ pccluster.org
> Sent: Thursday, January 08, 2004 5:35 PM
> To: Mitsugu Kawaguchi
> Cc: kameyama ＠ pccluster.org; score-users-jp ＠ pccluster.org
> Subject: Re: RE: [SCore-users-jp] MPICH-SCoreでのメモリ獲得について
>
>
> 亀山です.
>
> In article <003d01c3d5be$1e29bc20$570aa8c0 ＠ Globus> "Mitsugu
> Kawaguchi" <m-kawaguchi ＠ pst.fujitsu.com> wrotes:
> > > メモリー関係の環境はどうなっていますでしょうか?
> > > (1x2 で失敗したということは, memory + swap は 2 GB 程度でしょうか
> ?)
> > > data size の limit などは設定していないでしょうか?
> > > (PM を使うとその分余分にメモリーが必要になるので,
> > > 大きなデータサイズが必要になりますので, limit を指定していると
> > > そちらにひっかかっている可能性があります.)
> >
> > 計算ノードのメモリ環境は以下の通りです。（実メモリ２GB、swap２GB)
> > $ free
> >              total       used       free     shared
> buffers     cached
> > Mem:       2068988     583768    1485220          0
> 151764     157408
> > -/+ buffers/cache:     274596    1794392
> > Swap:      2097136          0    2097136
> >
> > また、別マシン（実メモリ４GB（空き3.5GB）の状態）で試したのですが、
> > やはり同様に、１GBのメモリ獲得が成功しても、
> > その後の１MBのメモリ獲得には失敗しました。
>
> limit の設定はどうなっているでしょうか?
> (現象から考えて, getrlimit() かなにかで制限されているのではないかと
> ...)
> 多分,
>     $ scrun system sh -c "ulimit -a"
> で確認できると思いますが...

確認しましたが、特に制限に掛かっていないようです。

scrun -group=all,nodes=2x1 system sh -c "ulimit -a"
SCOUT: Spawning done.
SCore-D 5.7.0 connected.
core file size        (blocks, -c) 0
data seg size         (kbytes, -d) unlimited
file size             (blocks, -f) unlimited
max locked memory     (kbytes, -l) unlimited
max memory size       (kbytes, -m) unlimited
open files                    (-n) 1024
pipe size          (512 bytes, -p) 8
stack size            (kbytes, -s) unlimited
cpu time             (seconds, -t) unlimited
max user processes            (-u) 7168
virtual memory        (kbytes, -v) unlimited
<0:0> SCORE: 2 nodes (2x1) ready.
core file size        (blocks, -c) 0
data seg size         (kbytes, -d) unlimited
file size             (blocks, -f) unlimited
max locked memory     (kbytes, -l) unlimited
max memory size       (kbytes, -m) unlimited
open files                    (-n) 1024
pipe size          (512 bytes, -p) 8
stack size            (kbytes, -s) unlimited
cpu time             (seconds, -t) unlimited
max user processes            (-u) 7168
virtual memory        (kbytes, -v) unlimited
SCOUT: Session done.

この環境で再度試したのですが、やはり再現します。
1x1では問題ないのですが、1x2あるいは2x1で問題になるので、
MPICH-SCoreの問題かなと考えてます。

> あと,
>     $ scrun -nodes=1x1 /opt/score/test/scored/bigmem
>     $ scrun -nodes=2x1 /opt/score/test/scored/bigmem
> ではどうなるでしょうか?
> (4 MB づつ malloc() するテストプログラムです.)
> こちらでは, 1x1 で 2920 MB, あたりで SIGSEGV で終わります.
> (IA32 で user が使用できるのが 3 GB なので, 正常ではないかと...)
> 1x2 のときは, 1.8 GB 付近で
>     SCORE: Resource limit.
> で終わります.

だいたい同じ結果になりました。
1x1では、2920MBでSIGSEGVで終了。
1x2では、1860MBでResource limitとなりました。

> > > こちらでは
> > > main memory 2 GB, swap 2 GB の環境で行ったらうまく動き,
> >
> > 亀山様の環境では発生しないというこですか。
>
> はい, 残念ながら...
> もっとも, SCore は開発用の version で distribution は Fedora Core 1 だ
> ったり
> しますけど...

SCore開発用バージョンはあまり違いないと思いますが、
OSバージョンには影響されるような...

以上、宜しくお願いします。

---
川口 ==> m-kawaguchi ＠ pst.fujitsu.com