ジョブの投入方法(jsub)

以下のパラメータを使うと便利な場合があるかもしれません。

#PBS -m abe

メール送信機能: この行を入れると、ジョブの開始時、終了時、abort 時にメールを送信することができます。指定している abe の a が abort 時、b が開始(begin)時、e が終了(end) 時にメールを送信することを示します。デフォルトは abort 時のみ送信します。-m abe のかわりに -m ae とすればアボート時と終了時だけメールが送信するようにもできます。注意: 大量のジョブを実行する場合には b や e は指定しないことを推奨します。
 

#PBS -r n

ジョブの再実行抑制: ノードダウン等でジョブが abort した場合にはシステム側で強制的にジョブを別のノードで再実行します。一時ファイル等の影響で再実行されると困る、正常に動かない場合はスクリプトに以下の行を入れることで再実行を抑制されます。(abort したジョブについては CPU 点数は消費されません。再実行された場合は再実行の時間分だけ CPU 点数が消費されます。)
 

#PBS -j oe

出力の merge: 通常は標準出力(stdout)と標準エラー出力(stderr)の内容は別々のファイルに出力されます。このオプションを加えると出力を結合して標準出力にまとめることができます。(-j eo にすると標準エラー出力にまとめて出力できます。)
 

#PBS -N (任意のジョブ名)

ジョブの名前: この行を加えることでジョブに名前をつけることができます。例えば -N myjob1 とすれば myjob1 という名前になります。jsub 実行時に -N オプションを与えることでも同様に名前をつけられます(例: jsub -N myjob1 job.sh)。何も指定しない場合はジョブスクリプトのファイル名がジョブの名前になります。
 

一例として、以下のような指定が可能です。ジョブの開始及び終了時にメール通知を行い、ノードエラー時の再実行は不可、標準エラー出力を標準出力に merge して出力、ジョブの名前は myjob1 となります。

#!/bin/sh
#PBS -l select=1:ncpus=64:mpiprocs=32:ompthreads=2
#PBS -l walltime=24:00:00
#PBS -m abe
#PBS -r n
#PBS -j oe
#PBS -N myjob1

cd ${PBS_O_WORKDIR}
# (以下省略)

後述のステップジョブについてもご確認ください。そちらの方が使いやすい場合が多いと思われます。

jsub 実行時に与えることで投入するジョブに依存関係を定義することができます。以下のように実行すれば、ジョブ 6169323 が正常に終了した場合にだけ job2.sh を実行することができます。(ジョブ 6169323 がエラー終了した場合は job2.sh が実行されることはありません。)

$ jsub -W depend=afterok:6169323 job2.sh

依存しているジョブが正常に終了しなかった場合も次のジョブを実行したい場合は以下のように afterany を指定してください。

$ jsub -W depend=afterany:6169323 job2.sh

afterok, afterany を使う場合は依存するジョブの ID があらかじめわかっている必要があります。

--step もしくは --stepany をつけることで比較的簡単にジョブを順番に実行することができます。

以下の例では job1.sh, job2.sh, job3.sh, job4.sh を順番に実行することができます。前のジョブがエラー終了した場合、後続のジョブは実行されません。上述の afterok の依存関係を指定した時と同じ挙動になっています。

$ jsub --step job1.sh job2.sh job3.sh job4.sh

以下のように --stepany を使えば、前のジョブがエラー終了した場合でも後続のジョブは実行されます。上述の afterany の依存関係を指定した時と同じ挙動になっています。

$ jsub --stepany job1.sh job2.sh job3.sh job4.sh

--step や --stepany を使う場合も、-W depend=afterok:(ジョブID), -W depend=afterany:(ジョブID) を指定することは可能です。

-v オプションを利用して変数を定義することができます。前述のサンプルから INPUT=myinp.inp と OUTPUT=myout.out の行を削除したもの(job.sh)を例にして動作を説明します。

#!/bin/sh
#PBS -l select=1:ncpus=64:mpiprocs=32:ompthreads=2
#PBS -l walltime=24:00:00

cd ${PBS_O_WORKDIR}

module -s purge
module -s load openmpi/4.1.6

export PATH=/home/users/${USER}/bin

mpirun -np 32 my-program -i ${INPUT} -o ${OUTPUT}

このインプットでは INPUT と OUTPUT というシェル変数が必要ですが、それを jsub のコマンドラインで指定することができます。

$ jsub -v INPUT=myinp.inp,OUTPUT=myout.out job.sh

変数はコンマ区切りで列挙して指定します。複数の -v オプションを与えた場合は最後のものだけが有効となります。なお、この方法ではスクリプト中の select= 内の ncpus や mpiprocs の値を置き換えることはできない点にご注意ください。

この方法を使った場合、jobinfo で表示可能な情報からジョブを特定することが難しくなることが考えられます。そのような場合には -N オプションでジョブ名を割り当てると便利かもしれません。

$ jsub -v PARAM=30,OUTPUT=param30.out -N param30 job.sh

jsub は通常ジョブを投入するだけですぐに終了しますが、-W block=true をつけるとジョブが終了するまで jsub が待つようになります。通常使用するようなものではありませんが、デバッグ時などに使いたい場合があるかもしれません。

$ jsub -W block=true job.sh

RCCS でメモリを多く使う場合には CPU コア数を増やす必要があります。例えば CPU は 1 コアしか使わないもののメモリは 50 GB 以上使うのであれば、以下のように 32 コアを確保(メモリ約 60 GB)した上で 1 コアだけを使って計算するようにしてください。(CPU 点数は 32 コアを利用しているとして計算されます。)

#PBS -l select=1:ncpus=32:mpiprocs=1:ompthreads=1

それでも足りないようであれば、jobtype=largemem のノードを利用を検討ください。(ncpus=64 (メモリ約 500 GB/ノード)もしくは 128 (メモリ約 1 TB/ノード)の指定となります。)ただし、jobtype=largemem はノード数が大変少ないため、ジョブが入りにくいことが多いです。

RCCS では 1 コアジョブを投入することもできますが、あまりにそのようなジョブが多いとキューイングシステムへの負荷が高くなるため、いくつか制限を設定しています。そのため、大量の小規模ジョブを投入する場合にはある程度の数を 1 つのジョブにまとめることが必要になるかもしれません。例えば、32 個の計算を 1 つのジョブにまとめるような形です。

この時、ジョブスクリプトの書き方が問題になりますが、以下のように書けば無駄が少なく、そして取りこぼしが起きることもありません。

#!/bin/sh
#PBS -l select=1:ncpus=32:mpiprocs=1:ompthreads=1
#PBS -l walltime=24:00:00

cd ${PBS_O_WORKDIR}

sh job1.sh &
sh job2.sh &
sh job3.sh &
... (中略)
sh job31.sh &
sh job32.sh &

wait # バックグラウンドジョブが終了するまで待つ

最後の wait がポイントで、これがあることで先に実行した 32 個のプロセスの終了を待つことができます。(wait が無い場合はジョブスクリプトが終了してしまい、ジョブも終了したとみなされてしまいます。)この wait は bash の組み込み関数ですが、csh/tcsh でも同じような wait コマンドがありますので、上記の方法は csh/tcsh でも利用可能です。

上記では ncpus=32 (jobtype=core 相当)で実行していますが、細かいジョブの数が数千、数万となるようであれば ncpus=64 もしくは 128 (jobtype=vnode 相当)での利用を推奨します。