現在地

■ ホーム

計算機利用の手引き

[最終更新日時] 2017年4月10日

English versionもあります。

接続

RCCSのコンピューターへのログイン

  • フロントエンド(ccfep.ims.ac.jp、ccpg.ims.ac.jp、ccpgh.ims.ac.jp、ccuv.ims.ac.jp、cckf.ims.ac.jp)へはsshの公開鍵認証を使って接続します。
  • メンテナンス中はログイン出来ません。→定期メンテナンス情報（メンテナンス日は原則毎月第一月曜日）
  • フロントエンドへのログインは、日本に割り当てられたIPv4アドレスを持つホストまたは許可されたホストからでなければなりません。→センターへの接続について

ssh公開鍵とウェブページ用パスワードの登録

sshの公開鍵と秘密鍵のペアを最初に作成しておきます。作成方法が不明な方はインターネットなどで調べてください。

初めて登録する場合もしくはウェブページ用パスワードを忘れた場合

  1. 専用ウェブページの「登録案内メールの発行」をウェブブラウザーで開きます。
  2. 利用申請書で申請したメールアドレスを入力後、「登録案内メール送信」ボタンを押します。
  3. 自動送信されたメールの中に記載されているURLをウェブブラウザーで開きます。
  4. ユーザー限定ページにアクセスするために、新たに設定したいパスワードを2ヶ所に入力します。
  5. あらかじめ用意したsshの公開鍵をペーストなどして入力します。
  6. 「保存」ボタンを押します。

ウェブページ用パスワードを使う場合

  1. 専用ウェブページ(https://ccportal.ims.ac.jp/account/)をウェブブラウザーで開き、ユーザー名とパスワードを入力し、「ログイン」ボタンを押します。
  2. 画面右上の「アカウント情報」を開きます。
  3. 「編集」タブを押します。
  4. パスワードを変更するは、現在のパスワードと新たに設定したいパスワードを入力します。
  5. あらかじめ用意したsshの公開鍵をペーストなどして入力します。
  6. 「保存」ボタンを押します。

ログインシェル

  • 諸般の事情により、/bin/cshのみで変更できません。ただし、PRIMEHPC FX10では/bin/bashです。
  • .loginや.cshrcはカスタマイズしても構いませんが、十分な注意が必要です。

RCCSシステムの全体像

  • いわゆる会話処理ができるのは、ccfep, ccuv, ccpg, ccpgh, cckfでビルドやデバッグができます。
  • すべての会話処理ノードはインターネットから直接ログインできます。
  • 計算ノードは、UV 2000(ccuv系)、PRIMERGY(ccpgx/ccpgy系、ccpgz系)、PRIMEHPC FX10(cck系)の4種類あります。
  • PRIMEHPC FX10を利用するには利用申請や補充申請時に希望理由の記述が必要です。
  • 保存期間が異なるディスクが、/work、/ramd、/week、/home、/saveの5種類あります。
  • アクセス速度は、下図の太い線の方が高速です。
  • /workの実体は計算ノードごとに異なり、計算途中の一時ファイルを置くのに使います。（ジョブ終了時に削除されます）
  • /ramdは容量が120GB程度のラムディスクで、ccpgでノードを専有する場合に利用できます。プログラムで使うメモリー量とラムディスクで使う容量の総計はノードの実メモリー量を越えないようにしなければなりません。
  • /weekは保存期間が8週間で、計算再開用データやMDのトラジェクトリー等の用途に向いています。
  • /pan_weekはccuv系とccpgx/ccpgy系のみに接続されています。
  • /homeと/saveの違いは、センター側でデータのバックアップを取るか取らないかの違いです。
  • /tmpの使用を禁止します。/tmpを使用しているジョブは見つけ次第削除しますので予めご了承ください。

リソース関係

課金

割当点数は、CPUを使うことによって減ります。
減る点数はシステム毎に設定されている課金係数により求められます。

システム 課金係数
ccuv 1.5 / (点/(1コア*１時間))
ccpg
(jobtype=small, large, vsmp, gpu)		 1 / (点/(1コア*１時間))
ccpg
(jobtype=avx2)		 1.5 / (点/(1コア*１時間))
ccpg
(PFMキュー)		 16 / (点/(1ノード*１時間))
ccpg
(PFGキュー)		 32 / (点/(1ノード*１時間))
cck 0.5 / (点/(1コア*１時間))
  • 会話処理のccfep, ccuv, ccpgはCPU時間で課金します。
  • 会話処理のcckfは課金しません。
  • 他のシステムは、経過時間で課金します。
  • 実際の費用は無料です。

　現在の使用点数、残りの割当点数を知るためには、showlim -cコマンドを使います。

リソース集計

  • キューイングシステムで実行されたジョブの集計とディスク使用量の集計は10分毎に行います。
  • 会話処理の集計は、毎日5:15に行ないます。
  • 割当点数を使いきると、グループ内利用者全員の全ての実行中ジョブは削除され、新たなジョブ投入が抑止されます。
  • ディスク使用量が制限値を越えると、新たなジョブ投入が抑止されます。

ユーザ別 リソース制限の設定／表示

ウェブブラウザーでリソース制限設定ページにアクセスします。
  • 代表利用者のみがリグループ内のメンバー個々に対してグループに割り当てられたリソース量を限度に制限値を設定できます。
  • 一般利用者はリソース制限の値を確認することができます。
  • リソース制限の種類は、CPU数、点数、ディスク容量です。

キューイングシステム関連

キューイングシステムの全体像

キュー構成

全利用者が利用可能なキュー

システム キュー名 制限時間 メモリー ジョブあたり
のコア数		 グループ実行制限 グループサブミット制限
割当点数 コア数 割当点数 ジョブ数
ccpg PF
(jobtype=small, large, vsmp)		 定期保守
まで		 7.75GB/core 1～512 300万点以上
100万点以上
30万点以上
10万点以上
10万点未満		 1600
1024
640
384
128		 300万点以上
100万点以上
30万点以上
10万点以上
10万点未満		 1600
1024
640
384
128
ccpg PF
(jobtype=gpu)		 1週間 1～16
ccpg PF
(jobtype=avx2)		 定期保守
まで		 4.2GB/core 1～532
ccpg PFM
(jobtype=phi)		 定期保守
まで		 124GB/node
7.5GB/mic		 16 1ノード -
ccpg PFG
(jobtype=gpu, gpu4x1, gpu2x2)		 1週間 62GB/node
11.2GB/gpu		 8 2ノード -
ccuv PS 定期保守
まで		 7.7GB/core 1～256 100万点以上
10万点以上
10万点未満		 512
256
128		 100万点以上
10万点以上
10万点未満		 512
256
128
  • ノードに搭載されているコア数(16コアもしくは28コア)以下の並列数は任意の数を指定できますが他のジョブとノードを共有します。それ以上の場合はノード搭載のコア数の倍数に切り上げられ、ノードを専有します。
  • PFキューにおいてccpgyノードで 17コア以上のスレッド並列を行うために、vSMP を用意しています。 jobtype=vsmpを指定し、必要コア数は16の倍数を指定してください。 ただしマシンの割当順番が来ても、vSMP環境構築のため計算が動き出すまでに数分余分に時間がかかります。
  • jobtypeがvsmpの場合、ジョブIDが実行前に別のIDに切り替わります。切り替わった後のジョブ名は、"旧ジョブID.ccpg1.S"になります。
  • jobtypeがvsmpの場合、コアあたりの利用可能なメモリー量は20%程度少なくなります。
  • PFGキューで割り当てられる演算ノードには4 GPUが搭載されていますが構成が2種類あります。1つのCPU配下に4 GPUがある演算ノードを明示的に指定する場合は、jobtype=gpu4x1を指定してください。2つのCPU配下にそれぞれ2GPUがある演算ノードを明示的に指定する場合は、jobtype=gpu2x2を指定して下さい。どちらの演算ノードでもよい場合は、jobtype=gpuを指定して下さい。GPU間通信が主の場合はjobtype=gpu4x1が適しています。CPU-GPU間通信が主の場合はjobtype=gpu2x2が適しています。
  • グループ制限を判断する点数には追加点数を含みません。

別途申請が必要なキュー

キューの設定は下記の通りです。

システム キュー名 制限時間 メモリー 1ジョブあたりのコア数 グループ制限
cck large
small1
small2		 24時間 1.8GB/core 72x16 (固定)
12x16 (固定)
12x16 (固定)		 実行ジョブ数：1
ジョブサブミット本数：2(*)
ccpg 専有利用 7日間単位 7.75GB/core
4.2GB/core		 4,096 許可されたコア数

(*) 2本以上のジョブは自動的にジョブサブミット待ちリストに入り、実行ジョブの終了に合わせて自動的にサブミットされるように作り込んでありますので、それ以上のジョブを入れておく事も可能です。
 

制限時間は、経過時間で制限されます。

ジョブの状態表示

UV 2000、PRIMERGY RX300、PRIMERGY CX2550の場合

システムで何本のジョブがどれだけのCPUを使っているかの一覧表示するには、

ccfep% jobinfo [-s] -h (ccuv|ccpg)

とします。キューで何本のジョブがどれだけのCPUを使っているかの一覧表示するには、

ccfep% jobinfo [-s] -q (PS|PF|PFM|PFG)

とします。-sオプションは、省略できます。

　システムのバッチジョブの詳細を知りたい場合は、

ccfep% jobinfo -l [-g|-a] -h (ccuv|ccpg)

とします。-gオプションをつけると同一グループのジョブも表示されます。-aオプションをつけると全ユーザーのジョブが表示されます。自分以外の情報は、暗号化されています。
キューのバッチジョブの詳細を知りたい場合は、

ccfep% jobinfo -l [-g|-a] -q (PS|PF|PFM|PFG)

とします。

PRIMEHPC FX10の場合

cckf% pjstat [-v]

ジョブの投入

下記の２つの方法があります

  • jsub、pjsub(FX-10)コマンドにバッチファイルを指定してジョブを投入する
  • g09sub / g16subコマンドにgaussianのインプットファイルを指定してジョブを簡単に投入する（gaussian専用）

以下はjsub、pjsubを使ってジョブを投入する方法です

ヘッダー部の書き方

ジョブの投入には、バッチスクリプトが必要です。その際、バッチコマンドをスクリプトの最初に記述しなければなりません。

UV 2000の場合

cshのみ正式に対応しています。

意味 ヘッダー部 重要度
第一行目 #!/bin/csh -f 必須
使用CPU数 #PBS -l select=ncpus=Ncore:mpiprocs=Nproc:ompthreads=Nthread 必須
時間制限 #PBS -l walltime=72:00:00 必須
ジョブの開始前後に
メールで通知		 #PBS -m be オプション
バッチジョブ投入
ディレクトリへの移動		 cd ${PBS_O_WORKDIR} 推奨
  • Ncore: ノードあたりのコア数 (最大256まで)
  • Nproc: ノードあたりのプロセス数
  • Nthread: プロセスあたりのスレッド数

PRIMERGY RX300 / PRIMERGY CX2550の場合

cshのみ正式に対応しています。

意味 ヘッダー部 重要度
第一行目 #!/bin/csh -f 必須
使用CPU数 #PBS -l select=[Nnode:]ncpus=Ncore:mpiprocs=Nproc:ompthreads=Nthread[:jobtype=Jobtype][:ngpus=Ngpu] 必須
時間制限 #PBS -l walltime=72:00:00 必須
ジョブの開始前後に
メールで通知		 #PBS -m be オプション
バッチジョブ投入
ディレクトリへの移動		 cd ${PBS_O_WORKDIR} 推奨
  • Nnode: 実ノード数
  • Ncore: ノードあたりの確保するコア数 (実ノードが2以上の場合は16または28のみ許容、実ノードが1の場合は最大16または28まで)
  • Nproc: ノードあたりのプロセス数
  • Nthread: プロセスあたりのスレッド数
  • Jobtype: small, large, vsmp, gpu, gpu4x1, gpu2x2, avx2, phiのいずれか
    • (PF) small: 8GB / core, デフォルト
    • (PF) large: 8GB / core
    • (PF) vsmp: ソフトウェアSMP (8GB / core)
    • (PF) gpu: C2090を使う計算 (8GB / core)
    • (PF) avx2: avx2命令の実行できるノードまたは28コアあるノードが必要な場合 (4.2GB / core)
    • (PFM) phi: Intel Xeon Phiを使う計算 (2 mic / node)
    • (PFG) gpu, gpu4x1, gpu2x2: NVIDIA Tesla K40を使う計算 (4 gpu / node)
  • Ngpu: 使用するGPUの数
    • (PF) 1
    • (PFG) 4
vsmpで2ノード32スレッド並列する場合の「使用CPU数」行の書き方

#PBS -l select=2:ncpus=16:mpiprocs=1:ompthreads=32:jobtype=vsmp

2ノード32プロセス並列(MPI並列)する場合の「使用CPU数」行の書き方

#PBS -l select=2:ncpus=16:mpiprocs=16:ompthreads=1:jobtype=small

GPGPUを使用する場合の「使用CPU数」行の書き方

#PBS -l select=ncpus=1:mpiprocs=1:ompthreads=1:jobtype=gpu:ngpus=1

1コアジョブだが24Gのメモリを確保したい場合の書き方

#PBS -l select=ncpus=3:mpiprocs=1:ompthreads=1:jobtype=large
　*注：点数は3core分消費されます

PRIMEHPC FX10の場合

bashがデフォルトです。
ステージング機能は使用禁止です。

意味 ヘッダー部 重要度
第一行目 #!/bin/bash 必須
キュークラス #PJM -L "rscunit=unit1"
#PJM -L "rscgrp=Class"		 必須
ノードの形状 #PJM -L "node=Node" 必須
時間制限 #PJM -L "elapse=01:00:00" オプション
MPIのランク番号と
ノード形状の関係
 #PJM --mpi "Rank" オプション
MPIのプロセス数 #PJM --mpi "proc=Nproc" オプション
統計情報の出力 #PJM -s オプション
バッチジョブ投入
ディレクトリへの移動
 cd ${PJM_O_WORKDIR:-'.'} 推奨
環境設定 #(最新の開発環境の場合；会話処理では設定不要)
source /k/home/users/skel/Env_base.sh
#(09版を使う場合)
#source /k/home/users/skel/Env_base_1.2.1-09.sh
#(08版を使う場合)
#source /k/home/users/skel/Env_base_1.2.1-08.sh
#(06版を使う場合)
#source /k/home/users/skel/Env_base_1.2.1-06.sh
#csh版は拡張子を.cshにしたものを用意してあります。		 必須
  • Class: large, small1, small2のいずれか
  • Node: N1, N1xN2, N1xN2xN3の形式のいずれか
    • small1, small2では最大12(2x3x2)
    • largeでは最大72(2x3x12)
    • 三次元の場合は形状よりも小さくなければなりません。
  • Rank: rank-map-bynode[=(XY|YX|XYZ|XZY|YXZ|YZX|ZXY|ZYX)], rank-map-bychip[:(XY|YZ|XYZ|XZY|YXZ|YZX|ZXY|ZYX)], rank-map-hostfile=filenameのいずれか
    • rank-map-bynodeはノード順にランク番号を割り当てます。先頭文字の軸方向にランクを並べ、上限まで達した時点で次の文字に移動します。ノード数よりプロセス数が多い場合は最初のノードに戻ります。
    • rank-map-bychipは、ノード数よりプロセス数が多い場合にノード毎に連続したランク番号を与えます。
    • rank-map-hostfileは1行に1座標を記述します。例：(0), (0,0), (0,0,0)
  • Nproc: MPIのプロセス数

ジョブの投入コマンド

UV 2000、PRIMERGY RX300、PRIMERGY CX2550の場合

バッチスクリプトが準備できたら、下記のようにジョブを投入します。

ccfep% jsub -q (PS|PF|PFM|PFG) [-g XXX] [-W depend=(afterok|afterany):JOBID1[:JOBID2...]] script.csh

計算物質科学スパコン共用事業利用枠としてジョブ投入する場合は、-gオプションをつけます。（XXXは計算物質科学スパコン共用事業利用枠のグループ名）
ジョブの依存関係を-Wオプションで設定できます。ただし、PRIMERGYではjobtypeがavx2やキュークラスがPFGのとき、サブミットできない場合があります。その場合はジョブIDの直後に".ccpg1@ccpgpbs1"を加えるとサブミットできます。正常終了後に実行させる場合はafterok、異常終了後でも実行させる場合はafteranyを指定します。依存関係のあるジョブIDをコロンで区切って指定します。
バッチスクリプトのサンプルは、ccfep:/local/apl/システム名/アプリケーション名/samples/にあります。

PRIMEHPC FX10の場合

キューイングシステムの都合上、ジョブを投入する本数は同一研究グループあたり全キュークラスで合計2本まででお願いします。
/usr/local/bin/pjsubでサブミットする場合は、何本サブミットして頂いても構いません。

cckf% pjsub [-g XXX] script.csh

計算物質科学スパコン共用事業利用枠としてジョブ投入する場合は、-gオプションをつけます。（XXXは計算物質科学スパコン共用事業利用枠のグループ名）

ジョブの取消

UV 2000、PRIMERGY RX300、PRIMERGY CX2550の場合

　jobinfoコマンドで、取り消したいジョブのRequest IDを調べます。その後、

ccfep% jdel -h (ccuv|ccpg) RequestID

とします。

PRIMEHPC FX10の場合

pjstatコマンドで、取り消したいジョブのRequest IDを調べます。その後、

cckf% pjdel RequestID

とします。

実行済みジョブの情報取得

ジョブの終了日時、経過時間、並列化効率の情報をjobeffコマンドで得ることができます。

ccfep% jobeff -h(ccuv|ccpg) [-d "last_n_day"] [-a] [-o item1[,item2[,...]]]

表示される項目を-oオプションを使ってカスタマイズすることができます。itemには次のキーワードを指定することができます。

  • jobid: ジョブID
  • user: ユーザー名
  • group: グループ名
  • node: 計算に使われたノード名
  • start: ジョブの開始時刻（YYYY/MM/DD HH:MM）
  • Start: ジョブの開始時刻（YYYY/MM/DD HH:MM:SS）
  • finish: ジョブの終了時刻（YYYY/MM/DD HH:MM）
  • Finish: ジョブの終了時刻（YYYY/MM/DD HH:MM:SS）
  • elaps: 経過時間
  • cputime: 全CPU時間
  • used_memory: 使用したメモリー量
  • ncpu: 予約したCPU数
  • nproc: MPIのプロセス数
  • nsmp: プロセスあたりのスレッド数
  • peff: 並列化効率
  • attention: 非効率なジョブかどうか
  • command: ジョブ名

ビルドと実行

ビルドのコマンド

システム 言語 非並列 自動並列 OpenMP MPI

ccuv

 Fortran ifort ifort -parallel ifort -openmp mpif90
C icc icc -parallel icc -openmp mpicc
C++ icpc icpc -parallel icpc -openmp mpicxx
ccpg
(Intel)		 Fortran ifort ifort -parallel ifort -openmp mpiifort
C icc icc -parallel icc -openmp mpiicc
C++ icpc icpc -parallel icpc -openmp mpiicpc
ccpg
(PGI)		 Fortran pgfortran pgfortran -Mconcur pgfortran -mp  
C pgcc pgcc -Mconcur pgcc -mp  
C++ pgcpp pgcpp -Mconcur pgcpp -mp  
cck Fortran frtpx -Kfast frtpx -Kfast,parallel frtpx -Kfast,openmp mpifrtpx -Kfast
C fccpx -Kfast fccpx -Kfast,parallel fccpx -Kfast,openmp mpifccpx -Kfast
C++ FCCpx -Kfast FCCpx -Kfast,parallel FCCpx -Kfast,openmp mpiFCCpx -Kfast

MIC用実行ファイルをビルドするコマンド

システム 言語 オフロード ネイティブ(MPI) ネイティブ(OpenMP)
ccpg Fortran ifort -openmp source /opt/intel/impi/5.1.3.181/mic/bin/mpivars.csh
mpiifort -mmic		 ifort -mmic -openmp
C icc -openmp source /opt/intel/impi/5.1.3.181/mic/bin/mpivars.csh
mpiicc -mmic		 icc -mmic -openmp
C++ icpc -openmp source /opt/intel/impi/5.1.3.181/mic/bin/mpivars.csh
mpiicpc -mmic		 icpc -mmic -openmp

 

MPIの実装

システム MPIの種類
ccuv SGI MPI （MPI 2.2に準拠）
ccpg Intel MPI （MPI 2.1に準拠）
cck (MPI 1.3に準拠)

インストールされているライブラリー関数

システム ライブラリー関数
ccuv intel MKL, Intel IPP, Intel TBB
ccpg intel MKL, Intel IPP, Intel TBB
cckf BLAS, LAPACK, ScaLAPACK, SSL II

並列プログラムの実行方法

システム 自動並列・OpenMP MPI ハイブリッド
ccuv setenv OMP_NUM_THREADS 4
dplace -x2 ./a.out		 mpirun -np 4 dplace -s1 ./a.out setenv OMP_NUM_THREADS 4
mpirun -np 8 omplace ./a.out
ccpg setenv OMP_NUM_THREADS 4
./a.out		 mpirun -np 4 ./a.out setenv OMP_NUM_THREADS 4
mpirun -np 8 ./a.out
cck source /k/home/users/skel/Env_base.sh
export OMP_NUM_THREADS=4
export PARALLEL=4
lpgparm ./a.out		 mpiexec lpgparm ./a.out export OMP_NUM_THREADS=4
export PARALLEL=4
mpiexec lpgparam ./a.out

　ハイブリッドとは、自動並列またはOpenMPとMPIを組み合わせた方法です。

Tesla K40を使うプログラムの実行方法

1ノードに4枚のTesla K40が搭載されていますが、GPUDirect Peer-to-Peer通信できるのは2組のTesla K40間のみです。
プログラムの種類によって、最適な方法を選んで実行する必要があります。

4本のシリアルジョブの同時実行例

setenv CUDA_VISIBLE_DEVICES 0
./a.out < input1 > output2 &
setenv CUDA_VISIBLE_DEVICES 1
./a.out < input2 > output2 &
setenv CUDA_VISIBLE_DEVICES 2
./a.out < input3 > output3 &
setenv CUDA_VISIBLE_DEVICES 3
./a.out < input4 > output4 &
wait

2本のPeer-to-Peerジョブの同時実行例

setenv CUDA_VISIBLE_DEVICES 0,1
mpirun -np 2 -wdir ${PBS_O_WORKDIR} ./a.out < input1 > output1 &
setenv CUDA_VISIBLE_DEVICES 2,3
mpirun -np 2 -wdir ${PBS_O_WORKDIR} ./a.out < input2 > output2 &
wait

4GPUを1本のジョブで使う実行例

setenv CUDA_VISIBLE_DEVICES 0,1,2,3
mpirun -np 4 -wdir ${PBS_O_WORKDIR} ./a.out < input > output

MICを使うプログラムの実行方法

オフロード

(1つのmicのみ利用可能)

setenv MIC_ENV_PREFIX M_
setenv M_OMP_NUM_THREADS 240
./a.out

ネイティブ(MPI)

(mic0とmic1でそれぞれ240プロセスを起動する場合)

setenv I_MPI_MIC enable
mpirun -gwdir ${PWD} -n 240 -host mic0 ./a.out.mic : -n 240 -host mic1 ./a.out.mic

ネイティブ(OpenMP)

ssh mic0 "cd ${PWD}; export OMP_NUM_THREADS=240; ./a.out.mic"

シンメトリック

(hostで16プロセスとmic0とmic1でそれぞれ240プロセスを起動する場合)

mpirun -gwdir ${PWD} -n 16 -host localhost ./a.out \
       : -n 240 -host mic0 ./a.out.mic : -n 240 -host mic1 ./a.out.mic

開発支援ツール

一部コマンドライン版も使えますが、一般的にはX Window版の方が使いやすいです。

Intel Inspector XE

  • メモリ／スレッドエラー検証ツール
  • ccpg, ccuvで利用可能
  • (GUI command) /opt/intel/inspector_xe/bin64/inspxe-gui
  • (CUI command) /opt/intel/inspector_xe/bin64/inspxe-cl

Intel Vtune Amplifier

  • 性能解析ツール
  • ccpg, ccuvで利用可能
  • (GUI command) /opt/intel/vtune_amplifier_xe/bin64/amplxe-gui
  • (CUI command) /opt/intel/vtune_amplifier_xe/bin64/amplxe-cl

TotalView

  • ソースコードレベルデバッガー
  • ccuvf1のみで利用可能
  • (Setup command) module load totalview
  • (GUI command) totalview
  • (CUI command) totalviewcli

MemoryScape

  • メモリデバッガー
  • ccuvf1のみで利用可能
  • (Setup command) module load totalview
  • (GUI command) memscape

ThreadSpotter

  • 性能解析ツール
  • ccuvf1のみで利用可能
  • (Setup command) module load threadspotter
  • (GUI command) threadspotter

FUJITSU Software Development Tools

  • WindowsとMacOS Xで動作するFX10用のプログラミング支援ツール
  • http://cckf.center.ims.ac.jp/からダウンロードできます。
  • Serverには"cckf.center.ims.ac.jp"、NameとPasswordにはcckfで使っているアカウント名とパスワードを入力します。

Fujitsu Instant Performance Profiler

  • FX10用フロントエンド(cckf)で動作するプロファイラ情報出力ツール
  • 利用するためにはパスワードの登録が必要です。grub-cryptコマンドで出力されるパスワードのハッシュ値をccadm[at]draco.ims.ac.jp宛(迷惑メール対策のため、＠を[at]に置換しています)に送信してください。
  • https://cckf.ims.ac.jp/に記されている環境変数を設定します。
  • fipppxコマンドは、基本プロファイラ情報を出力します。
  • fapppxコマンドは、アプリケーションが指定した区間の詳細プロファイリングデータを出力します。
  • 計算ノードでプロファイル情報を収集後、FX10用フロントエンドでテキストのプロファイル情報に変換します。

パッケージプログラム

  • 各システムにインストールされている最新の一覧は、パッケージプログラム状態一覧で参照できます。
  • バッチスクリプトのサンプルは、ccfep:/local/apl/システム名/アプリケーション名/samples/ディレクトリーを御覧下さい。
  • アプリケーションの実体は、各システムの/local/apl/システム名/アプリケーション名/にあります。
  • センターでビルドしたアプリケーションの構築法はアプリケーションライブラリーの構築方法を御覧下さい。

ソフトウェア導入の要望

下記の項目を全てご記入の上、ccadm[at]draco.ims.ac.jp宛(迷惑メール対策のため、＠を[at]に置換しています)に送信してください。
有料ソフトウェアの場合、導入できないことがあります。

  • 導入を希望するソフトウェアの名前、バージョン
  • ソフトウェアの概要と特長
  • 共同利用システムに導入を希望する必要性
  • 開発元のURL

RCCS固有コマンド

バッチジョブ関連

ジョブ状態表示

ccfep% jobinfo [-c] [-s] [-l|-m [-g|-a]] [-n] -h (ccuv|ccpg)

もしくは

ccfep% jobinfo [-c] [-s] [-l|-m [-g|-a]] [-n] -q (PS|PF|PFM|PFG)

  • -c　最新データを使って表示
  • -s　サマリー表示
  • -m　メモリ情報を表示
  • -l　リスト表示
  • -g　グループ内の全ユーザの情報を表示
  • -a　全てのユーザの情報を表示
  • -n　ノード別空きコア数を表示
  • -h　対象システムを指定
  • -q　対象キューを指定

ジョブ投入

ccfep% jsub -q (PS|PF|PFM|PFG) [-g XXX] [-W depend=(afterok|afterany):JOBID1[:JOBID2...]] script.csh

ジョブ削除

ccfep% jdel -h (ccuv|ccpg) RequestID

完了したジョブ情報取得

ccfep% jobeff -h (ccuv|ccpg) [-d "last_n_day"] [-a] [-o item1[,item2[,...]]]

Gaussian専用ジョブ投入ツール

g16の場合

ccfep% g16sub [-q "QUE_NAME"] [-j "jobtype"] [-g "XXX"] [-walltime "hh:mm:ss"] \
              [-noedit] [-rev "g16xxx"] [-np "ncpus"] [-mem "size"] [-save] [-mail] input_files

  • g09を使うg09subコマンドやg03を使う"g03sub"コマンドも有ります。
  • デフォルトのwalltimeは72時間に設定しています。ジョブの実行時間より多少多めに時間を設定してください。
  • "g16sub"と入力すると各オプションの意味や使用例が表示されます。
  • コア数指定が1ノードに収まらない場合は自動的にvsmpジョブとなって投入されます。

/work, /ramd関連ユーティリティー

PRIMERGYの/ramdにアクセスするには、-rまたは--ramdiskオプションをつけて下記のコマンドを実行します。オプションがない場合は/workにアクセスします。

指定システムでのcatコマンド

ccfep% catw -h ccuv [-- [catコマンドのオプション]] files
ccfep% catw -n 'ccpg[xyz]NNN' [-r|--ramdisk] [-- [catコマンドのオプション]] files

指定システムでのfindコマンド

ccfep% findw -h ccuv [-- [findコマンドのオプション]] files
ccfep% findw -n 'ccpg[xyz]NNN' [-r|--ramdisk] [-- [findコマンドのオプション]] files

指定システムでのheadコマンド

ccfep% headw -h ccuv [-- [headコマンドのオプション]] files
ccfep% headw -n 'ccpg[xyz]NNN' [-r|--ramdisk] [-- [headコマンドのオプション]] files

指定システムでのlsコマンド

ccfep% lsw -h ccuv [-- [lsコマンドのオプション]] files
ccfep% lsw -n 'ccpg[xyz]NNN' [-r|--ramdisk] [-- [lsコマンドのオプション]] files

指定システムでのtailコマンド

ccfep% tailw -h ccuv [-- [tailコマンドのオプション]] files
ccfep% tailw -n 'ccpg[xyz]NNN' [-r|--ramdisk] [-- [tailコマンドのオプション]] files

ccpgxNNNとccpgyNNNの/workは、ccpgにログインして直接アクセスできます。
ccpgzNNNの/workは、ccfepにログインして直接アクセスできます。

資源使用状況表示

ccfep% showlim (-cpu|-disk) [-m]

  • -cpu: 使用した使用点数と割当点数の表示
  • -disk: 使用しているディスク容量と上限容量の表示
  • -m: 所属全メンバー毎の使用状況と上限値の表示

バッチスクリプト用ユーティリティーコマンド

コマンドの実行時間の制限

/local/apl/(pg|uv)/pswalltime -d duration -- command [arguments...]

  • -d duration: コマンドを実行させたい時間を"-d 72:00:00"のような形式で記述します。
  • 指定時間を過ぎるとcommandをkillします。

ジョブの統計情報の表示

/local/apl/(pg|uv)/jobstatistic

  • PBSのヘッダー行でジョブ終了時にメール送信を指示したときに含まれるジョブ統計情報相当を出力します。
  • コマンド実行時までのジョブ統計情報です。

出力項目

  • resources_used.cpupercent: CPU利用効率。最大の値はスレッド数x100。複数ノード使用時には異常値を示す場合があります。
  • resources_used.cput: 各CPUで実際に演算した時間の総和。
  • resources_used.mem: 実際に使用したメモリー量。
  • resources_used.ncpus: 使用したCPU数。
  • resources_used.walltime: ジョブの実行時間。

問い合わせ

https://ccportal.ims.ac.jp/contact
をご参照下さい。