jobtype、キュー構成、キュー係数、CPU点数
(最終更新日: 2024/7/19)
jobtype
各ジョブには jobtype が定義されます。各 jobtype で利用可能な計算ノード数が異なります。また、時間あたりに消費される CPU 点数も jobtype によって変わります。jobtype は以下のように決められます。
| jobtype | 定義 |
|---|---|
| largemem | jobtype=largemem を指定したジョブ。 g16sub の場合は -j largemem を指定した場合。 |
| vnode | ncpus=64 もしくは ncpus=128 を指定したジョブ g16sub の場合は -np 64 もしくは -np 128 かつ largemem では無い場合 |
| core | ncpus < 64 のジョブ |
| gpu | ngpus > 0 のジョブ |
キュー構成
計算ノードはノード単位(128 コア)、vnode 単位(64 コア)、1 コア単位で使うことができます。別途 GPU を搭載しているノードもあります。
jobtype | 計算ノード | メモリー | 利用単位 | 1ジョブあたりの 制限 | 総 vnode 数 (コア数) |
|---|---|---|---|---|---|
| largemem | TypeF | 7.875 GB/コア | vnode or ノード | 1〜14 vnode(s) （64〜896コア） | 28 vnodes (1,792 コア) |
| vnode | TypeC | 1.875 GB/コア | vnode or ノード | 1～50 vnode(s) （64〜3,200コア） | 1,248 vnodes 以上 (79,872 コア以上) |
| core | TypeC | 1.875 GB/コア | コア | 1〜63 コア | 200 vnodes 以上 (12,800 コア以上) |
| gpu | TypeG | 1.875 GB/コア | コア | 1〜48 GPU 1〜16 コア/GPU | 32 vnodes (2,048 コア 128 GPU) |
- ジョブの最大時間は、定期メンテナンスまでとなります。ただし、1週間を越えるジョブが実行できるノードは全体の半分程度とします。
- largemem 以外の jobtype については指定されたリソースより判定可能であるため、jsub では省略可能です。
- TypeC の 80 ノード(160 vnode)は vnode ジョブと core ジョブ共存領域となります。
- 短期の vnode ジョブが largemem 用の領域で実行される場合があります
- 短期の core ジョブが gpu 用ノードで実行される場合があります。
- 専有利用時は 1 ジョブあたりの制限等の各種条件を緩和することも可能です。
CPU 点数とキュー係数
jobtype によって時間あたりの CPU 点数(キュー係数)が変わってきます。
| jobtype | CPU キュー係数 | GPU キュー係数 |
|---|---|---|
| largemem | 60 点 / (1 vnode * 1 時間) | - |
| vnode | 45 点 / (1 vnode * 1 時間) | - |
| core | 1 点 / (1 コア * 1 時間) | - |
| gpu | 1 点 / (1 コア * 1 時間) | 60 点 / (1 GPU * 1 時間) |
- 会話処理ノードの内、ccfepは CPU 時間で CPU 点数が消費されます。
- 他のシステムは、経過時間で CPU 点数が消費されます。
- CPU 点数を使いきると、グループ内利用者全員の全ての実行中ジョブが削除され、新たなジョブ投入も抑止されます。
- CPU 点数の使用状況は showlim コマンドで確認することができます。
- 実際の費用は無料です。
点数計算例
- 64 コアジョブを 3 時間実行した場合 => 1 (vnode) * 45(点/vnode・時間) * 3(時間) = 135 点
- 8 ノードジョブ(128*8=1024 コア)を 1 週間(168 時間)実行した場合 => 2 (vnode/ノード) * 45(点/vnode・時間) * 8(ノード) * 168(時間) = 120,960 点
- 16 コア 1 GPU ジョブを 24 時間 => ( 16 (core) * 1 (点/core・時間) + 1 (gpu) * 60 (点/GPU・時間) ) * 24 (時間) = 1,824 点
グループあたりの利用制限(CPU コア数、GPU 数、ジョブ数)
初期の割当点数に応じて同時に利用可能な CPU コア数、GPU 数が決定されます。
グループの制限 | |||
|---|---|---|---|
| 初期割当点数 | CPU コア数 | GPU 数 | ジョブ数 |
| 7,200,000+ | 9,600 | 64 | 5,000 |
| 2,400,000+ | 6,400 | 42 | |
| 720,000+ | 4,096 | 28 | |
| 240,000+ | 3,200 | 12 | |
| -240,000 | 768 | 8 | |
- コア単位で利用する(ncpus<64)際と jobtype=largemem タイプの利用時は追加の制限があります。これらの制限値は jobinfo -s の出力で確認することができます。
- グループ制限値は初期割当点数で判断されます。追加点数分は考慮されません。
- 混雑状況に応じて制限数が変更される場合があります。実際の制限値については jobinfo -s コマンドの出力で確認できます。