ジョブ管理システム系（TORQUE）
導入
Mac OS X Snow Leopardに導入。
制御ノードと計算機ノードが同じ場合。
コア数は物理コア8、論理コア16。
# sysctl hw.ncpu や system_profiler で調べられる。
まだ、調整中のため不確かな情報含む。
ファイルを落としてコンパイル
rootでmake & make installする。
file=torque-2.5.4
wget http://www.clusterresources.com/downloads/torque/${file}.tar.gz
tar -xzvf ${file}.tar.gz
cd ${file}
./configure --prefix=/opt/local
make
make install
/etc/hostsの書き直し
例えば、
127.0.0.1 localhost
を
127.0.0.1 localhost YOURNAME-Mac-Pro.local
とする。
各ファイルの設定
サーバーの名前を書く。
/var/spool/torque/server_name
YOURNAME-Mac-Pro.local
ノードの数を書く。
/var/spool/torque/server_priv/nodes
localhost np=16
コア数etcを書く。
/var/spool/torque/mom_priv/config
# $pbsserver localhost
# $max_load 16.0
# $auto_ideal_load t-0.2
# $auto_max_load t-0.2q
$pbsserver localhost
$ideal_load 15.8
$max_load 15.8
試しにサーバー起動etc
pbs_server -t create # 初回起動時は"-t create"が必要。
ps aux | grep pbs # サーバーが起動していることを確認した。
qterm # サーバーを落とした。
server.confの作成
server.confという名前で以下のファイルを作成する。
set server scheduling=true
create queue batch queue_type=execution
set queue batch started=true
set queue batch enabled=true
set queue batch resources_default.nodes=1
# set queue batch resources_max.cput=12:00:00
set queue batch resources_available.nodes=1
set queue batch resources_available.ncpus=16
set queue batch resources_max.nodes=1
set queue batch resources_max.ncpus=4
set server default_queue=batch
set server query_other_jobs=true
create node localhost np=16
もし、 set server query_other_jobs=true がないと
sudo qstat したときのみjobが確認できるようになる模様。
設定の読込み
既存の設定をすべてクリアしてserver.confを読込む。
sudo killall pbs_server
sudo pbs_server -t create
sudo qmgr < server.conf
なお、/var/spool/torque/server_priv/nodes
はqmgrによる設定に伴って自動的に生成される模様。
また、設定内容は
qmgr -c 'p s'
で確認できる。
デーモン群の起動
システムの再起動後、デーモン群を起動するには以下のコマンドを入力すればよい。
sudo pbs_server
sudo pbs_sched
sudo pbs_mom
Open MPIをTorque用に再コンパイル
tm.h の入っている include ディレクトリを
/var/spool/torque へリンクする。
sudo ln -s /opt/local/include/ /var/spool/torque/include
sudo port edit openmpi して ./configure に
--with-tm=/var/spool/torque
を追加する。
sudo port install openmpi したら、
/opt/local/lib/openmpi/bin/ompi_info | grep tm
Job投入
SINGLE
#!/bin/sh
#PBS -l ncpus=1
#PBS -q batch
#PBS -N test
#PBS -j oe
prog=prog.out
date
cd $PBS_O_WORKDIR
./${prog}
date
MPI
#!/bin/sh
#PBS -l ncpus=8
#PBS -q batch
#PBS -N test
#PBS -j oe
prog=prog.out
date
cd $PBS_O_WORKDIR
export PATH=/opt/local/bin:$PATH
openmpiexec -np 8 ./${prog}
date
TORQUE Resource Manager (OpenPBS) のlinks
最終更新：2012年01月19日 02:35
