Data Cloud Service
01
ownCloud
- 유저당 할당 가능 용량 : 기본 200GB
- 사용방법 : 웹브라우저 (https://cloud-r.ibs.re.kr) 접속 후 client 설치 (매뉴얼 다운로드 혹은 홈페이지 (https://doc.owncloud.com) )
- 문의사항 : 인프라운영팀 심규헌 (kshim@ibs.re.kr, 042-878-8231)
01
HQ HW 정보
구분 | HQ | HQ2 | HQ Debug |
---|---|---|---|
모델명 | HP ProLiant DL360 Gen9 | HP ProLiant DL360 Gen9 / Dell PowerEdge R630 |
Dell PowerEdge R630 |
시스템 구조 | CPU / GPU / Big Memory | CPU | CPU |
CPU 종류 | Intel Xeon E5-2650 v3 2.3Ghz | Intel Xeon E5-2690 v4 2.6Ghz / Intel Xeon E5-2690 v3 2.6Ghz |
Intel Xeon E5-2690 v3 2.6Ghz |
총 노드 개수 | 36 | 10/18 (총 28) |
1 |
노드 당 CPU 개수 | 2 | 2 | 1 |
CPU당 코어 개수 | 10 | 14 / 12 | 12 |
총 코어 개수 | 720 | 280 / 432 | 12 |
노드 당 메모리 (GB) |
64 / 128 / 256 | 64 / 128 | 64 |
총 메모리 (GB) |
3328 | 2368 | 64 |
디스크 스토리지 | Lustre File System /home : 39T /Scratch : 194T | ||
인터커넥트 네트워크 | IBA |
02
HQ 노드 정보
구분 | 모델명 | 시스템 구조 | CPU 종류 | 노드 당 CPU (개) |
CPU당 코어 (개) |
노드당 core (개) |
노드 당 메모리 (GB) |
---|---|---|---|---|---|---|---|
HQcomp01 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp02 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp03 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp04 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp05 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp06 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp07 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp08 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp09 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp10 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp11 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp12 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp13 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp14 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp15 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp16 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp17 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp18 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp19 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp20 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp21 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp22 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp23 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp24 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp25 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp26 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp27 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQcomp28 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 64 |
HQgpu01 | HP ProLiant DL360 Gen9 | GPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 128 |
HQgpu02 | HP ProLiant DL360 Gen9 | GPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 128 |
HQgpu03 | HP ProLiant DL360 Gen9 | GPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 128 |
HQgpu04 | HP ProLiant DL360 Gen9 | GPU | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 128 |
HQmem01 | HP ProLiant DL360 Gen9 | Big Memory | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 256 |
HQmem02 | HP ProLiant DL360 Gen9 | Big Memory | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 256 |
HQmem03 | HP ProLiant DL360 Gen9 | Big Memory | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 256 |
HQmem04 | HP ProLiant DL360 Gen9 | Big Memory | Intel Xeon E5-2650 v3 2.3Ghz | 2 | 10 | 20 | 256 |
HQ2comp01 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp02 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp03 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp04 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp05 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp06 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp07 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp08 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp09 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp10 | HP ProLiant DL360 Gen9 | CPU | Intel Xeon E5-2690 v4 2.6Ghz | 2 | 14 | 28 | 64 |
HQ2comp11 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp12 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp13 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp14 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp15 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp16 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp17 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp18 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp19 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp20 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp21 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp22 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp23 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp24 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp25 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp26 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp27 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 64 |
HQ2comp28 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 2 | 12 | 24 | 128 |
HQ2comp29 | Dell PowerEdge R630 | CPU | Intel Xeon E5-2690 v3 2.6Ghz | 1 | 12 | 12 | 64 |
03
HQ SW 정보
컴파일러 및 라이브러리 모듈
구분 | 항목 (이름/버전) |
---|---|
컴파일러 | gcc/8.3.0 intel-16.0.1 intel-16.0.2 intel-17.0.2 |
APP | cuda/7.5 cuda/9.1 gdal-3.0.3 geos-3.8.0 proj-5.2.0 proj-6.3.0 sqlite3-3.30.1 udunits-2.2.20 zlib-1.2.11 |
MPI | mvapich2-2.2b openmpi-1.10.1 openmpi-3.0.0 intel-mpi-5.1.2 |
응용 소프트웨어 | python-3.6.9 R-3.6.1 |
04
HQ Queue 정보
스케줄러 : SGE
SGE(Sun Grid Engine)는 배치 환경 표준을 따르며, 배치
작업을 수용하거나, 작업의 특성을 컨트롤하거나, 작업을 준 노드에 결과물을 줄 수 있는 시스템이다.
Queue 및 PE
SGE에서 parallel job을 실행하기 위한 환경은 각 노드의 속성이 정의된 Queue와 PE(Parallel
Environment)의 조합으로 구성된다.
Queue와 pe는 다음과 같이 생성되어 있다. 여기서는 CPU와 Core와 Slot 은 모두 같은 의미로 사용하기로 한다.
Queue와 pe는 다음과 같이 생성되어 있다. 여기서는 CPU와 Core와 Slot 은 모두 같은 의미로 사용하기로 한다.
01Queue
Queue Name | 시스템 구조 | 공동활용 Queue | 노드 개수 | Core 개수 | Memory | GPU 개수 | 작업 최대 실행시간 |
---|---|---|---|---|---|---|---|
HQ2comp-1 | CPU | Y | 28 | 712 | 2368 | - | 168시간 |
HQ2comp-2 | CPU | Y | 28 | 712 | 2368 | - | 336시간 |
HQ2debug | CPU | Y | 1 | 12 | 64 | - | 24시간 |
HQcomp-1 | CPU | Y | 28 | 560 | 1792 | - | 168시간 |
HQcomp-2 | CPU | Y | 28 | 560 | 1792 | - | 336시간 |
HQcomp-3 | CPU | Y | 28 | 560 | 1792 | - | 504시간 |
HQcomp-4 | CPU | Y | 28 | 560 | 1792 | - | 672시간 |
Hqgpu | GPU | Y | 4 | 80 | 512 | 16 | 168시간 |
Hqmem | CPU | Y | 4 | 80 | 1024 | - | 168시간 |
02PE(Parallel Environment)
PE Name | 속 성 |
---|---|
mpi_1 | parallel job을 실행 시 각 노드에 1개의 Slot을 할당한다. |
mpi_2 | parallel job을 실행 시 각 노드에 2개의 Slot을 할당한다. |
mpi_3 | parallel job을 실행 시 각 노드에 3개의 Slot을 할당한다. |
mpi_4 | parallel job을 실행 시 각 노드에 4개의 Slot을 할당한다. |
mpi_5 | parallel job을 실행 시 각 노드에 5개의 Slot을 할당한다. |
mpi_6 | parallel job을 실행 시 각 노드에 6개의 Slot을 할당한다. |
mpi_7 | parallel job을 실행 시 각 노드에 7개의 Slot을 할당한다. |
mpi_8 | parallel job을 실행 시 각 노드에 8개의 Slot을 할당한다. |
mpi_9 | parallel job을 실행 시 각 노드에 9개의 Slot을 할당한다. |
mpi_10 | parallel job을 실행 시 각 노드에 10개의 Slot을 할당한다. |
mpi_11 | parallel job을 실행 시 각 노드에 11개의 Slot을 할당한다. |
mpi_12 | parallel job을 실행 시 각 노드에 12개의 Slot을 할당한다. |
mpi_13 | parallel job을 실행 시 각 노드에 13개의 Slot을 할당한다. |
mpi_14 | parallel job을 실행 시 각 노드에 14개의 Slot을 할당한다. |
mpi_15 | parallel job을 실행 시 각 노드에 15개의 Slot을 할당한다. |
mpi_16 | parallel job을 실행 시 각 노드에 16개의 Slot을 할당한다. |
mpi_17 | parallel job을 실행 시 각 노드에 17개의 Slot을 할당한다. |
mpi_18 | parallel job을 실행 시 각 노드에 18개의 Slot을 할당한다. |
mpi_19 | parallel job을 실행 시 각 노드에 19개의 Slot을 할당한다. |
mpi_20 | parallel job을 실행 시 각 노드에 20개의 Slot을 할당한다. |
mpi_21 | parallel job을 실행 시 각 노드에 21개의 Slot을 할당한다. |
mpi_22 | parallel job을 실행 시 각 노드에 22개의 Slot을 할당한다. |
mpi_23 | parallel job을 실행 시 각 노드에 23개의 Slot을 할당한다. |
mpi_24 | parallel job을 실행 시 각 노드에 24개의 Slot을 할당한다. |
fill_up | parallel job을 실행 시 첫 노드부터 비어있는 Slot을 차례로 채워나가며 Slot을 할당한다. |
round_robin | parallel job을 실행 시 첫 노드부터 마지막 노드까지
하나씩의 Slot을 할당한 후, 모자랄 경우 첫 노드부터 다시 하나씩 Slot을 할당한다. |
pe_slots | parallel job 또는 serial job을 실행 시
하나의 노드에서만 Slot이 할당되며, 할당되는 Slot의 개수는 하나에서부터 해당 노드가 가지고 있는 Slot의 개수까지이다. serial job 또는 openmp나 thread 방식의 parallel job을 실행시 사용된다. 예로서, “#$ -pe pe_slots 4”는 “#$ -pe mpi_4 4”와 같은 결과를 나타낸다. |
03Queue와 PE 조합 예시
parallel job을 실행 시 노드당 1개씩 총 2개의
Slot을 요청할 경우 (총 2노드)
#$ -q all.q
#$ -pe mpi_1 2
#$ -pe mpi_1 2
parallel job을 실행 시 노드당 1개씩
총 2개의 Slot을 요청할 경우 (총 2노드)
#$ -q all.q
#$ -pe mpi_4 8
#$ -pe mpi_4 8
parallel job을 실행 시 총 30개의 Slot을
요청할 경우. (총 2노드)
전체노드의 Slot이 모두 비어있을
경우 node01에 24개의 Slot이 할당되고, node02에 6개의 Slot이 할당됨.
#$ -q all.q
#$ -pe fill_up 30
#$ -pe fill_up 30
parallel job을 실행 시 총 31의 Slot을
요청할 경우. (총 2노드)
전체노드의 Slot이 모두 비어있을
경우 node01과 node02에 번갈아 가며 1개의 Slot씩 30개의 Slot을 할당하고, 다시 node01에
추가로 1개의 Slot을 할당한다. 따라서 kevin01에 16개의 Slot이 할당되고, node02에 15개의
Slot이 할당됨.
#$ -q all.q
#$ -pe round_robin 31
#$ -pe round_robin 31
Submit Script
01환경변수
SGE_ROOT | Specifies the location of the Grid Engine standard configuration files. |
---|---|
SGE_O_HOME | the home directory of the submitting client. |
SGE_O_HOST | the name of the host on which the submitting client is running. |
SGE_O_LOGNAME | the LOGNAME of the submitting client. |
SGE_O_MAIL | the MAIL of the submitting client. This is the mail directory of the submitting client. |
SGE_O_PATH | the executable search path of the submitting client. |
SGE_O_SHELL | the absolute path of the current working directory of
the submitting client. Furthermore, Grid Engine sets additional variables into the job environment, as listed below. |
HOME | The user home directory path from the passwd(5) file. |
HOSTNAME | The hostname of the node on which the job is running. |
JOB_ID | A unique identifier assigned by the sge_qmaster(8)
when the job was submitted. The job ID is a decimal integer in the range 1 to 99999. |
JOB_NAME | The job name. For batch jobs or jobs submitted
by qrsh with a command, the job name is built as basename of the qsub script file-name resp. the qrsh command. For interactive jobs it is set to INTERACTIVE for qsh jobs, QLOGIN for qlogin jobs and QRLOGIN for qrsh jobs without a command. This default may be overwritten by the -N. option. |
LOGNAME | The user login name from the passwd(5) file. |
NHOSTS | The number of hosts in use by a parallel job. |
NSLOTS | The number of queue slots in use by a parallel job. |
PATH | A default shell search path of: /usr/local/bin:/usr/ucb:/bin:/usr/bin |
PE | parallel environment under which the job executes (for parallel jobs only). |
PE_HOSTFILE | The path of a file containing the definition of the
virtual parallel machine assigned to a parallel job by
Grid Engine. See the description of the $pe_hostfile parameter in sge_pe(5) for details on the format of this file. The environment variable is only available for parallel jobs. |
SHELL | The user login shell from the passwd(5) file. Note: This is not necessarily the shell in use for the job. |
TMPDIR | The absolute path to the job’s temporary working directory. |
TMP | The same as TMPDIR; provided for compatibility with NQS. |
02실행예제
Parallel Job
#!/bin/bash
## SGE에서는 행의 첫 부분에 “#$”가 위치하면 “주석”이 아니라 “옵션”으로 인식.
#$ -q all.q
## Queue를 지정.
#$ -pe mpi_4 8
## mpi를 사용하므로 mpi_4를 사용하여 총 8cpu를 할당 (하나의 노드 당 4cpu씩 2노드)
#$ -N Mpi_exam_Job
## 실행시킬 Job의 이름을 지정
#$ -o Output_file_name.out
## 결과물이 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.o##”의 형식으로 저장됨.
#$ -e Error_file_name.err
## “표준에러”가 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.e##”의 형식으로 저장됨.
#$ -S /bin/bash
## SHELL을 지정할 필요가 있을 경우
#$ -cwd
## 결과물의 생성위치를 Job을 Submit한 디렉토리로 지정
echo "Got $NSLOTS slots."
cat $TMPDIR/machines
## $NSLOT은 할당된 job의 숫자.
## $TMPDIR/machines는 할당된 노드가 한 줄에 하나씩 표시된 임시파일.
## 위의 두가지 정보를 가지고 MPI job을 실행
cd $SGE_O_WORKDIR
## $SGE_O_WORKDIR은 qsub명령을 실행한 디렉토리
MPI_EXEC=/opt/mpi/intel-14.0/openmpi-1.8.8/bin/mpirun
$MPI_EXEC -np $NSLOTS –machinefile $TMPDIR/machines $SGE_O_WORKDIR/exe_file
## SGE에서는 행의 첫 부분에 “#$”가 위치하면 “주석”이 아니라 “옵션”으로 인식.
#$ -q all.q
## Queue를 지정.
#$ -pe mpi_4 8
## mpi를 사용하므로 mpi_4를 사용하여 총 8cpu를 할당 (하나의 노드 당 4cpu씩 2노드)
#$ -N Mpi_exam_Job
## 실행시킬 Job의 이름을 지정
#$ -o Output_file_name.out
## 결과물이 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.o##”의 형식으로 저장됨.
#$ -e Error_file_name.err
## “표준에러”가 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.e##”의 형식으로 저장됨.
#$ -S /bin/bash
## SHELL을 지정할 필요가 있을 경우
#$ -cwd
## 결과물의 생성위치를 Job을 Submit한 디렉토리로 지정
echo "Got $NSLOTS slots."
cat $TMPDIR/machines
## $NSLOT은 할당된 job의 숫자.
## $TMPDIR/machines는 할당된 노드가 한 줄에 하나씩 표시된 임시파일.
## 위의 두가지 정보를 가지고 MPI job을 실행
cd $SGE_O_WORKDIR
## $SGE_O_WORKDIR은 qsub명령을 실행한 디렉토리
MPI_EXEC=/opt/mpi/intel-14.0/openmpi-1.8.8/bin/mpirun
$MPI_EXEC -np $NSLOTS –machinefile $TMPDIR/machines $SGE_O_WORKDIR/exe_file
Serial Job
#!/bin/bash
## SGE에서는 행의 첫 부분에 “#$”가 위치하면 “주석”이 아니라 “옵션”으로 인식.
#$ -q all.q
## Queue를 지정.
## Serial Job이므로 PE를 지정할 필요 없음. 무조건 하나의 Slot이 할당됨.
#$ -N Serial_exam_Job
## 실행시킬 Job의 이름을 지정
#$ -o Output_file_name.out
## 결과물이 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.o##”의 형식으로 저장됨.
#$ -e Error_file_name.err
## “표준에러”가 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.e##”의 형식으로 저장됨.
#$ -S /bin/bash
## SHELL을 지정할 필요가 있을 경우
#$ -cwd
## 결과물의 생성위치를 Job을 Submit한 디렉토리로 지정
cd $SGE_O_WORKDIR
## $SGE_O_WORKDIR은 qsub명령을 실행한 디렉토리
$SGE_O_WORKDIR/exe_file
## SGE에서는 행의 첫 부분에 “#$”가 위치하면 “주석”이 아니라 “옵션”으로 인식.
#$ -q all.q
## Queue를 지정.
## Serial Job이므로 PE를 지정할 필요 없음. 무조건 하나의 Slot이 할당됨.
#$ -N Serial_exam_Job
## 실행시킬 Job의 이름을 지정
#$ -o Output_file_name.out
## 결과물이 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.o##”의 형식으로 저장됨.
#$ -e Error_file_name.err
## “표준에러”가 저장된 파일의 이름을 지정.
## 지정하지 않을 경우 “Job_name.e##”의 형식으로 저장됨.
#$ -S /bin/bash
## SHELL을 지정할 필요가 있을 경우
#$ -cwd
## 결과물의 생성위치를 Job을 Submit한 디렉토리로 지정
cd $SGE_O_WORKDIR
## $SGE_O_WORKDIR은 qsub명령을 실행한 디렉토리
$SGE_O_WORKDIR/exe_file
03SGE 사용
Job을 Submit하기
qsub submit_script.sh
Queue 상태 확인하기
qstat
-q 특정 queue를 지정한다.
-f 보다 자세한 정보를 출력한다.
-u * 전체 사용자의 실행중이거나 대기중인 job을 볼 수 있다.
-f 보다 자세한 정보를 출력한다.
-u * 전체 사용자의 실행중이거나 대기중인 job을 볼 수 있다.
작업중인 Job 지우기
이미 실행 혹은 대기 상태중인 job을 지우는 명령어는 qdel이며 job을 지우기 위해서는 job id가 필요로
한다.
job id는 qstat란 명령어를 통하여 알 수 있다.
job id는 qstat란 명령어를 통하여 알 수 있다.
qdel Job_ID
01
Jepyc HW 정보
구분 | Jepyc | Jepyc RTX |
---|---|---|
모델명 | SuperMicro AS-4023S-TRT | ASUS ESC8000 G4 |
시스템 구조 | GPU | GPU |
CPU 종류 | AMD EPYC 7401 | Intel Xeon Gold 6126 2.6Ghz |
총 노드 개수 | 20 | 1 |
노드 당 CPU 개수 | 2 | 2 |
CPU당 코어 개수 | 24 | 12 |
총 코어 개수 | 1920 | 48 |
노드 당 메모리 (GB) |
64 | 48 |
총 메모리 (GB) |
1280 | 48 |
총 GPU 개수 | 40 | 8 |
노드당 GPU 개수 | 2 | 8 |
디스크 스토리지 | Lustre File System /home : 39T /Scratch : 194T |
Local File System /backup : 24T /data : 36T |
인터커넥트 네트워크 | IBA |
02
Jepyc 노드 정보
구분 | 모델명 | 시스템 구조 |
CPU 종류 |
노드 당 CPU (개) |
CPU당 코어 (개) |
노드당 core (개) |
노드 당 메모리 (GB) |
GPU 종류 |
노드 당 GPU (개) |
---|---|---|---|---|---|---|---|---|---|
jepyc01 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc02 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc03 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc04 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc05 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc06 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc07 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc08 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc09 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc10 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc11 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc12 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc13 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc14 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc15 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc16 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc17 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc18 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc19 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc20 | SuperMicro AS-4023S-TRT | GPU | AMD EPYC 7401 | 2 | 24 | 48 | 64 | GeForce GTX 1080 Ti | 2 |
jepyc50 | ASUS ESC8000 G4 | GPU | Intel Xeon Gold 6126 2.6Ghz |
2 | 12 | 24 | 48 | GeForce GTX 2080 Ti | 8 |
03
Jepyc SW 정보
컴파일러 및 라이브러리 모듈
구분 | 항목 (이름/버전) |
---|---|
컴파일러 | gnu/5.4.0 gnu/7.3.0 gnu/8.3.0 |
APP | cuda/8.0 cuda/9.0 cuda/10.2 |
MPI (gnu 5.4.0) | mpich/3.2.1 mvapich2/2.2 openmpi/1.10.7 |
Library (gnu 5.4.0) | gsl/2.4 metis/5.1.0 ocr/1.0.1 hdf5/1.10.1 numpy/1.12.1 openblas/0.2.20 superlu/5.2.1 |
MPI (gnu 7.3.0) | mpich/3.2.1 mvapich2/2.2 openmpi/1.10.7 openmpi3/3.1.0 |
MPI (gnu 8.3.0) | mvapich2/2.3.2 openmpi3/3.1.4 mpich/3.3.1 |
Library (gnu 8.3.0) | R/3.6.1 hdf5/1.10.5 metis/5.1.0 plasma/2.8.0 scotch/6.0.6 gsl/2.6 likwid/4.3.4 openblas/0.3.7 pdtoolkit/3.25 py2-numpy/1.15.3 superlu/5.2.1 |
응용 소프트웨어 | conda/4.8.2 python/3.7.2 |
공통 | EasyBuild/3.9.4 cmake/3.15.4 hwloc/2.1.0 papi/5.7.0 prun/1.3 valgrind/3.15.0 pmix/2.2.2 wxwidgets-gnu/3.1.3 |
04
Jepyc Queue 정보
스케줄러 : SLURM
Queue
Queue Name | 시스템 구조 | 공동활용 Queue | 노드 개수 | Core 개수 | Memory | GPU 개수 | 작업 최대 실행시간 |
---|---|---|---|---|---|---|---|
all | GPU | Y | 20 | 960 | 1280 | 40 | 168시간 |
rtx | GPU | Y | 1 | 24 | 48 | 8 | 168시간 |
01
Horus2 HW 정보
구분 | Horus2 | |
---|---|---|
모델명 | Supermicro 1029GQ-TRT | |
시스템 구조 | GPU | |
CPU 종류 | Intel Xeon Gold 6132 2.6Ghz | |
총 노드 개수 | 33 | |
노드 당 CPU 개수 | 2 | |
CPU당 코어 개수 | 14 | |
총 코어 개수 | 924 | |
노드 당 메모리 (GB) |
128 | |
총 메모리 (GB) |
4224 | |
총 GPU 개수 | 132 | |
노드당 GPU 개수 | 4 | |
디스크 스토리지 | Lustre File System /home : 39T /Scratch : 194T |
Local File System /data : 290T |
인터커넥트 네트워크 | IBA |
02
Horus2 노드 정보
구분 | 모델명 | 시스템 구조 |
CPU 종류 |
노드 당 CPU (개) |
CPU당 코어 (개) |
노드당 core (개) |
노드 당 메모리 (GB) |
GPU 종류 |
노드 당 GPU (개) |
---|---|---|---|---|---|---|---|---|---|
cnode1 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode2 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode3 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode4 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode5 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode6 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode7 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode8 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode9 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode10 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode11 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode12 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode13 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode14 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode15 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode16 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode17 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode18 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode19 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode20 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode21 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode22 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode23 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode24 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode25 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode26 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode27 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode28 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode29 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode30 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode31 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode32 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
cnode33 | Supermicro 1029GQ-TRT | GPU | Intel Xeon Gold 6132 2.6Ghz | 2 | 14 | 28 | 128 | GeForce GTX 1080 Ti | 4 |
03
Horus2 SW 정보
컴파일러 및 라이브러리 모듈
구분 | 항목 (이름/버전) |
---|---|
컴파일러 | intel Compiler (17.0.1) |
APP | cuda/7.5 cuda/8.0 cuda/9.0 cuda/9.2 |
MPI | /appl/mpi/gcc/openmpi-4.0.0 /appl/mpi/gcc/mvapich2-2.3 /appl/mpi/intel/openmpi-4.0.0 /appl/mpi/intel/mvapich2-2.3 |
응용 소프트웨어 | conda/4.8.2 python/3.7.2 |
ETC | /appl/library/zlib-1.2.11 /appl/library/hdf5/gcc/hdf5-1.10.4 /appl/library/hdf5/intel/hdf5-1.10.4 /appl/library/netcdf/gcc/netcdf-4.6.2 /appl/library/netcdf/intel/netcdf-4.6.2 /appl/library/python-3.7.2 |
04
Horus2 작업제출방법
스케줄러 : SLURM
Queue 및 PE
Queue Name | 시스템 구조 | 공동활용 Queue | 노드 개수 | Core 개수 | Memory | GPU 개수 | 작업 최대 실행시간 |
---|---|---|---|---|---|---|---|
horus | GPU | N | 23 | 644 | 2944 | 92 | 168시간 |
shared | GPU | Y | 10 | 280 | 1280 | 40 | 168시간 |
01