4월 중순 /proj를 통하여 lustre 밑 데이터를 조회할 수 있는 AFM 기능을 도입했습니다.

AFM(Active File Management)란?

Lustre와 proj를 별도의 100g망을 구성하여 proj cache 서버에서 lustre 밑에 있는 원본 데이터들을 캐싱하고,

proj 밑에서도 lustre 파일들을 보이게 해주는 기능입니다.

파일이 정상적으로 캐싱이 이루어지면 /proj/lustre/[경로] 에서 데이터 조회가 가능하게 됩니다.

기존 스토리지 분리로 인한 lustre > proj로의 데이터 이동이 필요 없어지게 되고,

기존 경로 그대로 작업을 돌리실 수 있게 됩니다.

주의사항으로는,

캐싱된 데이터는 파일 정합성 문제로 인하여 읽기만 가능한 상태로 운영됩니다. (Read-Only)

/proj/lustre/[경로] 밑에 데이터를 write하여도 실제 /mnt/lustre에는 반영되지 않으니 참고 부탁드립니다.

데이터를 캐싱하는 방법은 아래와 같습니다.

1. 로그인 노드에 마운트 되어있는 lustre를 통해 캐싱할 데이터의 위치를 파악합니다.

$ pwd
$ ls

2. GPFS cache 서버에 데이터들이 캐싱되어있는지 확인합니다.

$ ls /proj/lustre/ibs/edu05

※아무런 데이터가 보이지 않으면 데이터 캐싱 작업이 필요합니다.

3. 데이터 캐싱을 위하여 olaf4 노드로 접속 후 캐싱 할 디렉토리의 리스트를 조회합니다.

$ ssh olaf4 -p 4022                         ※ 패스워드는 기존 olaf 접속 패스워드와 동일합니다.
olaf4 $ ls /proj/lustre/ibs/edu05           ※ 리스트 조회를 통해 캐시서버에 데이터를 캐싱합니다.

4. 로그인 노드에서 데이터들이 캐싱되었는지 확인합니다.

olaf4 $ exit
olaf1 $ ls /proj/lustre/ibs/edu05

데이터 캐싱 방법 안내였습니다.

감사합니다.