고객 사례

디딤을 통해 AI 인프라를 사용하는 고객의 성공 사례를 살펴보세요.

클라우드 대규모 LLM 환경 구축 및 성공적 운영

클라우드 대규모 LLM 학습 지원을 위해 GPU를 포함한 클라우드 인프라 환경을 구축하고, 다양한 기관들이 안정적으로 GPU 자원을 사용할 수 있도록 성공적인 운영 서비스도 제공했습니다.

1. 배경

정부에서 국내 AI 연구팀을 위한 고성능 GPU 인프라 구축을 목표로 하는 국가 AI 사업을 발표했습니다.

해당 사업에서 AWS는 한국정보통신기술진흥협회(KAIT)가 주관하는 “AI for Research” 프로젝트의 GPU 자원 공급업체로 선정되어 8개월 동안 30개의 p5en.48xlarge 인스턴스(H200 GPU 240개)를 제공했습니다. 그리고 그렇게 제공된 GPU 자원은 한국과학기술원(KAIST), 광주과학기술원(GIST), 서울대학교병원, 서울대학교, 한양대학교, 성균관대학교, 고려대학교 등 여러 기관의 AI 연구팀에서 8개월 동안 사용했습니다.

이 프로젝트에서 디딤은 대규모 LLM 학습을 지원할 수 있도록 GPU를 포함한 클라우드 인프라 환경을 구축하고, 해당 기관들이 안정적으로 GPU 자원을 사용할 수 있도록 운영 서비스도 성공적으로 제공했습니다.

2. 도전 과제

이 프로젝트에서 필요한 대규모 LLM 학습을 지원하는 인프라 환경은 단순히 GPU 클러스터를 구성하는 것만으로는 충분하지 않았고, 다음과 같은 도전 과제들이 존재했습니다.

* GPU, 스토리지, 네트워크, 스케줄러의 간의 긴밀한 통합 필요
* 몇 주 간 지속되는 학습 환경에서의 안정적인 운영 보장
* 발생하는 다양한 상황들에 대한 신속한 대처 필요

3. 해결 방안

그리고 위 도전 과제들의 해결을 위해 다음과 같은 도구들을 활용했습니다.

* AWS의 ParallelCluster 활용’: 클러스터 신속 배포 및 관리
* Slurm 파티션 및 Slurm Accounting 활용’: 자원 공정성 보장, 자원 남용 방지, 운영 효율성 증대
* FSx for Lustre 활용’: 고속 I/O 제공 및 저지연, 고대역폭 처리

대규모 LLM 환경 구축 및 운영에 대한 디딤만의 팁이 궁금하시다면 아래 문서를 확인해 보세요.

[문서 목차]

1. 사례 개요
2. 사례 세부 내용
- 2.1 ParallelCluster 활용
- 2.2 Slurm 파티션 및 Slurm Accounting 활용
- 2.3 FSx for Lustre 활용
3. 대규모 HPC 운영 노하후 및 운영 성과
- 3.1 대규모 HPC 인프라 운영에서 얻은 실전 노하우
- 3.2 운영 성과