요즘 AI 도입을 검토하는 기업들이 정말 많아졌습니다.
그리고 그 과정에서 초기 하드웨어 비용 부담을 줄이기 위해 GPUaaS(GPU as a Service)를 선택하는 경우도 점점 늘고 있습니다.
하지만 막상 도입을 결정하고 나면, 어떤 플랫폼에서 제공하는 GPUaaS를 선택해야 할 지 고민하게 될 수 있습니다.
물론 비용이 가장 저렴한 곳을 고르면 된다고 생각하실 수도 있지만, GPUaaS는 단순히 시간당 비용이 저렴한 곳을 고르면 되는 서비스가 아닙니다. 실제로 운영을 시작하고 나서야 먼저 검토하지 않은 항목들에 대해서 후회하는 경우도 적지 않습니다.
그래서 오늘은 GPUaaS 도입 전에 반드시 고려해야 할 사항들에 대해서 공유해 드리려고 합니다.
그리고 GPUaaS에 대한 기본 개념이 궁금하시다면 아래 글을 먼저 참고해 보세요.
* AI 시대의 필수, GPUaaS(GPU as a Service)!
GPUaaS 도입 전 고려해야 할 사항들
GPUaaS를 제공하는 플랫폼에는 국내외 다양한 플랫폼이 존재합니다.
그리고 각 플랫폼마다 제공하는 GPU 사양도 다르고, 요금제 구조도 다르며, 약관 및 지원 범위도 다양합니다.
그렇기에 단순히 비용만 보고 성급하게 선택하면, 추후 성능이 기대에 미치지 못하거나, 예상치 못한 추가 비용이 발생하거나 하는, 생각하지도 못한 일이 발생할 수 있습니다.
그렇기에 GPUaaS 도입 전에는 다음과 같은 항목들을 고려해 보시는 것이 좋습니다.
1. GPU 사양과 실제 가용 모델
가장 먼저 확인할 것은 당연히 GPU 사양입니다.
플랫폼이 H100, B200, A100 중 어떤 모델을 제공하는지, 그리고 그 모델이 비즈니스 목표에 실제로 적합한지를 따져봐야 합니다.
대규모 LLM 학습이라면 고사양 GPU와 클러스터 구성이 필요할 수도 있지만, 가벼운 추론 작업이라면 사양이 높지 않은 GPU로도 충분할 수 있기 때문입니다.
그렇기에 사양이 높다고 무조건 좋은 것이 아니라, 목적에 맞는 선택을 해야 비용 효율적인 선택이 될 수 있는 것입니다.
관련하여 GPUaaS 플랫폼별, GPU 모델별 정보는 다음 페이지에서 확인하실 수 있습니다.
2. 실제 GPU 확보 가능 여부
사이트에 H100이 올라와 있다고 해서 지금 당장 쓸 수 있다는 의미는 아닐 수 있습니다.
GPU의 수요와 공급은 그리 안정적이지 않기에, 신청 후 실제 할당까지 대기가 발생하는 경우가 발생할 수 있습니다. 그리고 플랫폼별로 확보 가능한 GPU의 상황이 다를 수도 있는 것입니다.
그렇기에 도입 전에 현재 사용 가능 여부와 할당되는 데 걸리는 시간, 그리고 필요할 때 추가 확보가 가능한지를 확인할 필요가 있는 것입니다.
3. 요금제 구조: 온디맨드 대 약정
GPUaaS의 요금제는 크게 사용한 만큼 내는 온디맨드(On-demand)와, 일정 기간을 약정하고 할인받는 약정형(Reserved)으로 나눌 수 있습니다.
그렇기에 단기 PoC라면 온디맨드가 유리하고, 장기 운영이라면 약정 형태가 유리한 것입니다. 다만 약정형은 중도 해지 시 위약 조건이 있을 수 있으니, 계약서나 서비스 약관의 요금 산정 방식과 최소 사용 조건을 확인할 필요가 있습니다.
4. 다른 추가 비용 확인: 네트워크, 스토리지 등
GPU 사용 비용만으로 예산을 구성한다면, 추후 다른 비용으로 인해서 예산에 차질이 생길 수 있습니다.
그렇기에 데이터 송수신 요금, 스토리지 비용 등와 같은 부가 항목에 대한 비용도 예산에 포함시켜야 하는 것입니다.
그렇기에 견적을 받을 때는 GPU 비용뿐 아니라 총소유비용(TCO, Total Cost of Ownership) 관점에서 예산을 고려하는 것이 좋습니다.
5. SLA(서비스 수준 협약)와 가동률
서비스 중요도가 높은 시스템일수록 SLA(Service Level Agreement)를 반드시 확인해야 합니다.
보장 가동률이 몇 %인지, 장애 발생 시에 대한 규정, 장애 대응 시간 등을 검토할 필요가 있습니다. 서비스 중요도가 높은 경우 작업 중단은 시간과 비용의 손실로 이어질 수 있으니까 말이죠.
6. 확장성과 유연성
비즈니스가 성장하면 GPU 수요도 늘어날 수밖에 없습니다.
필요할 때 신속하게 리소스를 확장할 수 있는지, 반대로 사용량이 줄었을 때 축소가 자유로운지도 중요한 점검 항목입니다. 이는 비즈니스와 비용에 직결되는 문제이기 때문입니다.
그렇기에 플랫폼마다 다른 확장 정책과 절차를 검토할 필요가 있는 것입니다.
7. 데이터 보안
AI 학습에는 민감한 사내 데이터가 사용되는 경우가 많습니다. 그렇기에 데이터가 저장되는 리전이 국내인지, 암호화는 어떻게 이뤄지는지, 그리고 관련 규제(개인정보보호법 등) 준수 여부는 어떤지를 확인할 필요가 있는 것입니다.
특히 공공기관이나 금융권이라면 데이터 주권 문제가 플랫폼 선택의 결정적 기준이 되기도 합니다.
8. 기술 지원과 운영 체계
문제가 생겼을 때 누가, 얼마나 빠르게 도와줄 수 있는지도 중요합니다.
기술 지원이 한국어로 제공되는지, 지원 채널과 대응 시간은 어떤지, 전담 엔지니어 지원이 포함되는지 등도 확인해야 합니다.
조직 내부에 GPU 인프라 전문가가 충분하다면 괜찮겠지만, 그렇지 않다면 운영 부담을 덜어줄 수 있는 매니지드 서비스 업체를 함께 고려하시는 것도 좋은 방법입니다.
9. 종속성과 이전 용이성
특정 플랫폼에 한번 묶이면 나중에 다른 환경으로 옮기기 어려운 경우가 있습니다.
데이터와 시스템을 다른 클라우드로 이전하기 쉬운 구조인지, 표준 기술을 기반으로 하는지를 미리 확인해 두면 향후 선택의 폭이 넓어질 수 있습니다.
10. 계약 조건과 해지 규정
마지막으로 계약서나 서비스 약관 자체를 자세히 검토해야 합니다.
최소 계약 기간, 자동 갱신 여부, 중도 해지 시 위약금, 가격 인상 조항 등은 운영을 시작한 뒤에 발견하면 대응하기 어려운 부분일 수 있으므로, 자세히 확인하시는 것이 좋습니다.
참고로 위 내용은 일반적인 상황을 기준으로 한 것이기에, 조직의 목적과 환경에 따라 달라질 수 있습니다.
오늘은 GPUaaS 도입 시 고려해야 할 사항들에 대해서 공유해 드렸습니다.
GPUaaS는 잘 활용하면 초기 비용을 크게 낮추면서 신속하게 AI를 도입할 수 있는 훌륭한 수단입니다. 다만 그 효과를 제대로 누리려면, 도입 전 다양한 사항들을 검토하는 것이 무엇보다 중요합니다.
급변하는 AI 시대에 망설이는 순간 비즈니스 기회가 지나가 버릴 수도 있지만, 충분한 검토 없이 서두르면 오히려 더 큰 비용을 치르게 될 수도 있으니까요.
만약 이런 항목들에 대한 검토가 어려우시거나 고민이 되신다면, GPUaaS를 포함한 클라우드 인프라에 대한 통합적인 컨설팅, 구축, 운영까지의 A-Z 서비스를 제공하는 Didim에 언제든지 문의해 주세요.
‘이 글은 Claude AI를 활용하여 초안을 작성하고, 사람이 직접 검수 및 수정한 글입니다.’
GPU 또는 AI 인프라에 대한 도움이 필요하십니까?
Didim은 특정 플랫폼에 치우치치 않은 중립적인 관점에서, 최적의 GPU 및 AI 인프라를 제안하고 구축 · 운영까지의 모든 과정에 대한 서비스를 제공하고 있습니다. GPU나 AI 인프라에 대한 고민이 있으시면 언제든지 Didim에 문의해 주세요.