요즘 리서치를 하다 보면 기술의 발전이 너무 빠르다는 생각이 들고 있습니다. 어제는 들어보지도 못한 기술들이 계속해서 생겨나고 있으니까요. 그리고 그와 함께 수많은 용어들도 같이 생겨나고 있습니다.
너무 많은 용어들이 생겨나기에 그런 용어들에 대해서 모두 파악할 수는 없지만, 시장 상황에서 뒤쳐지기 않기 위해서는 어느 정도의 용어들은 이해하고 있어야 하지 않을까 하는 생각이 듭니다.
그래서 오늘은 GPU와 관련된 다양한 용어들에 대해서 간략하게 공유해 드리려고 합니다.
GPU 관련 용어
GPU와 관련해서는 다음과 같은 다양한 용어들이 있습니다.
GPU(Graphics Processing Unit)
당연히 아실 것이라고 생각되지만, 그래도 말씀드리면 GPU는 Graphic Processing Unit의 약어로 그래픽 처리 장치를 말하는 것입니다. GPU는 순차적 처리를 하는 CPU(Central Processing Unit; 중앙 처리 장치)와는 다르게 병렬 처리에 특화되어 있어서 연산 처리 속도가 빠른 프로세서입니다.
AI에 대한 관심이 늘고, 대규모 언어 모델(LLM) 등과 같은 고성능 인공지능(AI) 시스템 구축 및 딥 러닝 네트워크의 복잡성이 증가함에 따라 엄청난 연산 처리 능력이 필요하게 되었습니다.
이런 상황에서 CPU를 사용할 수도 있겠지만 AI 모델 학습에 필요한 대규모 데이터 세트와 복잡한 연산을 처리할 때 CPU와 같은 순차적 처리 방식은 문제가 될 수 있습니다. 그리고 이로 인해서 AI와 관련하여 병렬 처리에 특화되고 처리 속도가 빠른 GPU가 사용되는 것입니다.
GPU에 대한 더 자세한 내용은 아래 글을 참고해 주세요.
GPU Cluster
GPU 클러스터란 여러 대의 GPU 서버를 고속 네트워크로 연결하여 하나의 시스템처럼 사용할 수 있게 구현한 환경을 말하는 것입니다.
그리고 다양한 기업들이 대규모 데이터 처리, AI 워크로드 가속화, 고성능 컴퓨팅(HPC) 기능 강화를 위해서 GPU 클러스터 환경을 사용하고 있습니다.
GPU 클러스터는 여러 개의 GPU 노드로 구성되며, 각 노드는 하나 이상의 GPU, CPU, 메모리 및 스토리지를 포함합니다. 이러한 노드들은 함께 작동하여 여러 GPU에 연산 작업을 분산함으로써 워크로드를 처리합니다. 그리고 GPU 노드의 효율성은 AI 모델 및 데이터 집약적인 애플리케이션의 고속 처리 요구 사항을 충족하는 데 필수적입니다.
GPU 클러스터에 대한 더 자세한 내용은 아래 글을 참고해 주세요.
* GPU 클러스터(GPU Cluster)의 모든 것!
GPUaaS(GPU as a Service)
GPUaaS란 GPU as a Service의 약어로 인프라를 서비스로 제공하는 IaaS와 유사하게 GPU를 서비스로 제공하는 것입니다.
즉 GPU를 가상화하여 인터넷을 통해 제공하는 것입니다. 그리고 제공업체는 사용자 요구 사항에 따라 GPU를 할당하여 제공하고, 사용량 기반 요금제 또는 구독 플랜 등의 유연한 가격 모델도 제공합니다.
이를 통해서 GPU가 필요한 고객은 필요할 때 언제든지 신속하게 사용하고, 필요가 없어지면 바로 사용을 종료할 수 있게 되는 것입니다.
GPUaaS 에 대한 더 자세한 내용은 아래 글을 참고해 주세요.
* AI 시대의 필수, GPUaaS(GPU as a Service)!
HPC(High Performance Computing, 고성능 컴퓨팅)
HPC란 일반적인 컴퓨터로는 처리하기 힘든 방대한 양의 데이터나 복잡한 계산을 매우 빠른 속도로 처리하기 위해 고안된 기술입니다. 수많은 컴퓨터 서버(노드)를 네트워크로 연결하고 클러스터로 구성하여 대규모 연산을 병렬로 처리하는 기술입니다.
그리고 HPC의 핵심 요소에는 크게 컴퓨팅, 네트워킹, 스토리지, 그리고 관련 소프트웨어 및 관리 도구가 있습니다.
GPGPU(General-Purpose computing on GPU)
GPU는 원래 그래픽 처리를 위해 만들어졌기에 CPU와 같은 일반 연산에는 적합하지 않습니다. 이렇게 그래픽 처리를 위한 GPU를 AI, 데이터 분석 등과 같은 일반적인 범용 연산에 활용할 수 있게 한 기술이 바로 GPGPU입니다.
즉, GPU의 병렬 연산 능력을 그래픽 처리 이외에 다양한 분야에서도 사용할 수 있도록 만든 것입니다.
CUDA(Computed Unified Device Architecture)
그래픽 처리를 위해 만들어진 GPU이기에 이를 범용 연산(GPGPU)에 활용하려면 어려운 그래픽 전문 언어를 사용해야 했습니다.
NVIDIA는 이런 불편함을 해결하고자 2006년 말에 CUDA를 발표한 것입니다.
CUDA는 기존에 많이 사용하는 프로그래밍 언어(C/C++)를 기반으로 하고, 범용 연산을 손쉽게 수행할 수 있도록 설계된 API와 라이브러리를 제공합니다. 이를 통해 GPU를 기존보다는 유연하게 활용할 수 있게 되는 것입니다.
CUDA 코어(CUDA Core)
CUDA 코어는 NVIDIA GPU의 병렬 연산을 수행하는 물리적 핵심 하드웨어(코어)입니다. 위에서 말씀드린 CUDA를 통해서 CUDA 코어를 직접 제어할 수 있게 되는 것입니다.
텐서 코어(Tensor Core)
텐서 코어는 NVIDIA GPU에 탑재된 코어로 AI 및 HPC를 위한 가속 코어입니다. 이 코어를 통해서 AI 학습과 추론 속도가 향상되는 것입니다.
RT 코어(RT Core)
RT 코어는 엔비디아(NVIDIA) GPU에 탑재된 실시간 레이 트레이싱(광선 추적) 전용 하드웨어 가속기입니다. 게임이나 그래픽 작업에서 빛이 물체에 부딪혀 반사되거나 굴절되는 물리적인 현상을 실시간으로 계산하기 위해 만들어졌습니다.
레이 트레이싱(Ray Tracing)
3차원 컴퓨터 그래픽에서 가상 광원에서 나온 빛이 물체에 반사, 굴절되는 경로를 실시간으로 추적해 현실과 같은 조명, 그림자, 반사 효과를 만드는 기술입니다. 광선 추적법으로도 불리며, NVIDIA RTX 그래픽카드 등을 통해 게임과 영화에서 사실적인 영상을 구현하는 데 필수적입니다.
VRAM(Video Random Access Memory)
VRAM은 GPU가 그래픽 데이터를 빠르게 처리하기 위해 사용하는 전용 메모리입니다. 일반 RAM과는 달리 그래픽 연산에 최적화되어 있기에 일반 RAM보다 훨씬 빠릅니다.
클럭 속도(Clock Speed)
클럭 속도는 CPU나 GPU가 실행되는 속도를 나타냅니다. 클럭 속도가 높을수록 처리 속도가 빠릅니다.
오버클러킹(Overclocking)
오버클러킹은 제조사가 설정한 기본 클럭 속도보다 더 높은 속도로 강제로 올리는 것을 말합니다. 이렇게 하면 속도가 높아질 수는 있지만 발열, 소비전력 증가, 수명 단축 등의 문제가 발생할 수 있습니다.
FP(Floating Point)
FP는 Floating Point의 약자로 부동소수점을 의미합니다. 일반적으로 NVIDIA 사이트의 GPU 사양을 보면 FP64, FP32 등으로 표시된 항목이 있습니다.
여기서 FP64를 예로 들면, 이는 64비트를 사용하여 부동소수점 연산을 하는 것으로 64비트까지 사용하기에 FP32보다 정밀도는 높아집니다. 하지만, 속도는 FP32보다 늦어질 수 있는 것입니다.
FLOPS(Floating Point Operations Per Second, 플롭스)
1초당 수행할 수 있는 부동소수점 연산 횟수를 나타내는 지표입니다. 이 지표를 통해서 연산 성능을 비교하곤 합니다.
NVIDIA 사이트에서 GPU 사양을 보다 보면 테라플롭스(TFLOPS)로 표기된 경우를 많이 보게 되는데, 이는 1조(Tera) 플롭스를 의미하는 것입니다. 즉, 1초당 1조 번의 부동소수점 연상을 수행하는 것이라고 말할 수 잇습니다.
메모리 대역폭(Memory Bandwidth)
메모리 대역폭도 GPU 사양에 표시되는 항목으로, GPU 코어와 메모리(VRAM) 사이에서 데이터를 얼마나 많이 주고받을 수 있는지는 나타내는 전송 속도입니다.
Slrum
Slurm은 Simple Linux Utility for Resource Management의 약어로, 리눅스 기반의 오픈소스 자원 관리 및 작업 스케줄링 도구입니다. 이를 통해서 클러스터화된 GPU의 자원을 할당하거나 관리하고, 스케줄링 및 모니터링을 할 수 있습니다.
Slurm에 대한 더 자세한 내용은 아래 글을 참고해 주세요.
오늘은 GPU 관련하여 전반적인 용어들에 대해서 공유해 드렸습니다.
아무리 기술이 빠르게 발전하고 있더라도, 기본적인 용어의 개념만 잘 인지해 둔다면 발전하는 기술의 속도를 따라잡는 데 많은 도움이 되지 않을까 하는 생각이 듭니다.
GPU에 대한 도움이 필요하십니까?
Didim365에서는 GPUaaS 컨설팅, 구축, 운영까지의 모든 과정에 대한 서비스를 제공하고 있습니다. GPU에 대한 고민이 있으시면 언제든지 Didim365에 문의해 주세요.