리눅스 GPU 실시간 확인 방법: nvidia-smi와 watch 명령어 사용법

GPU 모니터링, 왜 필요할까요?

리눅스에서 딥러닝 학습을 돌려놓고 "내 그래픽카드가 지금 열심히 일하고 있나?" 궁금했던 적 있으시죠? 혹은 메모리가 부족해서 프로그램이 자꾸 튕기지는 않는지 확인이 필요할 때가 있습니다.

GPU 모니터링은 마치 자동차의 '계기판'을 확인하는 것과 같습니다. 속도는 얼마나 나오는지(연산량), 연료는 얼마나 남았는지(VRAM), 엔진이 과열되지는 않았는지(온도)를 수시로 체크해야 사고(OOM 에러 등)를 방지할 수 있기 때문입니다

1. 가장 기본: nvidia-smi 명령어

엔비디아(NVIDIA) 그래픽카드를 사용 중이라면 가장 먼저 알아야 할 명령어입니다. 터미널에 아래 한 줄만 입력해 보세요.

nvidia-smi

이 명령어를 치면 현재 GPU의 이름, 온도, 전력 소모량, 그리고 가장 중요한 Memory-Usage(비디오 메모리 점유율)를 한눈에 볼 수 있습니다. 하지만 이 방식은 명령어를 칠 때 '그 순간'의 상태만 보여준다는 단점이 있습니다.

2. 실시간 자동 갱신: watch 명령어 활용하기

매번 명령어를 직접 치는 건 너무 번거롭죠? 리눅스의 watch 명령어를 조합하면 1초마다 자동으로 화면을 새로고침해 줍니다. 마치 CCTV를 실시간으로 지켜보는 것과 같은 원리입니다.

watch -n 1 nvidia-smi

• -n 1: 1초(second) 간격으로 명령어를 실행하라는 뜻입니다.
• nvidia-smi: 실행할 대상 명령어입니다.

이렇게 실행해두면 터미널 창이 고정된 채로 숫자들만 실시간으로 변하는 것을 확인할 수 있습니다. 모니터링을 멈추고 싶다면 Ctrl + C를 누르면 됩니다.

3. 더 예쁘게 보고 싶다면? gpustat

텍스트가 너무 많아 눈이 아프다면 gpustat이라는 도구를 추천합니다. 핵심 정보만 컬러풀하게 요약해서 보여줍니다. 설치도 매우 간단합니다.

# 설치 방법 (pip 이용)
pip install gpustat

# 실시간 확인 모드
gpustat -i

이 도구는 누가 어떤 프로세스로 GPU를 점유하고 있는지 훨씬 직관적으로 보여주기 때문에 협업 서버에서 특히 유용합니다.

마치며: 효율적인 리소스 관리의 시작

오늘 알아본 watch -n 1 nvidia-smi 조합만 잘 활용해도 리눅스 서버 관리 효율이 200% 상승합니다. 학습 속도가 평소보다 느리거나 메모리 오류가 발생한다면, 당황하지 말고 이 '계기판'부터 확인해 보세요!