Pytorch GPU Memory Leakage during evaluation (Pytorch CUDA out of memory error during evaluation)

The first thing you can try is wrapping your model with torch.no_grad().

If you have already wrapped your model with torch.no_grad() and are still experiencing the GPU memory leakage issue,

then you can do the garbage collection as well as the memory cache deletion as follows:

import gc

gc.collect()

torch.cuda.empty_cache()

evaluation mode에서 gpu memory leakage를 경험할 경우 모델을 torch.no_grad()로 감쌌는지 확인해본다. 감쌌는데도 여전히 동일한 문제가 발생할 경우,

import gc

gc.collect()

torch.cuda.empty_cache()

를 해주어 garbage collection과 메모리 캐시 삭제를 해주면 된다. 다만 이 경우 코드의 실행 속도가 느려진다.

참고

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중