TechNOTE

회사에 A100이 들어왔대서 써보려구 걍 돌려봤는데.. 띠용~~ 7배가 느리다 ;; 당황쓰 찾아보니까.. A100에서 지원하는 TensorFloat-32 (TF32) 를 사용해서 학습을 시켜야 한다고 한다. fp32 연산을 가지고 10배 빠르게 학습이 가능하고 fp16 을 사용하는 학습보다 훨씬 안정적으로 가능하다니.. 너무좋잖아? 근데 또 찾아 보면 TF32 is supported in the NVIDIA Ampere GPU architecture and is enabled by default. 라고 해서 자동으로 enable 되는 것 같은데.. 도대체 어디서 병목이 생기는거지.. 찾아보니까 cudnn 문제라고한다. https://discuss.pytorch.org/t/a100-is-slower-tha..