TechNOTE

회사에 A100이 들어왔대서 써보려구 걍 돌려봤는데.. 띠용~~ 7배가 느리다 ;; 당황쓰 찾아보니까.. A100에서 지원하는 TensorFloat-32 (TF32) 를 사용해서 학습을 시켜야 한다고 한다. fp32 연산을 가지고 10배 빠르게 학습이 가능하고 fp16 을 사용하는 학습보다 훨씬 안정적으로 가능하다니.. 너무좋잖아? 근데 또 찾아 보면 TF32 is supported in the NVIDIA Ampere GPU architecture and is enabled by default. 라고 해서 자동으로 enable 되는 것 같은데.. 도대체 어디서 병목이 생기는거지.. 찾아보니까 cudnn 문제라고한다. https://discuss.pytorch.org/t/a100-is-slower-tha..

You Only Live Once~ 가 아니라 You Only Look Once ㅎㅎ 다시 봐도 논문 이름을 참 잘 지은 것 같다. 2016 CVPR Accepted https://ieeexplore.ieee.org/document/7780460 You Only Look Once: Unified, Real-Time Object Detection We present YOLO, a new approach to object detection. Prior work on object detection repurposes classifiers to perform detection. Instead, we frame object detection as a regression problem to spatially sep..

Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design Ho et al. 2019 ICML arxiv.org/pdf/1902.00275.pdf Contribution 이 논문에서 주장하는, 이전 Flow model들의 세 가지 단점. 1. Dequantization을 위해 사용하는 uniform noise는 최적의 training loss, generalization 효과를 내는 선택이 아니다. 2. 일반적으로 사용되는, affine coupling flow들은 충분히 표현력이 강하지 않다. 3. coupling layer의 conditioning network에 사용되는 co..

Normalizing Flow? Normalizing Flow 는 invertible한 bijective function을 쌓아서 만드는 Generative model인데, Affine coupling layer는 그 flow network를 구성하는 방법중에 하나이다 ㅎㅎ 즉 invertible하고 bijective하다는 뜻. 그래서 invertible function이 구하기 쉬워야 하고, log determinant를 구하는 과정이 efficient 해야 하는데 이 둘 다에 해당한다. 그래서 어떻게 되나 한번 보자.. ㅎㅎ Affine Coupling Layer $$x_a, x_b = split(x)$$ $$ m, logs = NN(x_a) $$ $$ x_b = m + x_a * exp(logs) ..

Python 3을 ubuntu에서 default 로 설정하기 .. update-alternatives --remove python /usr/bin/python2 update-alternatives --install /usr/bin/python python /usr/bin/python3 1 update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1 막줄에서는 pip3 도 같이 설정해주자 ㅎㅎ

Normalizing flow 를 이용한 유명한 generative model 중의 하나인 Glow 를 리뷰해 보도록하겠다. 1. Introduction Flow based generative model 은 다음과 같은 이점을 가지고 있는데 log likelihood $p(x)$ 가 구성되는 과정이 tractable 하고, 그건 latent variable $z$ 에도 마찬가지로 적용된다. 학습, inference 단계에서 병렬화가 가능하다. 저자들은 invertable 1*1 Convolution으로 구성된 모델인 Glow를 제안하고, 놀라운 성능을 보여주었다. 다음은 Glow 에 의해서 생성 된 예시이다.. 실제 있을법한 사람 같아서 더 신기하다.. 2. Background: Flow-based Ge..

지난번에, GAN, judy-son.tistory.com/7 [리뷰] GAN, Generative Adversarial Nets 공부할 겸, 되짚어볼 겸 GAN 리뷰 시작해 본다! 시작!! 1. Basic Idea Generative Model 을 Estimation 할 때 Adversarial 하게 학습을 시키는 새로운 framework을 제시했다. Sample을 생성해 내는 Generator와,.. judy-son.tistory.com 그리고 VAE judy-son.tistory.com/11 [논문리뷰] VAE(Auto-Encoding Variational Bayes) Auto-Encoding Variational Bayes 너무나도 유명한 논문.. 공부할 겸 다시 읽었다. 읽을 때마다 새로운 느낌이..

Auto-Encoding Variational Bayes 너무나도 유명한 논문.. 공부할 겸 다시 읽었다. 읽을 때마다 새로운 느낌이 드는 이유는 뭘까... 신비한 머신러닝의 세계~~ VAE 는 직관적으로 내용을 전부 이해하기에는 익숙하지 않은 사람에게는 수식이 너무 많아서,, 여러 번 읽어야 할 것 같은 논문이다. 1. Problem Suggestion How can we perform efficient approximate inference and learning with directed probabilistic models whose continuous latent variables and/or parameters have intractable posterior distributions? VAE 의..