TechNOTE

Auto-Encoding Variational Bayes 너무나도 유명한 논문.. 공부할 겸 다시 읽었다. 읽을 때마다 새로운 느낌이 드는 이유는 뭘까... 신비한 머신러닝의 세계~~ VAE 는 직관적으로 내용을 전부 이해하기에는 익숙하지 않은 사람에게는 수식이 너무 많아서,, 여러 번 읽어야 할 것 같은 논문이다. 1. Problem Suggestion How can we perform efficient approximate inference and learning with directed probabilistic models whose continuous latent variables and/or parameters have intractable posterior distributions? VAE 의..

드디어...! 드디어.....!!!!!1 아이폰 12 미니가 도착했다. 원래 도착 날짜는 12/1 이었는데, 물량 확보가 빨리 되어서 먼저 도착한다는 소식을 받고 두근두근해하면서 기다렸다 ㅎㅎ 1. 아이폰 구매 아이폰12를 사는 방법에는 여러가지가 있다, 그 중에서 쿠팡 자급제를 선택한 이유는, 통신사에서 사면 일단 5G요금제를 최소 3개월 써야 하고, 핸드폰을 할부로 사야 했기 때문에, 이것저것 따지면 지금 KT 선택약정 할인을 받고 있는 나로서는 ㅎㅎ ,, 자급제로 공기계를 구매해서 사용하는게 가장 저렴한 루트였다. 더군다나 쿠팡에서는 카드할인도 해 주니, 사지 않을 이유가 없었다. 광클 끝에 나는 969,000원에 아이폰 미니 128G 화이트를 구할 수 있었다. 2. 언박싱 후하후하 택배가 도착했다..

요약 conditional information을 GAN의 discriminator에 합치는 것을 projection based 로 하는 것을 제안했다. 기존에 input conditional information을 concat 하는 방식과는 다르고, 이 방법으로 class conditional image generation task에서 SOTA 달성했다고 한다. https://github.com/pfnet-research/sngan_projection pfnet-research/sngan_projection GANs with spectral normalization and projection discriminator - pfnet-research/sngan_projection github.com 1. ..

공부할 겸, 되짚어볼 겸 GAN 리뷰 시작해 본다! 시작!! 1. Basic Idea Generative Model 을 Estimation 할 때 Adversarial 하게 학습을 시키는 새로운 framework을 제시했다. Sample을 생성해 내는 Generator와, generator에서 나온 sample이 실제인지 아니면 만들어진 것인지 분류하는 Discriminator를 함께 학습 시켜서, 이상적으로는, Generator가 training data distribution을 모델링 하여 discriminator가 모든 데이터에 대하여 1/2 확률을 가질 수 있도록.. 학습시키는 것이다. 2. Model 자 그럼 모델링을 어떻게 하면 좋을까? 데이터 x로부터 generator distribution..

Sparse Transformer 간단 정리. arxiv.org/pdf/1904.10509.pdf 서론 Transformer는 Sequence Input 의 context 정보를 잘 내포하도록 학습할 수 있는 모델인데, 차지하는 메모리 용량이 매우 크다. attention layer의 memory complexity는 무려 O(n^2). input sequence의 모든 token들이 다른 token들에 대해서 attention하는 값을 구하게 되기 때문이다. 이 memory complexity를 낮추려는 거의 초기의 시도! sparse tranformer는 sparse factorization을 통해서 이 memory complexity를 낮추었다. Key Idea Factorized Self Atte..

음성 데이터를 raw data를 그대로 사용하면 파라미터가 너무 많아지기도 하고 데이터 용량이 너무 커지므로 보통 mel spectrogram을 많이 사용한다. 이게 뭔지 제대로 알아보도록 하자! 1. 음성파일 로드 sampling rate 24000 으로 구성된 wav 파일을 로드해 보면 다음과 같다. sampling rate가 24000이라는 말은 1초에 음성 신호를 24000번 sampling 했다는 뜻이다. 2.STFT(Short Time Fourier Transform) 이 데이터에, STFT(Short Time Fourier Transform)를 해 준다. STFT란 뭘까? 그 전에 푸리에변환이 뭔지부터 보자.. 푸리에 변환? (Fourier Transform) www.youtube.com/w..

Dynamic Time Warping은 두 시간 시퀀스를 더 잘 비교하기 위한 metric Soft Dynamic Time Warping은 optimal 한 Path 만을 고려하는 DTW 와는 다르게 다른 path들도 같이 고려하는 metric Differentiable 해서 딥러닝에도 사용이 가능하다고 한다. arxiv.org/pdf/1703.01541.pdf 이 그림에 보면 보라색 부분 cost 가 optimal 이다.. 이 알고리즘을 설명하면 이거인데 이거 그냥 a1, an까지의 선택지가 있을때 gamma=0일때는 일반적인 DTW 로 minimum만 고르는거고 아닐 때는 위의 식처럼 모든 path들을 계산해 주는 거다. 시간복잡도는 O(nm)인데 줄이자면 O(2n)으로 줄일 수 있지만 어차피 bac..

EATS 논문을 읽던 중, loss function에 Soft dynamic time warping 이 사용된 것을 확인하였다. Dynamic Time Warping 은 연속적인 시퀀스 를 비교할 때, 유클리디안 거리 보다 더 알맞게 거리 측정을 해주는 좋은 녀석이다. 설명을 해 보도록 하겠다. Dynamic Time Warping A = [2,2,3,4,5] B = [1,2,3,3,4] 다음과 같은 두 sequence 데이터를 비교한다고 생각 해보자. (EATS를 기준으로 생각해 보면.. 사실 offset의 기준에 따라 generator 가 sqeuence를 만들어 내긴 하지만 그 기준이 제대로 학습되지 않았을 때는 시작과 끝이 다를 수도 있을 것이다.) Euclidian distance를 생각해 본다..