TechNOTE

1. pip install konlp 2. bash

1. Install Fastalign follow this github https://github.com/clab/fast_align.git GitHub - clab/fast_align: Simple, fast unsupervised word aligner Simple, fast unsupervised word aligner. Contribute to clab/fast_align development by creating an account on GitHub. github.com 2. Prepare tokenized data for my case, source.tok.txt target.tok.txt 3. Combine tokenized data paste {src} {tgt} | sed 's/ *\t ..

FlowSeq : Non-autoregressive Conditional Sequence Generation with Generative Flow www.aclweb.org/anthology/D19-1437.pdfNon-autoregressive Neural Machine Translation Model 중에 SOTA 성능을 낸 paper. Flow를 적용했다. 1. Introduction 기본적으로 Neural Machine Translation 에서는 .. target sentence에서 decoding을 진행할 때 이전 토큰에 대한 정보가 다음 토큰에 큰 영향을 미치기 때문에 autoregressive structure를 가지고 있다. 하지만 이는 토큰 하나하나를 생성해야 하기 때문에 시간이 상대적..

Sparse Transformer 간단 정리. arxiv.org/pdf/1904.10509.pdf 서론 Transformer는 Sequence Input 의 context 정보를 잘 내포하도록 학습할 수 있는 모델인데, 차지하는 메모리 용량이 매우 크다. attention layer의 memory complexity는 무려 O(n^2). input sequence의 모든 token들이 다른 token들에 대해서 attention하는 값을 구하게 되기 때문이다. 이 memory complexity를 낮추려는 거의 초기의 시도! sparse tranformer는 sparse factorization을 통해서 이 memory complexity를 낮추었다. Key Idea Factorized Self Atte..