얼레벌레

https://github.com/lisiyao21/Bailando Abstract choreographic 규범에 의한 pose에 적용되는 공간적 제약이 있는데, 3D pose sequence로부터 의미 있는 동작만을 코드북으로 quantize하는 choreographic memory를 도입한다. 서로 다른 음악장르와 시간적으로 일치해야 한다. → diverse motion tempos and music beats사이에 alignment는 actor-critic-based reinforcement learning을 이용한다. 1. Introduction dance generation on given music은 두가지 challenges가 존재 1) Spatial constraint 2) Tempora..

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling Abstract LSTM과 GRU 등의 gating mechanism을 적용한 정교한 유닛으로 polyphonic music model과 speech signal model을 검증하고 기존의 vanilla RNN과의 비교를 진행한다. 1. Introduction 최근 RNN이 기계 번역과 같은 작업에서 좋은 성능을 보이는데 Vanilla RNN이 아닌 LSTM/GRU를 유닛으로 사용함으로써 이전엔 불가능했던 성과를 이루고 있다. 본 논문에서는 두 유닛들을 비교하고 tanh를 사용한 유닛과의 비교도 진행한다. 실험에 의하면 고정된 개수의 파라미터를 사용한 GRU에서 CP..

Abstract 깊은 neural network일수록 훈련이 어렵다는 단점을 보완하기 위해 residual learning framework를 제안한다. 이를 이용해 이전보다 더 깊은 Network를 가능하게 하며 훈련이 더 쉬워지게 하고, classification뿐만 아니라 detection, segmentation 등 다른 비전분야에서도 높은 성능을 보인다는 장점을 제시한다. 1. Introduction image classification과 backpropagation등은 이미지 분류에 큰 돌파구로 역할을 하며 여러 feature, level 등을 분류하게 되었다. 이 과정에서 layer의 depth에 관련해 더 많은 레이어를 쌓을수록 네트워크의 훈련이 쉬워질까라는 질문이 떠오르게 되었는데, 기울..

Batch Normalization: Accerlerating Deep Network Training by Reducing Internal Covariate Shift Abstract 1 Introduction 2 Towards Reducing Internal Covariate Shift 3 Normalization via Mini-Batch Statistics 각 layer을 전부 whitening하는 것은 비용이 많이 들고 모든 곳이 미분가능하지 않기 때문에 다른 방법을 사용할 수 있다. 평균0, 분산 1을 가지게 함으로써 각 scalar feature을 독립적으로 정규화하여 convergence를 빠르게 하고 feature들을 decorrelated한다. 각 훈련스텝이 전체훈련세트에 기반하는 bat..

Overview of mini-batch gradient descent The error surface for a linear neuron * error surface는 각 weight를 horizontal axis, error를 vertical axis로 두는 공간에 있음 => quadratic bowl모양으로, vertical cross-section은 parabolas(포물선), horizontal cross-section은 ellipses(타원)형으로 나온다. * multi-layer이며 non-linear인 net들의 error surface는 더 복잡하지만 보통 quadratic bowl로 좋은 예측이 가능하다. * Learning rate가 클 경우 진폭이 튀게된다 -> 빠르게 움직이지만 작..