Recent Posts

• November 12, 2017

  Dynamic Routing Between Capsules

  Introduces new concept called capsule whose output represents the instantiation parameters of a specific type of entity such as an object or object part. Output’s orientation represents its instantiation parameters and length represents its probab...

• January 14, 2017

  What is variational autoencoder?

  Jaan Altosaar의 블로그 글 What is variational autoencoder 를 허락하에 번역한 글입니다.한글로 번역하기 어렵거나 영어로 두는 게 나은 단어들은 그대로 사용하였습니다.Variational Autoencoder(VAE) 를 두 가지 관점에서 이해하기: 딥러닝과 그래프 모델딥러닝 연구자와 확률론적 기계 학습 연구자는 왜 variational autoencoder(VAE) 를 논의할 때 혼란스러워 하는가?V...

• September 30, 2016

  Natural language processing with RNN

  NLP ?NLP 란 인간이 발화하는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미한다. (WIKI)언어의 특성을 분석하여 불변 알고리즘으로 처리하는 방법이 있고, 머신 러닝을 사용하되 아웃풋을 정해진 데이터에서 고르는 Statistical NLP 방법이 있고 마지막으로 RNN이나 DNN, 강화학습 등을 통해 아웃풋을 ...

• August 29, 2016

  daily blog 08/29

  Algorithm - 탐욕법탐욕법은 가장 직관적인 알고리즘 설계 패러다임이다. 탐욕법을 사용하는 경우는 크게 두 가지로 제한된다. 탐욕법을 사용해도 항상 최적해를 구할 수 있는 문제의 경우, 탐욕법이 동적 계획법보다 수행 시간이 훨씬 빠르기 때문에 유용하다. 시간이나 공간적 제약으로 인해 다른 방법으로 최적해를 찾기 어렵다면 근사해를 찾는 용도로 쓰인다.탐욕법의 증명 탐욕적 선택 속성 (greedy choice property...

• August 27, 2016

  Convolutional Neural Network

  Deep learning하나의 뉴런이 어떤 특정 feature를 학습한다고 이해하면 hidden layer의 깊이가 깊어질수록 알고리즘이 더 좋은 결과를 낼 것이라 생각할 수 있다.대부분 인간이 이해하는 문제들은 복잡하고 여러 단계의 추상화를 거쳐 결론에 도달하므로 deep network가 더 좋은 결과를 내는 것은 상식적이다.문제는 신경망이 깊어질수록 학습시키기가 어렵다는 건데 이전에 언급한 unstable gradient 현상이 발생할...