개발하며 Nolsigan

Recent Posts

  • July 26, 2016

    daily blog 07/26

    Algorithm시간복잡도 알고리즘이 실행되는 동안 수행하는 기본적인 연산의 수를 입력의 크기에 대한 함수로 표현한 것.Big O notation으로 표현하며 지배적인 항만 살린다.마스터 정리를 사용하면 쉽게 시간복잡도를 계산할 수 있다.마스터 정리https://ko.wikipedia.org/wiki/%EB%A7%88%EC%8A%A4%ED%84%B0_%EC%A0%95%EB%A6%AC계산복잡도 클래스 P 다항 시간에 풀 ...

  • July 23, 2016

    daily blog 07/23

    Neural NetworkCross-entropy cost function기존 neural net의 학습 속도를 낮추는 원인 중 하나는 quadratic cost function의 사용이다.Quadratic cost function은 학습 속도가 sigmoid neuron의 기울기에 비례하게 되는데, output이 0, 1에 가까울 때 기울기가 작아 학습 속도도 느려진다.Cross-entropy cost function의 경우 weight...

  • July 02, 2016

    Backpropagation

    Backpropagation(역전파)는 neural net에게 많은 가능성을 열어준 돌파구였다. Cost function의 변화값 계산 시 Weight, bias의 개수가 늘어나다보면 간단해 보이는 식도 개수에 비례하여 늘어나기 때문에 몹시 느려진다. 이 문제를 단 두 번의 forward pass 시간으로 한번의 학습을 가능하게 한게 backpropagation이다.기본적인 알고리즘은 다음과 같다.1. Input x: input layer...

  • June 28, 2016

    Basics of Neural Networks

    Neural network에 대해 공부한 내용을 정리해놓으려 한다.Neural networkML 그리고 neural net의 최대 강점은 static한 코드와 달리 dynamic한 function을 만들 수 있다는 것이라 생각된다. Neural net의 한 neuron은 NAND gate로 표현이 가능한데 이는 곧 neural net이 하나의 가변적 논리회로임을 의미한다. 따라서 기존의 static한 함수처럼 hard coding을 하는게...

  • May 16, 2016

    최근 생각

    최근 들어 드는 생각을 정리해 놓으려 한다.익숙함 그리고 Caching요즘 들어 컴퓨터가 참 사람을 많이 닮았다고 느낀다. 컴퓨터에서 나오는 Caching 개념이 사람에게도 적용되는 것 같다. 저번 학기 학교를 휴학하고 스타트업에서 일할 땐 완전히 그 쪽 일에 빠져서 나는 평생 스타트업을 하고 살겠구나 생각했었다. 그런데 회사에서 나오고 복학하고 학교 생활하며 바쁘게 살다보니 어느 순간 스타트업 얘기가 나와도 그 때 내가 무슨 재미로 했었...