강몬드의 프로그래밍 이야기

안녕하세요. 오랜만에 게시글 작성합니다. 딥러닝을 공부하고자 스스로 의지가 생기게끔 게시글 제목을 일단 작성해놨습니다. 딥러닝 기반 이미지 분류를 2013년도 알렉스 넷(AlexNet)부터 내용을 정리해서 작성하겠습니다. 감사합니다.

Network to Classify Digits 이번엔 stochastic gradient descent알고리즘과 MNIST학습 데이터를 사용하여 손글씨 문자를 인식할 수 있는 학습 프로그램을 작성해보자. Python 2.7 version을 사용하여 짧은 프로그램만으로 구현할 수 있다. 코드로만 74줄이다! 먼저 MNIST데이터가 필요하다. 너가 git를 사용한다면 딥러닝 자료들에 대한 코드들을 다음의 명령어로 clone할 수 있다. git clone https://github.com/mnielsen/neural-networks-and-deep-learning. git를 사용하지 않는다면 data와 code를 다음 링크에서 다운 받자. 요오기 이전에 MNIST data에 대해서 설명했을 때, 그것들이 6..

Gradient Descent Learning Algorithm 이제 우리는 신경망을 갖고 어떻게 숫자를 인식하게 학습할 수 있는가? 먼저, 학습을 위한 학습데이터가 필요하다. 우리는 분류 결과값을 갖고 손 글씨로 쓰여진 문자들의 이미지들의 집합인 MNIST 데이터 셋을 이용한다. MNIST의 이름은 NIST(표준 기술 미국 국립 연구소)에 의해 수집 된 데이터 셋 중 일부가 수정됐다하여 MNIST라 붙여졌다. 다음은 MNIST에서 가져온 몇 개의 이미지이다. MNIST 데이터는 두 부분으로 되어 있다. 첫 번째 부분은 60,000개의 이미지 학습 데이터로서 사용되고 이미지는 gray scale이며 28x28크기의 픽셀 값을 갖는다. MNIST 데이터 셋의 두 번째 부분은 10,000개의 이미지 테스트 ..

손 글씨 문자를 분류하는 신경망 문자분류 문제는 두 가지 세부 문제로 나누어서 풀 수 있다. 첫 번째, 우리는 손 글씨들이 작성된 문자들을 각각을 세분화해서 하나의 문자를 포함하는 분리된 이미지를 만들어야한다. 그림 1.5.1은 여러 문자들이 나열된 이미지이다. 그림 1.5.2는 그림 1.5.1의 문자들을 세분화하였다. 인간은 이 세분화 문제를 쉽게 할 수 있지만, 이를 컴퓨터 프로그램이 정확하게 나누기란 어려운 문제다. 세분화 된 이미지를 구했으면 그 다음은 각각의 문자 이미지들을 분류해야 한다. 예를 들어, 위 문자들 중에 첫 번째 문자부터 인식하려고 한다면 프로그램은 ‘5’라고 인지해야 할 것이다. 우리는 두번째 문제, 즉 각각의 숫자를 분류하는 문제를 해결하는 프로그램을 짜는데 집중할 것이다. 왜..

신경망의 구조 이번에 신경망을 소개한다. 그림 1.4.1은 신경망 구조의 예이다. 이 전에 언급했듯이 맨 왼쪽 뉴런들의 집합을 입력 층, 맨 오른쪽을 출력 층이라고 부른다. 그리고 입력 층과 출력 층 사이에 집합들을 히든 층이라고 한다. 처음 히든 층을 듣고선 무언가 중요하고 깊은 철학이 담겨있을까 생각을 했지만 히든 층은 단지 입력 층과 출력 층 사이를 가리키는 말일 뿐이다. 그리고 위의 신경망은 히든 층이 하나로 되어있는데 여러 개의 히든 층으로 이루어질 수도 있다. 그림 1.4.2는 두 개의 히든 층을 갖는 신경망의 구조이다. 각각의 시그모이드 뉴런으로 이뤄진 다중 히든 층을 갖는 신경망의 구조를 다층 퍼셉트론(Multilayer perceptrons) 또는 MLPs라고 부르기도 한다. 신경망의 역..