마스터 알고리즘

워싱턴 대학의 컴퓨터 공학과 교수 페드로 도밍고스가 쓴 머신러닝에 대한 입문서다. 영문판은 2015년에 나왔으며, 우리나라에는 알파고로 한창 핫했던 2016년에 번역되어 나왔다. 

입문서라고 하지만 그래도 주제가 머신러닝이라 그런지 쉽지 않다. 저자도 수학을 배제한체 최대한 쉽게 쓴 것이라고 하는데, 일다보니 알고르즘 설명에서 이해를 못하는 부분이 좀 있었다.

그래도 글을 잘 쓰는 듯하다. 가끔씩 마치 판타지 소설에서 볼 법한 문체를 구사하고 있다. 공대 교수라 왠지 심플하지만 딱딱한 문장을 쓸 것 같았는데 말이다. 

머신 러닝에 대한 입문서는 이게 처음이라 다른 머신 러닝 입문서랑 비교를 못하겠지만, 나름 만족 스럽다. 생각하게 하는 것도 많다. 하지만 한번만 읽어서는 부족한 것 같다. 두번, 세번 읽어보고, 다른 머신러닝 책도 읽어봐야겠다. 

   책 내용 정리

머신러닝 분야에서 경쟁하는 주요 종족들은 다섯이다. 기호주의자는 학습을 연역의 역순으로 보며 철학과 심리학, 논리학에서 아이디어를 얻는다. 연결주의자는 두뇌를 분석하고 모방하며 신경과학과 물리학에서 영감을 얻는다. 진화주의자는 컴퓨터에서 진화를 모의실험하며 유전학과 진화생물학에 의존한다. 베이즈주의자는 학습이 확률 추론의 한 형태라고 믿으며 통계학에 뿌리를 둔다. 유추주의자는 유사성 판단을 근거로 추정하면서 배우며 심리학과 수학적 최적화의 영향을 받는다. 

마스터 알고리즘이란 이론상으로 어느 영역의 데어터에서도 지식을 발견해 내는 범용 학습 알고리즘이다. 

기호주의자의 마스텨 알고리즘은 역연역법이고 연결주의자의 마스터 알고리즘은 역전파이며 진화주의자의 마스터 알고리즘은 유전자 프로그래밍이고 베이즈 주의자의 마스터 알고리즘은 베이즈 추정이며 유추주의자의 마스터 알고리즘은 서포트 벡터 머신이다. 그런데 실제로 각각의 알고리즘은 특정 작업에는 훌륭하지만 다른 일에는 그렇지 않다. 우리가 진정으로 원하는 것은 다섯 가지 알고리즘의 핵심 특성을 모두 지닌 단일한 알고리즘, 즉 최종 마스터 알고리즘이다. 

멀리서 숲으로 다가오는 비전문가가 이미 특정한 나무의 연구에 깊이 빠진 전문가보다 더 나을 수 있는 것이다. 

당신이 과학자나 기술자라면 머신러닝은 없으면 안되는 강력한 무기다. 오래되고 유효성이 증명된 통계 도구만으로는 빅 테이터 시대에 앞서 나가지 못한다. 당신은 모든 현상을 정확하게 모델링하는 머신러닝의 비약적인 능력이 필요하고, 머신러닝은 새로운 과학적 세계관을 제시한다. 

알고리즘을 창조한 후 컴퓨터 언어로 바꾸는 프로그램 작성자는 자기 의지에 따라 우주를 창조하는 작은 신이다. 당신도 노트북 컴퓨터를 가지고 의자에 앉아서 신이 될 수 있다. 우주를 상상하고 현실화 한다. 물리 법칙은 선택사항이다. 

모든 알고리즘은 입력과 출력이 있다. 데이터를 컴퓨터에 넣으면 알고리즘이 처리하여 결과를 출력한다. 머신러닝은 이 과정을 바꾸었다. 데이터와 원하는 결과를 넣으면 데이터를 결과로 바꿔 주는 알고리즘을 내놓는다. 

컴퓨터에서 인터넷으로 그리고 머신러닝으로 발전하는 것은 피할 수 없는 과정이다. 컴퓨터로 인터넷이 가능했고 인터넷으로 데이터의 홍수와 무제한의 선택 문제가 생겼다. 머신러닝은 무제한의 선택 문제를 해결하고자 홍수 같은 데이터를 처리한다. 

데이터베이스가 없는 은행이 데이터베이스를 갖춘 은행과 경쟁할 수 없는 것과 똑같이 머신러닝이 없는 회사는 머신러닝을 사용하는 회사를 따라잡을 수 없다. 

역연역법은 심각한 결점이 있다. 가능한 추론의 가짓수가 방대하여 초기의 지식에 가깝게 머물지 않으면 망망대해에서 조난당하기 쉽다. 역연역법은 잡음에 쉽게 오류를 일으킨다. 전제나 결론 자체가 틀렸다고 한다면 어떤 것이 연역 과정에서 빠졌는지 어떻게 파악하겠는가? 가장 심각한 것은 실제 개념은 규칙의 모음으로 간결하게 정의되는 일이 거의 없다는 사실이다. 실제 개념은 흑이거나 백이 아니다. 그 사이에 넓은 회색 지대가 존재한다. 

기호주의는 순차적인 반면 연결주의는 동시적이다. 

베이즈 네트워크는 보이는 화살표와 함께 보이지 않는 화살표도 같이 있기 때문에 문제는 보이는 것보다 더 나쁘다. 강도 침입과 지진이 사전에는 서로 독립적이지만 경보가 울리면 두 사건은 얽힌다. 경보가 울리면 당신은 강도 침입을 의심하지만 이제 막 라디오에서 지진이 있었다는 뉴스를 들어으면 경보가 울린 것은 지진 때문이라고 생각한다. 지진으로 경보가 설명되고 강도 침입의 가능성은 줄어들기 때문에 두 사건은 서로 연관성을 갖게 된다. 베이즈 네트워크에서 같은 변수의 모든 부모 상태는 이런 식으로 상호 연관성을 지니고 네트워크를 따라 사건이 계속 진행되면서 더 많은 상호 연결성이 생기며 종종 전체 그림에는 원래 그림보다 화살표가 더 많이 밀집된다. 

기호주의에서 나오는 단어들. 의사결정트리, 역연역법. 

연결주의에서 나오는 단어들. 퍼셉트론, 역전파, 자동부호기, 딥러닝, 합성곱 신경망(CNN), 시그모이드 곡선. 

베이즈주의에서 나오는 단어들. 나이브 베이즈 분류기, 마르코프 체인, 히든 마코프 체인, 베이즈 네트워크, 신뢰 전파, 마코프 체인 몬테 칼로(MCMC), 마르코프 네트워크, 

유추주의에서 나오는 단어들. 최근접 이웃 알고리즘(nearest neighbor algorithm), 서포트 벡터머신(SVM), 사례 기반 추론법.

강화 학습. 

책에서 설명한 학습 알고리즘은 alchemy.cs.washington.edu 에서 내려 받을 수 있다. 

차원의 저주.