Research/ML 썸네일형 리스트형 L1 minimization 원문 : http://funmv2013.blogspot.kr/2014/01/l1-minimization.html L1-min 문제는 부족 제한(under-constrained)된 선형 시스템 b=Ax의 해를 구하는 방법 중의 하나이다[1]. 관찰 벡터 b의 요소 수가 미지수 벡터 x의 요수 수보다 작기 때문에 A, b가 주어질 때, x를 구하는 것은 non-trivial linear solver 문제이다. 만일 x가 충분히 sparse하다면(즉, 표준 축(canonical coordinate)에서 요소의 대부분이 0이라면) x값은 minimum l1-norm을 계산함에 의해 얻어진다(주1): min ||x||1, subject to b=Ax x 실제로는 observation b는 noise를 포함하므로 .. 더보기 Machine Learning (Regularization) 원문 : http://enginius.tistory.com/476 1. Regularization Regularization은 말 그대로 제약이다. 기계 학습에서 무엇을 왜 어떻게 제약하는지에 대해서 알아보자. 직관적으로 생각하면, 어떤 문제를 해결하는 분류기를 찾고 싶을 때, 해당 분류기가 들어있는 통이 너무 커서 적절한 답을 찾기 힘들 때, 분류기들을 일단 채에 한번 걸른 후에 걸러진 것들 중에 답을 찾는 것과 비슷하다. 채의 구멍의 크기, 혹은 모양이 서로 다른 regularization을 의미한다. (정확한 비유는 아니다.) 조금 수학적으로 써보면, 우리에게 들어오는 데이터 y=f+ϵ는 에러 ϵ 이 들어가있다. 그래서 우리의 모델은 에러를 같이 학습하려는 경향이 있다. 그래서 in-sample e.. 더보기 자연어 기계학습의 혁명적 진화 - Word2Vec에 대하여(펌) http://www.moreagile.net/2014/11/word2vec.html 2014년 11월 19일 수요일자연어 기계학습의 혁명적 진화 - Word2Vec에 대하여 기계학습의 여러 분야중에서도 자연언어 처리는 가장 흥미진진하고 응용분야가 넓다. 하지만 이 분야의 연구 진행은 토론토 대학의 교수이자 구글에서 인공지능을 연구하고 있는 인공지능 분야의 거장인 Geoff Hinton이 reddit에서 진행된 질의답변 이벤트에서 지적한 바와 같이 반세기 가까이 벨 연구에서 진행된 연구들의 재탕에 지나지 않는 답보 상태에 있는 실정이다. 여기에 최근 주목할만한 한가지 흐름이 나타났기에 이번 포스팅에서 소개해 보고자 한다. 출처 deeplearning4j Word2Vec Word2Vec는 구글의 연구원인 T.. 더보기 Probabilistic Latent Semantic Analysis, PLSA 참조 : http://parkcu.com/blog/probabilistic-latent-semantic-analysis/Probabilistic Latent Semantic Analysis, PLSA| June 12, 2013 12:22 pm | | Categories : Concepts and Techniques, Data Science |Topic model문서들의 집합에서 topic들을 찾아내기 위한 모델로, 눈에 보이는 observation, 즉, given data에 대해 통계적인 방법을 사용하여 모델을 생성하고, 새로운 데이터에 대해서 해당 모델을 적용시켜 원하는 문제를 해결한다. 위에 그림에서 power라는 단어는 정치 토픽으로 쓰여 “국력”을 나타내는 것을 확인할 수 있다. 하지만 powe.. 더보기 Gradient Descent [출처] http://en.wikipedia.org/wiki/Gradient_descent * 기울기 계산* 미분에 의해 계산* 기울기가 - 이면, 하강 즉, local minima 을 향해감, 반면 + 이면 local maxima을 향해감(hill climbing)* NN의 back-propagation에 적용됨, Hidden layer* 에러가 최소가 되는 값을 찾아 최적의 해를 구함.** 최적의 해를 보장하지 않음, local minima/maxima* 두가지 형태 적용 ?[3]** batch ** on-line* x(i+1) = xi+alpha*미분(xi) : maxima, = xi-alpha*미분(xi) : minima** alpha는 learning rate*** 다음 해로 갈 이동거리를 조절.. 더보기 Gaussian Mixture Model 관련 중요 단어는, 확률 분포, 확률 밀도 함수, Gaussian 분포, - 기본적으로 확률 분포는 Gaussian 분포 대응된다.- 확률 밀도 함수는 특정 구간에 대한 확률 분포를 구하는 것이다. 이는 가우시안 함수의 미분한 것으로 이를 이용하여 특정 구간을 구하게(적분) 된다.- Gaussian Mixture Model 는 여러개의 확률 분포의 결합이라 할수 있다.즉, 예를 들어 다음 그림을 모델링 하는 것이다. 여기에서는 3개의 확률 분포가 존재한다. (예를 들어, KMeans의 K=3와 의미가 같다는 것을 의식!!)따라서, 잘 생각해보면, 3개의 가우시안 확률 식이 존재하는데, 새로운 데이터가 어디에 속하는지 알기 위해서는 가우시안 함수에 파라메터를 구하면 된다. 이때 적용하는 것이 likelih.. 더보기 [링크] 자세한 KMeans 초기값 설정 개념 참고) OpenCV에서는 이 함수를 지원한다. 예전 kmesns 버전에서는 random만 제공했는데, 현재는 kmeans++ 버전이 지원되는 걸 확인, 다만, opencv 안에 아래 3개 모두 알고리즘을 제공하는 것이 있는데 그것이 flann 이다. 자세히 소스를 보면 모두 제공됨을 알 수 있다. 원문 링크k-means알고리즘은 맨 처음 k개의 center를 잘못 정하면 엉뚱한 결과가 생길 수 있다. 예를 들면, 다음 그림과 같은 경우이다. k=3 일때, 파란색 세개의 클러스터로 묶이는 것이 올바른 결과다. 하지만, 잘못 해서(또는 재수가 없어서) 두번째 열의 인스턴스 세개를 초기 center로 잡고 k-means 알고리즘을 돌리면 엉뚱하게도 빨간색 묶음으로 클러스터링되는 난감한 결과가 생기고 만다. 이.. 더보기 이전 1 다음
