학부 수업/머신러닝

K-최근접 이웃K-Nearest Neighbor:KNN 알고리즘을 활용하여 분류와 회귀 문제를 해결할 수 있다. KNN 알고리즘은 특정 입력 데이터 x에 대해, 주변 k개의 데이터의 클래스 중 가장 많은 클래스로 특정 자료를 분류하는 방식이다. 학습 데이터 자체가 모델이 되어, 따로 추정 방법이나 파라메터를 필요로 하지 않는다. 이 떄문에 KNN은 매우 간단하고 저사양이지만, 높은 정확도를 보여준다. 이 때문에 KNN은 게으른 학습Lazy Learner, 사례 중심 학습Instance-Based Learning이라 불린다. 이는 훈련 데이터로부터 판별 함수Discriminative Function를 학습하지 않고, 훈련 데이터 셋을 메모리에 저장하여 사용하는 방법을 말한다. 차원의 저주Curse of D..

이 글의 실습 코드는 제 깃허브에서 보실 수 있습니다. 데이터 변환Data Transformation 머신러닝에서는 데이터가 가진 특성들의 상관관계를 찾아내는데, 이때 특성 간의 스케일 차이가 심하면 스케일이 큰 특성에 집중하는 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터 표준화나 정규화 기법을 사용한다. 데이터 표준화Data Standardization $$ x_{standard} = \frac{x-\text{mean}(x)}{\text{std}(x)}$$ 데이터 정규화Data Normalization $$ x_{normal} = \frac{x-\text{min}(x)}{\text{max}(x)-\text{min}(x)}$$ 일반적으로 정규화가 표준화보다 유용하나, 데이터가 bell-shape..

이 글의 실습 코드는 제 깃허브에서 보실 수 있습니다. 데이터 실수화 범주형 데이터의 실수화 $n$개의 클래스로 구성된 범주형 데이터의 실수화는 one-hot encoding을 사용하여 할 수 있다. id City 1 Seoul 2 Tokyo 3 New York 각 클래스에 대응하는 행을 만들어, 해당하는 행에 1 데이터를 담아준다. id City_Seoul City_Tokyo City_NewYork 1 1 0 0 2 0 1 0 3 0 0 1 Scikit-learn의 DictVectorizer 클래스 사이킷런 라이브러리의 DictVectorizer 클래스를 활용하여 범주형 데이터를 실수화할 수 있다. from sklearn.feature_extraction import DictVectorizer vec ..

머신러닝 프로젝트에 사용하기 위해, 데이터를 모델이 이해할 수 있는 형태로 변환하거나 품질을 올리는 일련의 과정을 데이터 전처리라고 한다. 전처리 과정에서 해야 하는 일들을 다음과 같다. 데이터 실수화: 문자열, 범주형 데이터 등의 데이터를 컴퓨터가 이해할 수 있는 실수형으로 변환 불완전 데이터(결측치) 제거: NaN, NA, NULL 값 등을 제거 데이터 노이즈 제거 가격 데이터의 '-', '없음' 등 적절하지 않은 데이터 제거 이상치 제거 나이 값으로 200, 1200 등이 존재하는 경우 등 모순된 데이터 제거: 남성 주민번호가 2로 시작하는 경우 등 데이터 불균형 해결 과소포집(Undersampling), 과대포집(Oversampling) 주요 데이터 전처리 기법 Data Vectorization:..