Data Preprocessing란?◉ 실제의 업무나 활동에서 주어지는 원데이터를 바로 데이터 분석에 사용하지 못하는 경우가 많기 때문에 적합한 형태로 변형한 후에 분석해야 함.결측치 missing value 처리◉ 결측치 처리 전략  ◎ 데이터가 NaN일 때 그대로 날려버림  ◎ 데이터가 없는 최소의 개수와 같이 규칙을 정해서 날려버림  ◎ 데이터가 거의 없는 feature는 feature 자체를 날려버림  ◎ 최빈값, 평균값으로 NaN을 채워버림  ◎ SMOTE, KNN 같은 방법을 사용해서 근사한 instance의 값으로 채움 (가장 과학적인 방법)범주형 변수 categorical data 처리◉ 범주형 데이터를 분석하기 위해서 더미(dummy) 변수화하며, 다른 말로는 원핫인코딩(one-hot encoding)이라 함.

Feature Engineering란?◉ Feature Engineering 즉 특성공학은 머신러닝 알고리즘을 작동하기 위해 데이터에 대한 도메인 지식을 활용하여 특징을 만들어내는 과정Feature가 중요한 이유◉ 머신러닝은 입력 데이터의 함수이며 선형 또는 비선형의 형태를 가질 수 있는데, 우리는 훈련 데이터를 사용해서 이 함수를 학습하지만, 매번 학습이 잘되어 결과가 나타나지 않음. 내가 가지고 있는 데이터가 방대해도 그 데이터를 모두 결과를 도출하는데 쓰면 정확히 나타날 듯하지만 오히려 결과를 잘못되게 도출하는 경우가 많음. 통계분석에서 선형 함수의 독립변수가 많다고 해서 종속변수의 기댓값이 정확도가 무조건 올라가지 않는 이유. 즉 머신 러닝의 성능은 어떤 데이터를 입력하는지가 굉장히 의존적이기에 가장 적절한 방법은 먼저 충분한 데이터를 먼저 모으고 어떤 feature가 유용한지 아닌지 확인하는 과정을 거치게 됨.Dimension Reduction(차원 감소)◉ 차원 감소는 feature extraction 다시 말해 특징 추출이라는 말로도 불리며 만약 하나의 종속변수를 설명하는 독립변수 3개를 가지고 있을 때 우리는 3개의 feature모두가 필요한 것은 아니게 됨. 몇몇의 feature는 다른 특징들의 조합으로 표현가능할 수도있고 어떤 feature는 특정 feature의 완벽히 상반될 수 있기 때문. 이것을 다른 말로 관찰 대상들을 잘 설명할 수 있는 잠재 공간(latent space)은 실제 관찰 공간(observation space)보다 작을 수 있다고 하고 이렇게 관찰 공간 위의 샘플들에 기반으로 잠재 공간을 파악하는 것을 차원 축소(dimensionality reduction technique) 라고함.Feature Selection(특징 선택)◉ 특징 랭킹(Feature Ranking) 또는 특징 중요도(Feature Importance)라고도 하며 목적은 모든 특징의 부분 집합을 선택하거나, 불필요한 특징을 제거하여 간결한 특징 집합을 만드는 것. 특징선택은 분석자가 사전의 배경 지식 을 이용해서 진행 할 수도 있지만, 자동 특징 선택 (automatic feature selection methods)을 사용할 수도 있음. 해당 방법들은 특징 중 몇 개를 없애보고 개선된다면 성능을 확인해보는 방법이며 이것은 대부분의 특징 선택 알고리즘의 기본 동작방식임.Feature Extraction(특징 추출)◉ 특징 추출이 특징 선택과 다른 점은 원본 특징 들의 조합으로 새로운 특징을 생성하는 것이며, 차원의 원본 feature 공간을 저차원의 새로운 feature 공간으로 투영시킨다. 새롭게 구성된 feature 공간은 보통은 원본 feature 공간의 선형 또는 비선형 결합임. 가장 대표적인 알고리즘에 PCA(Principle Component Analysis)가 있으며, 간단히 설명하면 각 변수(Feature)를 하나의 축으로 투영시켰을 때 분산이 가장 큰 축을 첫번째 주성분으로 선택하고 그 다음 큰 축을 두번째 주성분으로 선택하고 데이터를 선형 변환하여 다차원을 축소하는 방법.

EDA란?◉ EDA(Exploratory Data Analysis) 즉 탐색적 데이터 분석은 데이터 분석 과정에 대한 개념으로 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한 탐색과 이해를 기본으로 가져야 한다는 것을 의미◉ EDA를 해야하는 이유  ◎ 데이터의 분포 및 값을 검토함으로써 데이터가 표현하는 현상을 더 잘 이해하고 데이터에 대한 잠재적인 문제를 발견할 수 있음  ◎ 본격적인 분석에 들어가기에 앞서 데이터의 수집을 결정할 수 있음  ◎ 다양한 각도에서 살펴보는 과정을 통해 문제 정의 단계에서 미처 발생하지 못했을 다양한 패턴을 발견하고 이를 바탕으로 기존의 가설을 수정하거나 새로운 가설을 세울 수 있음◉ EDA 과정  ◎ 전체적인 데이터 살펴보기 1. 분석의 목적과 변수가 무엇인지 확인 2. 데이터에 문제가 없는지, head나 tail 확인 3. 데이터의 개별 속성값을 관찰 4. 속성 간의 관계에 초점을 맞추어 패턴을 발견(상관관계, 시각화)  ◎ 이상치 분석 1. 개별 데이터 관찰 2. 통계 값 활용 3. 시각화 활용 4. 머신러닝 기법 활용 (예시 – k-means)  ◎ 속성 간의 관계분석 1. Categorical – Categorical (교차테이블, 모자이크 플롯 등) 2. Numeric – Categorical (통계값, 박스 플롯 등) 3. Numeric – Numeric (상관계수, 스캐터 플롯 등)

머신러닝이란?◉ 데이터에서 예측을 수행하는 형식머신러닝 종류◉ 지도학습 :　문제와 정답을 모두 알려주고 학습시키는 방법  ◎ 회귀 : 연속된 값을 예측   ◎ 분류 : 종류를 예측◉ 비지도학습 : 답을 가르쳐주지 않고 학습시키는 방법  ◎ 군집화 : 비슷한 사례들을 군집으로 묶음  ◎ 차원축소 : 차원을 줄이는 다양한 기법 ◉ 강화학습 : 보상을 통해 정답 방향으로 행위를 강화하는 방법딥러닝이란?◉ 여러층을 가진 인공 신경망을 사용하여 머신러닝 학습을 수행머신러닝 vs. 딥러닝딥러닝 대표적인 알고리즘◉ DNN(Deep Neural Network) : 모델 내 은닉층을 2개이상 지닌 학습방법◉ CNN(Convolution Neural Network) : 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조◉ RNN(Recurrent Neural Network) : 반복적이고 순차적인 데이터 학습에 특화된 인공신경망의 한 종류

1. 인공지능이란?◉ 사고나 학습 등 인간이 가진 지적 능력을 컴퓨터를 통해 구현하는 기술2. 인공지능 분류◉ 약 인공지능 : 한가지 영역에 특화된 인공지능  ◎ 성향에 맞게 영화나 음악을 추천해주는 알고리즘  ◎ 암세포인지 아닌지 찾아내는 인공지능  ◎ 어떤 음악이든 특정 작곡가 스타일로 작곡을 해내는 사이트  ◎ 나이나 성별을 이미지를 통해 분석해주는 사이트◉ 강 인공지능 : 인간과 비슷하거나 인간보다 뛰어난 짖거 능력을 가지고 있는 인공지능  ◎ 아이언맨에 나오는 자비스를 예를 들기도 함  ◎ 강인공지능 구현을 위해 필요한 인간의 의식, 마음, 생각과 같은 영역들은 아직도 미지의 영역이어서 그 개념을 확실히 정의하기는 어려움◉ 초 인공지능 : 인공지능의 발전 속도가 언젠가는 모든 인류의 지성을 합한 것보다 더 뛰어난 인공지능을 만들어 낼 수 있을 것 그것을 초인공지능이라고 하며, 문명의 미래 발전에 있는 그 가상 지점을 특이점이라고 함3. 인공지능 > 머신러닝 > 딥러닝◉ 인공지능 : 인공지능은 인간과 같은 지능을 실현하려는 기술◉ 머신러닝 : 컴퓨터가 데이터를 통해 스스로 학습하여 예측, 판단하는 기술◉ 딥러닝 : 다층 신경망 알고리즘을 활용하는 기술4. 전통적인 프로그래밍 VS 인공지능◉ 전통적인 프로그래밍 : 프로그램에 데이터를 주는 방식◉ 인공지능 : 데이터로 프로그램을 만드는 방식