데이터 사이언티스트 인터뷰 준비

데이터 전처리
결측값 처리: 데이터셋에는 종종 값이 누락된 부분이 있다. 이를 결측값이라 하는데, 결측값을 그대로 두면 분석 결과가 왜곡될 수 있다. 예를 들어, 평균이나 중앙값으로 결측값을 채우거나, 결측값이 있는 데이터를 제거하는 방법이 있다. 이는 데이터의 완전성을 보장하여 모델의 성능을 향상시키는 중요한 단계다.
이상치 처리: 데이터셋에는 정상 범위를 벗어난 값, 즉 이상치가 포함될 수 있다. 이상치는 데이터의 노이즈를 유발해 분석 결과를 왜곡시킬 수 있다. 예를 들어, 상자 그림(box plot)이나 Z-점수를 사용해 이상치를 식별하고, 이를 제거하거나 다른 값으로 대체할 수 있다. 데이터 처리 시 정확성을 높이는 데 도움을 준다.
데이터 정규화: 데이터의 값 범위가 크게 다르면 모델이 이를 학습하기 어려울 수 있다. 예를 들어, 데이터의 값이 0~10인 경우왿� 0~10000인 경우, 동일한 경향이라도 단지 스케일의 차이때문에 엉뚱하게 비교될 수 있다. 따라서, 데이터를 0~1 범위로 맞추는 정규화 작업이 필요하다. 이는 모델이 데이터를 더 잘 이해하고 비교할 수 있게 해준다.
머신러닝 모델 과적합 방지
교차 검증: 모델이 학습 데이터에 너무 특화되어 새로운 데이터에 대해 성능이 저하되는 과적합 문제를 해결하기 위해 사용한다. 교차 검증은 데이터를 여러 번 분할해 모델을 평가함으로써 데이터를 최대한 활용하고 모델의 일반화 성능을 높인다.
정규화 기법: L1 정규화(Lasso)나 L2 정규화(Ridge)는 모델의 복잡성을 줄여 과적합을 방지하는 데 사용된다. 이는 불필요한 피처의 영향을 줄이고 모델이 더 일반화된 패턴을 학습하도록 돕는다.
조기 종료(Early Stopping): 모델 학습 도중 검증 오차가 증가하기 시작하면 학습을 멈추는 방법이다. 이는 모델이 과적합되지 않도록 하여 새로운 데이터에 대한 성능을 유지한다.
지도 학습과 비지도 학습
지도 학습: 입력 데이터왿� 그에 해당하는 레이블(정답)이 주어져, 모델이 입력과 출력 간의 매핑을 학습하는 방법이다.