앙상블 비모수적 변수 선택 방법 (Ensemble nonparametric variable selection method)

앙상블 기법은 다수의 개별 모델을 조합하여 하나의 최적 모델로 일반화하는 방법으로, 높은 예측 성능을 보인다. 회귀 및 분류 문제에서 모두 활용 가능하다는 장점이 있으나 블랙박스(black-box)적인 특성으로 모델의 해석이 어렵다는 단점이 있다. 이러한 단점을 변수중요도라는 척도를 제시하여 설명력을 보완하고 있으나 이는 설명변수 간의 상대적인 수치일 뿐, 각 변수의 유의성 여부는 확인할 수 없다는 한계가 존재한다. 반면, 회귀모형의 경우 p-value, 벌점화 등을 통해 변수의 유의성 검정이 가능하다. 본 연구는 앙상블 기법에서 주어지는 변수중요도를 기반으로 유의한 설명변수를 선택하는 비모수적 변수 선택 방법을 제안하였다. 모의실험은 8가지 모형으로 진행하였으며 민감도, 특이도 결과를 방법론별로 비교하였다. 모의실험 결과, 앙상블 비모수적 변수 선택 방법은 8가지 모형에서 기존 회귀모형에서의 변수 선택 방법들보다 우수한 분류 성능을 보여주었다. 또한, 사례 분석을 통해 랜덤포레스트 비모수적 변수 선택 방법이 설명변수 간 강한 상관관계가 있는 경우에도 유의하다고 판단되는 변수를 올바르게 선택한다는 것을 확인하였다.

Ensemble techniques are a method of generalizing multiple individual models to one optimal model, showing high predictive performance. It has the advantage of being available in both regression and classification problems, but it has the disadvantage that it is difficult to interpret the model due to its black-box characteristics. These shortcomings are supplemented by presenting a measure of variable importance, but this is only a relative value between explanatory variables, and there is a limit that the significance of each variable cannot be confirmed. On the other hand, in the case of the regression model, it is possible to test the significance of the variable through p-value and penalty. This study proposed a nonparametric variable selection method that tests the significance of explanatory variables based on the variable importance given in the ensemble technique. The simulation was conducted with eight models, and the results of sensitivity and specificity were compared by methodology. As a result of the simulation, the ensemble nonparametric variable selection showed better classification performance than the variable selection in the existing regression model in eight models. In addition, through case analysis, it was confirmed that the random forest nonparametric variable selection showed excellent performance even when there was a strong correlation between variables.