퍼지 추론과 뉴럴 네트워크를 이용한 색청 공감각의 모델링 및 스마트폰 앱 구현 (Modelling of Colored-Hearing Synesthesia Using Fuzzy Inference and Neural Network and Its Implementations of Smart Phone App)

공감각이란 하나의 물리적 자극으로 두 가지 이상의 감각이 발현되는 현상을 말하며 많은 사람들이일상에서 공감각을 경험한다. 본 연구에서는 이러한 공감각들 중 소리를 들으면 색을 보는 색청 공감각(Colored-Hearing Synesthesia)의 모델링과 그 반대로 색에서 소리를 얻는 모델을 제안한다. 먼저 기존의 색청 연구 자료를 기반으로 퍼지 추론을 이용하여 음에서 색을 추론하는 색청 공감각 모델을 구현하였으며, 다음에 뉴럴 네트워크를 이용하여 다양한 악기의 음에 따른 색을 매핑한다. 마지막으로 제안된 모델을 이용하여 시각정보를 특정 악기의 음으로 손쉽게 변환할 수 있는 스마트폰 앱을 제작하였다. 이러한 색청 공감각의 모델링은 다양의 장르의 음악에서 시각정보를, 다양한 미술에서 청각정보를 보완해 줄 수 있으며, 시계열 정보인 음악을 한 장의 시각정보(그림)로 매핑할 수 있을 것으로 생각된다. 또한 본 연구의 결과는 향후 시각정보(풍경 또는 사진)의 입력으로 음악(작곡) 을, 음악을 입력으로 그림을 창조해 낼 수 있는 창의적인 인공지능 시스템을 만들어 낼 수 있을 것으로 기대된다.

Synesthesia is a phenomenon in which two or more senses are expressed by one physical stimulus, and many people experience synesthesia in everyday life. In this study, we proposed a model of colored-hearing synesthesia where the color is shown when the sound is heard and vice versa. First, we implemented a color auditory synesthesia model that infers colors from sound using fuzzy inference based on the existing research materials for color education, and then uses neural nets to map colors according to the sounds of various instruments. Lastly, using the proposed model, we made a smartphone app that can easily convert visual information into the sound of a specific instrument. The modeling of color hearing synesthesia can complement visual information in various genres of music and auditory information in various arts, and it is thought that music, time series information, can be mapped to a single visual information (picture). In addition, the results of this study are expected to be able to create a creative artificial intelligence system that can create music (composition) as the input of visual information (landscape or photo) and pictures using music as the input.