스펙트로그램

2 Contents

🎵 AI가 고(故) 김광석의 목소리를 완벽하게 재현할 수 있다면?│선을 넘는 과학자들

우리가 일상에서 늘 접하는 소리는 단순한 물리적 파동에 불과하지만, 인간에게는 세상과 소통하는 강력한 도구입니다. 소리가 존재하기 위해서는 세 가지 핵심 요소가 필요한데, 바로 에너지를 통한 물체의 진동, 이를 전달할 수 있는 대기라는 매질, 그리고 소리를 받아들이는 귀라는 감각 기관입니다. 공기 분자의 미세한 떨림이 매질을 통해 퍼져나가고, 그것이 우리 귀에 도달하여 신경망을 자극할 때 비로소 소리는 단순한 물리적 현상을 넘어 의미 있는 신호로 지각되기 시작합니다. 귀를 통해 들어온 소리는 신비로운 인체 구조를 거쳐 뇌가 이해할 수 있는 전기 신호로 변환됩니다. 이 과정에서 가장 핵심적인 역할을 하는 곳이 바로 귀 안쪽의 달팽이관입니다. 액체로 가득 찬 달팽이관 내부의 기저막은 주파수를 분석하는 필터 역할을 수행합니다. 높은 주파수의 소리는 초입부에서 강한 진동을 일으키고, 낮은 주파수의 소리는 더 깊은 안쪽에서 반응을 이끌어냅니다. 이처럼 소리의 높낮이가 우리 몸속 기관에 물리적인 위치로 매핑되어 뇌로 전달되는 과정은 대단히 정교합니다. 우리의 청각 인지는 단순히 귀로 듣는 음향적 정보에만 의존하지 않으며, 시각 등 다른 감각과 끊임없이 상호작용합니다. 시끄러운 파티장에서도 자신이 원하는 목소리만 선택적으로 크게 듣는 칵테일 파티 효과나, 눈으로 보는 입술 모양에 따라 똑같은 소리가 완전히 다른 음절로 느껴지는 맥거크 효과가 대표적인 사례입니다. 시각 정보와 청각 정보 사이에 불일치가 발생할 때, 우리의 뇌는 스스로 혼란을 피하기 위해 가장 자연스러운 방향으로 정보를 왜곡하고 협상하여 우리에게 새로운 인지 결과를 선사합니다. 또한 인간은 태어날 때부터 소리에 담긴 특별한 예술적 질서인 리듬과 감정을 인지하는 능력을 타고납니다. 갓 태어난 영아조차도 심장박동이나 걸음걸이처럼 신체가 지닌 자연스러운 규칙성을 바탕으로 음악적 박자를 감지합니다. 무엇보다 음악은 단순한 정보의 전달을 넘어 뇌 깊은 곳에 자리한 감정과 기억을 깨우는 강력한 힘을 지닙니다. 치매나 파킨슨병 같은 퇴행성 뇌 질환 환자들이 과거에 즐겨 듣던 음악을 듣는 순간 기적처럼 신체 제어를 회복하고 정서적 안정을 찾는 모습은 음악의 치유 능력을 잘 보여줍니다. 이러한 청각적 인지 과정을 모방하여, 현대 인공지능은 소리를 시각적 사진 형태로 표현한 스펙트로그램을 통해 학습을 진행합니다. 시간과 주파수에 따른 에너지 분포를 시각화한 이 데이터를 바탕으로 알고리즘은 목소리와 소음을 구분하고, 특정 악기 소리만 따로 분리해내는 기술을 터득하게 되었습니다. 나아가 음악 속에서 인간이 느끼는 복잡한 감정 곡선을 스스로 분석하고, 멜로디에 어울리는 최적의 안무를 직접 창작해내는 단계에 이르기까지 인공지능의 청각 지능 영역은 끊임없이 진화하고 있습니다. 인간의 발성 원리를 기계적으로 규명해낸 덕분에 인공지능은 목소리를 디자인하는 새로운 영역을 열어가고 있습니다. 폐에서 나오는 공기의 세기, 성대의 떨림을 통한 음고, 성도의 필터링을 거친 말소리, 그리고 고유한 음색까지 네 가지 요소를 분석하고 제어함으로써 완전히 새로운 가상의 목소리를 창조합니다. 얼굴 사진을 분석하여 그 골격에 어울리는 자연스러운 목소리를 매칭하거나, 소리를 내지 못하는 환자의 안면 근육 전기 신호를 감지해 이를 깨끗한 음성으로 복원해내는 기술 등은 삶의 질을 획기적으로 개선합니다. 인류가 진화의 역사 속에서 말소리를 발명하고 발달시킨 것은 협업을 통해 생존 확률을 높이기 위한 필연적인 선택이었습니다. 갓 태어난 아기가 부모의 말소리를 듣고 끊임없이 흉내 내며 언어를 습득하는 경이로운 여정은, 광활한 우주에서 낯선 외계 생명체와 조우하여 소통의 방식을 맞추어 나가는 거대한 탐험과도 닮아 있습니다. 우리가 매일 숨 쉬듯 자연스럽게 나누는 말 한마디와 타인의 목소리를 구별해 듣는 일상적인 지각 능력은, 인류가 진화 과정을 통해 획득한 가장 아름답고 경이로운 기적입니다.

🎵 AI가 고(故) 김광석의 목소리를 완벽하게 재현할 수 있다면?│선을 넘는 과학자들
국립과천과학관선을 넘는 과학자들🔬
  • 물리학
  • 생명과학
  • 뇌인지과학
  • 융합

Session I : 보이는 소리로 만드는 디지털 혁신 / 에스엠인스트루먼트 김영기 대표

코로나19 초기, 병원 로비와 같은 다중이용시설에서 기침 소리만으로 환자를 식별하기는 매우 어려운 과제였습니다. 소리의 진원지를 정확히 파악하기 위해서는 '음향 카메라'라는 혁신적인 기술이 필요합니다. 음향 카메라는 중앙의 카메라 렌즈 주변에 100여 개의 마이크로폰을 배치하여 소리가 각 센서에 도달하는 미세한 시간 차이를 계산합니다. 이를 통해 소리의 진원지를 시각적인 등고선 형태로 나타내어, 누가 어디서 기침을 했는지 실시간으로 추적하고 기록할 수 있게 함으로써 소리를 눈으로 볼 수 있는 새로운 세상을 열었습니다. 이 기술은 자동차 산업에서도 큰 성과를 거두었습니다. 전기차 시대로 접어들며 엔진 소음이 사라지자 오히려 실내의 미세한 잡소리에 민감해진 소비자를 위해 음향 카메라는 소음의 위치를 정확히 짚어냈습니다. 또한 육안으로 확인이 어려운 가스 누출이나 전기 방전 시 발생하는 초음파 영역의 미세한 소리를 포착해 시각화함으로써 산업 현장의 안전을 지키는 데 기여하고 있습니다. 기존의 수동 점검 방식과 달리 넓은 영역을 한눈에 스캔하여 효율적인 유지보수를 가능하게 한 점이 기술적 혁신의 핵심이라고 할 수 있습니다. 소리를 데이터화하여 분석하는 과정에는 인공지능 기술이 핵심적인 역할을 수행합니다. 소리를 시간과 주파수라는 두 축을 가진 이미지 형태인 '스펙트로그램'으로 변환하면 딥러닝 모델이 그 특징을 정교하게 학습합니다. 이는 고음과 저음에 따라 달팽이관의 특정 위치가 반응하고 뇌가 이를 인지하는 인간의 청각 구조와 매우 닮아 있습니다. 이러한 메커니즘을 통해 가스 누출음과 주변 소음을 명확히 분리해내고, 전기 방전의 미세한 유형까지 파악하여 설비의 정확한 상태 진단이 가능해집니다. 앞으로 음향 카메라 기술은 네트워크 및 로봇 기술과 결합하여 더욱 광범위하게 활용될 전망입니다. 수소 충전소의 안전 관리나 기차역과 같은 공공장소에서의 비명 감지, 군 시설의 총기 사고 모니터링 등이 대표적인 사례입니다. 특히 인공지능 로봇에 음향 카메라를 탑재하면 화학 공장이나 발전소의 복잡한 배관 사이를 순찰하며 인간의 접근이 어려운 곳의 위험 요소를 스스로 찾아낼 수 있습니다. 소리 데이터가 네트워크를 통해 실시간으로 공유되는 환경은 우리 사회의 안전망을 한 단계 더 강화하는 밑거름이 될 것입니다. 현재는 KTX의 차륜 소리를 실시간으로 모니터링하여 고장을 예측하거나 울산의 화학 공장에서 가스 누출을 감시하는 등 실제 산업 실증 단계에 와 있습니다. 물리적으로 인간의 눈과 귀 사이 거리는 12cm 정도에 불과하지만, 사람들은 대개 눈으로 본 것만을 전적으로 신뢰하는 경향이 있습니다. 소리를 시각화하여 보여주는 기술은 이 좁지만 먼 '신뢰의 거리'를 좁혀가는 과정이라 할 수 있습니다. 보고 들리는 모든 정보가 일치할 때, 우리는 기술을 통해 더욱 안전하고 명확한 미래를 마주하게 될 것입니다.

Session I : 보이는 소리로 만드는 디지털 혁신 / 에스엠인스트루먼트 김영기 대표
한국과학기술정보연구원2022 미래유망기술 컨퍼런스
  • 융합
  • 공학·기술