음성합성

2 Contents

[카오스 짧강] 2026 카오스 콘서트 예습하기: 음악과 인공지능의 만남_PART 3

서양 조성 음악에서 멜로디와 화성은 떼려야 뗄 수 없는 깊은 관계를 맺고 있습니다. 멜로디를 흥얼거리는 것은 누구나 할 수 있지만, 그에 어울리는 화성을 정교하게 구성하는 작업은 전문적인 훈련이 필요한 영역입니다. 인공지능은 멜로디와 화성이 함께 기록된 대량의 악보 데이터를 학습하여 이들 사이의 복잡한 상관관계를 파악합니다. 이를 통해 단순히 반복적인 화성을 생성하는 기존 알고리즘의 한계를 넘어, 창작자가 실제로 사용하는 유연하고 자연스러운 화성 진행을 제안할 수 있습니다. 음악 창작이 악보를 만드는 단계라면, 이를 소리로 구현하는 연주는 그다음 단계의 핵심입니다. 녹음 기술이 없던 시대 거장들의 연주를 직접 들을 수는 없지만, 현대의 인공지능은 거장들의 오디오 데이터를 분석해 그들의 연주 스타일을 재현하려는 시도를 이어가고 있습니다. 이는 단순한 기계적 재생을 넘어, 악보라는 뼈대에 연주자의 개성과 감성이라는 살을 붙이는 과정입니다. 특수 장치가 설치된 피아노를 통해 수집된 정밀한 데이터는 인공지능이 인간의 섬세한 터치를 학습하는 기반이 됩니다. 인공지능이 생성한 연주는 이제 인간의 귀로도 쉽게 구별하기 힘든 수준에 도달했습니다. 쇼팽의 곡을 활용한 실험에서 많은 사람들은 인공지능의 연주를 실제 피아니스트의 연주로 착각하곤 합니다. 이는 기계와 인간을 구별하지 못하는 상태를 의미하는 ‘음악적 튜링 테스트’가 성공적으로 실현되고 있음을 보여줍니다. 악보의 음표들을 기계적으로 나열하는 미디(MIDI) 신호와 달리, 인공지능은 연주 데이터에 담긴 미묘한 강약과 박자의 변화를 모사하여 음악에 생동감을 불어넣는 수준에 이르렀습니다. 목소리를 구현하는 가창 합성 기술은 일상에서 흔히 접하는 음성 합성보다 한 단계 높은 기술력을 요구합니다. 단순히 문자열을 음성으로 변환하는 내비게이션의 안내 음성과 달리, 노래는 가사뿐만 아니라 멜로디라는 추가적인 정보가 필수적입니다. 정확한 음정과 표현력, 그리고 가사가 완벽한 조화를 이루어야만 비로소 가창이라고 부를 수 있기 때문입니다. 인공지능은 입력된 악보 정보와 가사를 결합하여 인간이 노래를 부르는 복잡한 메커니즘을 디지털 신호로 정교하게 재구성해냅니다. 가창 합성 기술의 가장 놀라운 점은 학습 데이터에 포함되지 않은 새로운 곡도 특정인의 목소리로 불러낼 수 있다는 사실입니다. 훈련된 인공지능은 가수의 고유한 음색과 창법을 유지한 채, 이전에 한 번도 불러본 적 없는 멜로디와 가사를 자연스럽게 소화해냅니다. 이러한 기술은 창작자들에게 무한한 가능성을 열어줍니다. 앞으로 인공지능은 단순한 도구를 넘어, 연주자의 개성을 보존하고 창작의 경계를 확장하며 음악 생태계를 더욱 풍성하게 만드는 파트너로서 자리매김할 것입니다.

[카오스 짧강] 2026 카오스 콘서트 예습하기: 음악과 인공지능의 만남_PART 3
카오스재단카오스 짧강(짧은 강연)
  • 융합

연결과 혁신을 위한 VARCO의 오픈소스 현황 및 전략

NC AI는 NC소프트에서 14년 넘게 AI를 연구해온 R&D 조직이 분사하여 설립된 전문 기업입니다. '바르코(VARCO)' 브랜드를 중심으로 게임 개발에 최적화된 대형언어모델(LLM)을 독자적으로 개발해왔으며, 현재는 이를 기반으로 한 다양한 멀티모달 기술을 확장하고 있습니다. 기술 개발에 그치지 않고 사용자가 창의성을 마음껏 발휘할 수 있는 환경을 구축하는 데 집중하고 있습니다. 누구나 크리에이터가 될 수 있는 세상을 꿈꾸며 게임을 넘어 미디어와 패션 등 다양한 콘텐츠 산업 전반으로 그 영역을 넓혀가는 중입니다. 게임 서비스에 필수적인 번역과 음성 기술은 고도화된 도메인 이해를 바탕으로 합니다. MMORPG의 다국어 채팅은 실시간성과 세계관 고유 용어의 보존이 매우 중요한데, NC AI는 이를 해결한 특화 번역기를 성공적으로 운영 중입니다. 또한, 단순한 정보 전달을 넘어 감정과 다이내믹한 연기가 필요한 게임 특성에 맞춘 음성 합성(TTS) 기술을 개발했습니다. 음성 인식과 번역, 보이스 컨버전(Voice Conversion) 기술을 결합하여 성우의 목소리 톤을 그대로 유지하면서도 다양한 외국어로 자연스럽게 더빙이 가능한 기술은 미디어 제작에 혁신을 가져오고 있습니다. 3차원 리소스 제작의 효율성을 높이기 위해 텍스트나 이미지만으로 3D 모델을 생성하는 기술을 선보였습니다. 단순 생성을 넘어 자연어로 특정 부위의 형태나 질감을 세밀하게 수정할 수 있는 편집 기능은 현업 작업자들의 실질적인 요구를 반영한 결과입니다. 더불어 음성 데이터를 기반으로 캐릭터의 입 모양과 감정 표현을 자동으로 생성하는 립싱크 기술과, 방대한 모션 캡처 데이터를 검색하여 재활용하는 기술도 함께 제공합니다. 이러한 기술들은 고비용의 수작업을 줄이고 고품질의 컷신 제작 시간을 획기적으로 단축하는 데 기여합니다. 사운드 분야에서는 수만 개의 라이브러리를 지능적으로 검색하거나 텍스트를 통해 새로운 효과음을 직접 생성하는 기능을 제공합니다. 특히 영상 분석을 통해 배경음과 효과음을 개별 파일로 분리하여 생성함으로써 작업자의 컨트롤 가능성을 극대화했습니다. 최근에는 패션 대기업과 협업하여 업계 전문 용어를 이해하는 전용 이미지 생성 모델을 론칭하기도 했습니다. 이는 창작자가 복잡한 프롬프트를 입력하지 않아도 원하는 카테고리 선택만으로 디자인과 배경 합성을 수행하게 도와주며, 게임 기술이 다른 산업군으로 확산되는 대표적인 사례가 되고 있습니다. 지속적인 연구 성과를 사회와 공유하기 위해 바르코(VARCO) LLM과 평가 모델, 시각 언어 모델(VLM) 등을 오픈소스로 공개하고 있습니다. 특히 국가적 AI 파운데이션 모델 개발 과제에 선정되어 한국의 제조, 유통, 문화 산업 전반에 쓰일 수 있는 모델을 개발 중입니다. '도메인옵스(DomainOps)' 플랫폼을 통해 산업별 데이터를 효율적으로 파인튜닝(Fine-tuning)할 수 있는 환경을 구축하고, 다양한 크기의 모델을 상업적 이용이 가능한 라이선스로 배포할 계획입니다. 이는 단순한 기술 공개를 넘어 국내 산업 전반의 실질적인 AI 전환을 주도하려는 강한 의지를 담고 있습니다.

연결과 혁신을 위한 VARCO의 오픈소스 현황 및 전략
한국전자통신연구원오픈소스 테크데이
  • 융합
  • 공학·기술