Loading...

지식증류

3 Contents
최신순

[2024 ETRI Technology Report 1] 한국판 ‘달리’를 만들어내다 – 이영완 시각지능연구실 선임연구원

최근 챗GPT와 같은 생성형 인공지능의 비약적인 발전과 더불어 사용자가 원하는 이미지를 즉석에서 만들어주는 기술이 큰 주목을 받고 있습니다. 하지만 현재 글로벌 기업들이 제공하는 거대 모델들은 뛰어난 결과물을 보여주는 대신, 이미지를 한 장 생성하는 데도 긴 대기 시간과 막대한 전산 자원을 요구한다는 한계가 있습니다. 이러한 높은 운영 비용과 에너지 소모 문제는 일반 사용자들이나 중소 규모의 기업들이 해당 기술을 자유롭게 활용하는 데 큰 걸림돌이 되고 있습니다. 초지능창의연구소 시각지능연구실이 개발한 '코알라' 모델은 이러한 기존의 거대 모델을 획기적으로 압축하여 효율성을 극대화한 것이 특징입니다. 연구팀은 방대한 레이어 중에서 중복되거나 불필요한 레이어를 정교하게 제거하여 모델의 크기를 줄이는 전략을 취했습니다. 여기에 기존 거대 모델의 성능을 압축된 모델에 효율적으로 전수하는 '지식 증류' 기법을 적용함으로써, 원본 대비 절반 이하의 가벼운 사양으로도 두 배 이상 빠르게 결과물을 도출할 수 있는 최적화된 시스템을 구축했습니다. 이 기술은 광고 마케팅용 포스터 제작이나 교육용 콘텐츠 개발 등 비용 절감이 필수적인 다양한 산업 현장에 즉시 투입될 수 있는 실용성을 갖추고 있습니다. 연구팀은 향후 정지 영상을 넘어 훨씬 더 많은 연산량이 필요한 비디오 생성 분야까지 경량화 연구를 확대할 계획입니다. 거대 자본을 보유한 빅테크 기업들이 주도하는 인공지능 생태계에서, 누구나 적은 비용으로 고성능 AI를 누릴 수 있도록 기술의 문턱을 낮추는 'AI 민주화'의 실현이 이들의 궁극적인 지향점입니다.

[2024 ETRI Technology Report 1] 한국판 ‘달리’를 만들어내다 – 이영완 시각지능연구실 선임연구원
한국전자통신연구원ETRI 테크놀로지 리포트
  • 융합
  • 공학·기술

[2024 ETRI Technology Report 1]

최근 챗GPT와 같은 생성형 AI가 비약적으로 발전하면서 텍스트를 넘어 이미지 생성 기술도 큰 주목을 받고 있습니다. 하지만 높은 품질의 이미지를 구현하는 기존 모델들은 생성 과정에서 막대한 시간과 비용이 소모된다는 단점이 있습니다. 초거대 모델을 구동하기 위해 고성능 하드웨어와 많은 에너지가 필요하기 때문입니다. 이러한 기술적 장벽은 일반 사용자와 중소기업이 AI를 자유롭게 활용하는 데 큰 걸림돌이 됩니다. 시각지능연구실은 이러한 문제점을 해결하기 위해 이미지 생성 모델의 효율성을 극대화하는 연구에 집중하고 있습니다. 연구팀은 글로벌 기업들이 공개하지 않은 초거대 모델 대신, 오픈소스인 스테이블 디퓨전 XL(SDXL)을 기반으로 경량화 모델인 ‘코알라(KOALA)’를 개발했습니다. 불필요하거나 중복된 신경망 층을 제거하여 모델을 압축한 뒤, 원본 모델의 능력을 전수하는 ‘지식 증류(Knowledge Distillation)’ 기법을 적용했습니다. 이를 통해 기존 대비 두 배 이상 가볍고 빠른 속도로 이미지를 생성하는 성과를 거두었습니다. 비록 빅테크 기업의 초거대 모델에 비해 품질은 소폭 낮을 수 있으나, 저비용으로 신속한 작업이 가능하다는 점에서 실용적인 가치가 매우 높다고 평가받고 있습니다. 코알라 모델은 광고 마케팅이나 교육 콘텐츠 제작 등 빠른 이미지 생성이 필요한 다양한 분야에서 폭넓게 활용될 전망입니다. 연구팀은 여기서 멈추지 않고, 한 장의 이미지를 넘어 초당 수십 장의 이미지를 처리해야 하는 비디오 생성 모델의 경량화 연구로 영역을 확장할 계획입니다. 비디오 생성 기술의 효율화는 이미지 분야보다 훨씬 큰 파급력을 가질 것으로 예상됩니다. 궁극적으로는 초거대 AI의 문턱을 낮추어 누구나 저비용으로 첨단 기술을 누릴 수 있는 ‘AI 민주화’를 실현하는 것이 이 연구가 지향하는 최종 목표입니다.

[2024 ETRI Technology Report 1]
한국전자통신연구원ETRI 테크놀로지 리포트
  • 융합
  • 공학·기술

2초, 문장이 이미지가 되는 시간초지능창의연구소 이용주 시각지능연구실장

최근 생성형 인공지능 기술은 텍스트를 넘어 이미지와 비디오를 자유롭게 다루는 '크로스 모달(Cross-Modal)' 시대로 빠르게 진입하고 있습니다. 이번에 공개된 코알라(KoALA)는 사용자가 입력한 문장을 바탕으로 신속하게 고품질 이미지를 생성하는 기술이며, 코라바(Ko-LLaVA)는 시각 매체를 통해 복합적인 질의응답이 가능한 혁신적인 대화형 모델입니다. 이러한 기술의 핵심은 텍스트, 음성, 영상 등 서로 다른 형식의 데이터를 상호 변환하고 이해하는 능력에 있습니다. 이는 단순한 정보 전달을 넘어 인공지능이 인간의 오감을 모방하고 확장하는 중대한 변화의 시작점이라 할 수 있습니다. 코알라(KoALA) 모델의 놀라운 성능 뒤에는 '지식 증류(Knowledge Distillation)'라 불리는 모델 경량화 기술이 자리하고 있습니다. 이는 거대한 크기의 교사 모델(Teacher Model)로부터 핵심적인 지식을 전수받아 상대적으로 작은 학생 모델(Student Model)이 효율적으로 학습하는 방식입니다. 덕분에 기존 모델 대비 크기를 3분의 1 수준으로 획기적으로 줄이면서도 생성 속도는 크게 개선되었습니다. 실제로 글로벌 인공지능 모델과 비교했을 때 약 5배나 빠른 1~2초 내외의 시간만으로도 정교한 이미지를 출력할 수 있습니다. 이러한 효율성은 고성능 하드웨어의 장벽을 낮추어 더 많은 분야에서 실용적으로 활용될 가능성을 열어주었습니다. 이러한 기술력은 교육, 문화, 광고 등 시각적 표현이 중요한 다양한 산업군에서 새로운 가치를 창출할 전망입니다. 광고 콘티 제작이나 창작 만화는 물론, 아이들을 위한 스토리북 생성까지 무궁무진한 비즈니스 모델이 가능해질 것입니다. 현재 글로벌 시장에서 비디오 생성 모델이 큰 주목을 받고 있는 만큼, 국내 연구진 또한 비디오 생성의 근간이 되는 핵심 알고리즘 개발에 박차를 가하고 있습니다. 비록 거대 모델 경쟁이 치열한 상황이지만, 우리만의 특화된 기술력을 바탕으로 틈새 시장을 공략하여 인공지능이 창작의 핵심 동반자로 자리 잡는 시대를 앞당기고자 합니다.

2초, 문장이 이미지가 되는 시간초지능창의연구소 이용주 시각지능연구실장
한국전자통신연구원ETRI 테크놀로지 리포트
  • 융합
  • 공학·기술