지금은 AI 시대! 과학기술 특화 언어모델 등장
최근 인공지능 기술이 급격히 발전하면서 챗GPT와 같은 거대 언어 모델이 큰 화제가 되고 있습니다. 하지만 일반적인 범용 언어 모델은 과학기술과 같은 전문 분야의 지식을 정교하게 다루기에는 한계가 있습니다. 이에 한국과학기술정보연구원(KISTI)은 방대한 과학기술 데이터셋을 기반으로 전문 영역에 특화된 언어 모델을 개발하고 있습니다. 과학기술 문서의 복잡한 구조와 전문 용어를 정확하게 처리하기 위해서는 학술적인 맥락을 깊이 있게 이해하는 별도의 엔진이 필요하기 때문입니다. 이러한 배경 속에서 탄생한 것이 바로 과학에 강한 딥러닝 모델인 사이데버타(SciDeBERTa)입니다. 사이데버타(SciDeBERTa)는 복잡한 과학기술 논문에서 핵심 정보를 자동으로 추출하는 데 탁월한 성능을 보입니다. 연구의 주제나 방법론, 사용된 데이터와 평가 지표 등 논문의 핵심 개체들을 스스로 찾아내며, 각 개체들 간의 상관관계까지 파악합니다. 예를 들어 특정 기술 용어 사이의 포함 관계나 특정 데이터가 어떤 연구 주제에 활용되었는지에 대한 사용 관계를 정교하게 분석해냅니다. 이러한 기능은 단순히 문장을 읽는 수준을 넘어 과학적 논리를 구조화하는 과정이라 할 수 있습니다. 현재는 영문 논문 중심이나, 곧 한글 논문을 지원하는 코사이데버타(KoSciDeBERTa)도 완성될 예정입니다. 이번 연구 성과의 가장 놀라운 점은 사이데버타(SciDeBERTa)가 과학기술 개체명 인식(NER) 분야에서 전 세계 1위를 달성했다는 사실입니다. 한국과학기술정보연구원(KISTI)은 미국의 앨런 연구소와 협력하여 방대한 영문 과학기술 논문 데이터셋을 확보하였고, 국가슈퍼컴퓨팅센터의 강력한 GPU 자원과 병렬화 기술을 투입하여 모델을 완성했습니다. 그 결과 세계 공인 지표인 '페이퍼스 위드 코드(Papers with Code)'에서 최첨단 성능을 의미하는 소타(SOTA) 모델로 당당히 이름을 올렸습니다. 이는 대한민국의 과학기술 인공지능 역량이 세계 최고 수준에 도달했음을 입증하는 상징적인 지표이며, 글로벌 기술 주도권 확보의 초석이 되었습니다. 인공지능 모델이 제공하는 실제적인 이점은 연구 현장에서 가장 빛을 발합니다. 현대 과학은 매일 수많은 논문과 보고서가 쏟아져 나오는 정보 과잉의 시대를 맞이하고 있습니다. 연구자들은 자신의 주제와 관련된 최신 동향을 파악하는 데 막대한 시간을 소모하지만, 늘 시간이 부족한 상황입니다. 이때 이해형 언어 모델인 사이데버타(SciDeBERTa)를 활용하면 수많은 문헌을 대신 분석하고 요약하여 연구자들에게 핵심 정보만을 제공할 수 있습니다. 결과적으로 연구 생산성을 비약적으로 높여주며, 연구자들이 보다 창의적인 탐구에만 집중할 수 있는 환경을 조성해 주는 역할을 수행합니다. 앞으로의 계획은 더욱 원대합니다. 한국과학기술정보연구원(KISTI) 연구팀은 모델의 크기를 대형화하는 것은 물론, 데이터를 더욱 정교하게 가공하여 모델을 똑똑하게 만드는 데 주력하고 있습니다. 특히 학습 과정에서 단순히 빈칸을 맞추는 방식을 넘어 더욱 효율적이고 영리한 문제 해결 능력을 갖추도록 딥러닝의 내부 구조를 혁신하는 연구를 병행하고 있습니다. 이러한 독자적인 기술력과 슈퍼컴퓨터 자원을 결합하여 대한민국만의 거대 언어 모델을 완성해 나갈 것입니다. 이는 단순한 기술 개발을 넘어 인공지능 시대에 국가적 기술 자립과 주도권을 지키는 중요한 사명이 될 것입니다.
