하드웨어최적화

[EOST2023] 오픈소스 LLM : 개인이 LLM을 소유하는 시대

오픈소스 LLM 시장은 지난 1년 사이 폭발적인 성장을 거듭해 왔습니다. 수많은 연구자와 개발자들이 각자의 모델을 공개하며 성능을 뽐내고 있지만, 정작 실제 비즈니스 시스템에 성공적으로 적용된 사례는 그리 많지 않은 실정입니다. 겉으로 보기에는 수천 개의 모델이 경쟁하며 생태계가 활성화된 것처럼 보임에도 불구하고, 대다수의 사용자는 여전히 ChatGPT나 바드와 같은 폐쇄형 모델에 의존하고 있습니다. 이는 오픈소스 LLM이 가진 기술적 잠재력과 실제 현업에서의 실용성 사이에 큰 괴리가 존재함을 시사합니다. 이러한 격차를 줄이고 오픈소스 LLM을 실질적으로 활성화하기 위해서는 단순한 성능 경쟁을 넘어 시스템 도입을 용이하게 하는 구체적인 전략이 필요합니다. 현재 오픈소스 LLM의 성능을 가늠하는 주된 지표는 허깅페이스의 'Open LLM 리더보드'와 같은 벤치마크 점수입니다. 하지만 이러한 학술적인 지표들이 실제 사용자가 느끼는 만족도와 항상 일치하지는 않습니다. 텍스트 생성은 정답이 하나로 정해진 것이 아님에도 불구하고, 현재의 평가 방식은 정해진 답안과의 유사성만을 따지는 경우가 많아 전반적인 답변의 질을 측정하기엔 한계가 있습니다. 특히 최근에는 모델의 성능을 높이기 위해 GPT-4가 생성한 데이터를 학습에 활용하는 사례가 늘어나면서 데이터 오염 문제가 심각해지고 있습니다. 이는 특정 벤치마크 점수만 기형적으로 높을 뿐, 실제 대화 상황에서는 기대 이하의 성능을 보이는 모델들이 양산되는 원인이 되기도 합니다. 모델을 실제로 사용해보려 할 때 마주하는 가장 큰 장벽 중 하나는 하드웨어 장벽입니다. 7B급의 작은 모델은 일반적인 환경에서도 구동이 가능하지만, 높은 지능을 기대할 수 있는 70B급 모델은 일반 개인이 감당하기 힘든 고가의 하드웨어 장비를 요구합니다. 또한 모델을 성공적으로 로드하더라도 온도 설정이나 스톱 토큰과 같은 생성 파라미터를 최적화하는 과정은 비전문가에게 매우 까다로운 작업입니다. 모델 제작자가 명확한 가이드라인을 제공하지 않는 경우가 많아, 사용자는 시행착오를 반복하며 최적의 값을 직접 찾아내야만 합니다. 이러한 기술적 복잡성과 하드웨어 인프라의 부재는 오픈소스 LLM이 대중적으로 확산되는 데 결정적인 걸림돌로 작용하고 있습니다. 이러한 문제를 해결하기 위해 등장한 'LMS-Bot' 프로젝트는 누구나 쉽게 LLM을 배포하고 체험할 수 있는 환경을 제공하는 데 주력하고 있습니다. 이 프로젝트는 단순한 코드 공유를 넘어, 개발자들이 자주 사용하는 디스코드와 같은 플랫폼을 통해 모델과 직접 대화할 수 있는 인터페이스를 구축했습니다. 특히 시스템의 가용 자원을 자동으로 파악하여 8비트나 4비트 양자화 모델 중 구동 가능한 최적의 설정을 제안해 줌으로써 기술적 진입 장벽을 대폭 낮췄습니다. 모델별로 최적화된 설정을 YAML 형식으로 미리 정의해 두었기 때문에, 사용자는 복잡한 파라미터 조정 없이도 모델의 실제 성능을 즉각적으로 확인할 수 있습니다. 이는 환경 설정의 어려움을 해결하는 핵심 열쇠가 됩니다. 앞으로의 오픈소스 LLM 생태계는 클라우드 기반의 유연한 자원 활용과 서빙 프레임워크의 최적화 방향으로 발전해 나갈 것입니다. TGI나 vLLM과 같은 고성능 서빙 도구를 활용하여 개별 사용자가 필요한 순간에만 GPU 자원을 할당받아 모델을 구동하는 방식은 하드웨어 비용 부담을 획기적으로 줄여줄 수 있습니다. 더 나아가 단순한 텍스트 대화를 넘어 웹 검색 결과나 외부 도구를 결합하여 답변의 신뢰도를 높이는 시도들도 계속되고 있습니다. 최근에는 LLM을 활용해 캐릭터를 설정하고 배경음악과 이미지가 포함된 완성도 높은 이야기를 창작하는 등 창의적인 영역으로의 확장성도 확인되고 있습니다. 오픈소스 LLM이 가진 자유로움이 기술적 편리함과 결합될 때 비로소 진정한 AI 민주화가 실현될 것입니다.