[EOST2023] LLM 3요소와 오픈소스의 발전
인공지능 기술의 발전은 지난 수십 년간 눈부신 변화를 거듭해 왔습니다. 과거에는 사람이 직접 특징을 정의하던 방식에서 딥러닝의 자동화로, 그리고 이제는 LLM의 시대로 접어들었습니다. LLM은 단순히 언어를 처리하는 도구를 넘어 산업의 근본적인 판을 흔드는 파급력을 지니고 있습니다. 특히 최근의 연구 흐름은 논문 발표와 동시에 오픈 소스를 공개하여 성능을 입증하는 방식으로 변화하며 기술의 대중화를 이끌고 있습니다. 언어 모델의 핵심은 문장에 확률을 매기는 작업에 있습니다. '백설 공주가 독사과를 먹었다'처럼 자연스러운 문장에는 높은 확률을, 어색한 문장에는 낮은 확률을 부여하며 학습합니다. 최근의 GPT와 같은 모델은 다음에 올 단어를 맞히는 과정을 통해 방대한 지식을 암기합니다. 초기에는 이 모델들이 단순히 암기한 내용을 꺼내 주는 지식 저장소 역할을 한다고 여겨졌으나, 모델의 크기가 커짐에 따라 인간의 일반 상식을 뛰어넘는 수준의 이해력을 보여주기 시작했습니다. 이제 LLM은 명시적인 알고리즘 없이도 숫자 정렬과 같은 복잡한 문제를 해결합니다. 과거에는 정렬을 위해 특정 프로그래밍 규칙이 필요했지만, 현재의 모델은 맥락을 이해하여 결과를 도출합니다. 이러한 능력은 프롬프트 엔지니어링을 통해 극대화됩니다. 예를 들어, 피자 주문을 받는 챗봇의 역할을 부여하면 모델은 사용자의 의도를 실시간으로 추론하며 적절한 답변을 생성하고 결과물을 구조화된 데이터로 요약해 줍니다. 이는 모델이 하나의 유연한 컴퓨팅 인프라로 작동함을 의미합니다. 모델의 성능을 결정짓는 세 가지 핵심 요소는 데이터, 컴퓨팅 자원, 그리고 파라미터입니다. 이들의 규모를 조절하며 확장할 때 성능이 지속적으로 향상된다는 '스케일링 법칙'은 LLM 발전의 기틀이 되었습니다. 최근에는 메타의 LLaMA나 Mistral과 같은 고성능 모델들이 오픈 소스로 공개되며 누구나 대규모 모델을 연구할 수 있는 춘추전국시대가 열렸습니다. 이는 빅테크 기업의 전유물이었던 LLM 기술이 연구 현장 곳곳으로 확산되는 계기가 되었습니다. 거대해진 모델을 효율적으로 다루기 위한 기술적 노력도 활발합니다. 모델의 연산 부담을 줄이기 위한 어텐션 메커니즘의 최적화나, 적은 비용으로도 특정 목적에 맞게 모델을 미세 조정할 수 있는 LoRA 같은 알고리즘이 대표적입니다. 특히 양자화 기술의 발전은 방대한 파라미터를 가진 모델을 일반적인 하드웨어에서도 구동할 수 있게 함으로써 기술 접근성을 획기적으로 높였습니다. 이러한 효율성 중심의 연구는 LLM이 실질적인 서비스로 구현되는 데 결정적인 역할을 합니다. 데이터의 측면에서는 단순한 양보다 질과 다양성이 더욱 중요해지고 있습니다. 최근 연구에 따르면 모델이 왜 그렇게 생각했는지 그 이유까지 함께 학습시키는 방식이 추론 능력을 비약적으로 향상시킨다는 점이 밝혀졌습니다. 또한 정형화된 템플릿보다는 실제 인간의 대화처럼 복잡하고 다양한 명령어를 포함한 고품질 데이터를 사용할 때 모델의 성능이 더 크게 개선됩니다. 이는 데이터 분석 AI를 통해 학습 데이터의 품질을 관리하는 새로운 연구 분야의 탄생으로 이어지고 있습니다. 앞으로 LLM은 여러 모델이 협력하는 멀티 에이전트 시스템이나 개인화된 인공지능, 그리고 물리적 로봇을 제어하는 뇌의 역할로 확장될 전망입니다. 하지만 한국어 전용 오픈 소스 모델의 부족이나 공정한 평가 지표 확립, 그리고 학습 데이터의 저작권 이슈 등 해결해야 할 과제도 여전히 남아 있습니다. 기술의 발전 속도에 맞춰 이러한 사회적, 기술적 문제들을 지혜롭게 풀어나가는 것이 LLM의 지속 가능한 발전을 위한 핵심이 될 것입니다.
![[EOST2023] LLM 3요소와 오픈소스의 발전](https://i.ytimg.com/vi/CL_yCSnX7Do/mqdefault.jpg)
