분산시스템

4 Contents

[ETRI ZOOM] ETRI는 내가 가장 하고 싶은 일을 할 수 있는 곳!

한국전자통신연구원(ETRI)의 슈퍼컴퓨팅시스템연구실은 우리 기술로 완성된 국산 슈퍼컴퓨팅 인프라를 구축하는 핵심적인 임무를 성실히 수행하고 있습니다. 이곳에서는 대규모 인공지능 모델의 학습과 추론 속도를 비약적으로 높이기 위해 다양한 가속기 환경을 심도 있게 탐구합니다. 연구원들은 자신이 구상한 논리적인 코드가 거대한 시스템 안에서 실제로 작동하는 과정을 지켜보며 기술 국산화의 가치를 몸소 실현해 나갑니다. 이러한 열정은 단순히 시스템을 만드는 것을 넘어 대한민국의 기술적 자생력을 키우는 든든한 밑거름이 되고 있습니다. 현대의 고도화된 인공지능 서비스들은 수천억 개의 파라미터를 처리해야 하기에 한 대의 서버나 일반적인 PC로는 감당할 수 없는 수준에 이르렀습니다. 이를 해결하기 위해서는 수백 대의 장비가 마치 하나의 유기체처럼 긴밀하게 움직이게 하는 고도의 분산 처리 기술이 뒷받침되어야 합니다. 병렬 컴퓨팅 연구는 바로 이 지점에서 시작됩니다. 여러 연산 장치가 작업을 효율적으로 나누어 수행하면서도 데이터 지연 없이 최상의 성능을 낼 수 있도록 정교한 알고리즘을 설계하는 것이 이 연구의 본질이자 가장 큰 도전 과제입니다. 현재 글로벌 인공지능 연산 시장은 특정 외산 가속기가 주도하고 있지만, 경제성과 효율성 측면에서 우리만의 독자적인 기술을 활용한 새로운 돌파구가 필요합니다. 연구진은 서로 다른 하드웨어들을 통합하여 사용할 수 있는 하이브리드 설계 방식을 통해 시스템의 전체적인 효율성을 극대화하는 연구에 주력하고 있습니다. 이를 통해 국산 기술이 글로벌 시장에서 충분한 경쟁력을 확보하고, 다양한 산업 분야에서 최적의 연산 환경을 선택할 수 있는 폭넓은 기회를 제공하고자 합니다. 특정 제조사에 의존하지 않는 자립은 미래 산업의 핵심입니다. 연구자의 창의성을 극대화하기 위해서는 엄격한 위계질서보다는 아이디어 자체를 소중히 여기는 수평적인 조직 문화가 무엇보다 필수적입니다. ETRI는 연구자가 스스로 연구의 목적을 설정하고 실험적인 시도를 자유롭게 이어갈 수 있도록 최대한의 자율성을 보장하며, 동료 간의 원활한 소통을 통해 시너지를 내는 환경을 적극 지향합니다. 이러한 분위기 속에서 구성원들은 실패에 대한 두려움 없이 자신의 전문성을 발휘하며 성장할 귀한 기회를 얻습니다. 서로를 배려하는 긍정적인 문화는 연구원들이 연구에만 전념하게 돕는 큰 힘입니다. 궁극적으로는 전 세계의 개발자들이 제약 없이 널리 활용할 수 있는 범용 라이브러리를 개발하여 글로벌 기술 생태계에 공헌하는 것이 연구자로서의 큰 포부입니다. 이곳은 마치 어린 시절 모래사장에서 무엇이든 만들고 다시 세울 수 있었던 '샌드박스'와 같은 자유로운 공간입니다. 정해진 틀에 갇히지 않고 자신이 꿈꾸는 기술적 형태를 마음껏 그려내고 실험할 수 있는 환경이 완벽히 보장되기 때문입니다. 실패를 두려워하지 않는 과감한 도전 정신과 자유로운 상상력이 허용되는 이러한 환경은 장차 글로벌 시장을 선도하는 혁신의 원천이 될 것입니다.

[ETRI ZOOM] ETRI는 내가 가장 하고 싶은 일을 할 수 있는 곳!
한국전자통신연구원ETRI 기술적 대화
  • 융합
  • 공학·기술

[EOST2023] Hack Your Git Education

현대 소프트웨어 개발 환경에서 Git은 프로젝트의 버전을 관리하고 소스 코드의 변경 이력을 추적하는 데 있어 사실상의 표준으로 자리 잡았습니다. 신입과 경력을 불문하고 많은 IT 기업이 입사자에게 요구하는 필수 역량 중 하나가 바로 이 버전 관리 능력입니다. 이에 따라 국내외 유수의 대학과 교육 기관들은 Git을 정규 교육 과정에 편입시키고, 현직 개발자 멘토링이나 특강을 통해 학생들이 실제 실무 프로세스를 미리 경험하고 익힐 수 있는 환경을 적극적으로 구축하고 있는 추세입니다. 하지만 많은 학습자가 Git을 배우는 과정에서 CLI 환경에 익숙하지 않아 상당한 어려움을 겪고는 합니다. 기본적인 명령어의 원리를 이해하지 못한 채 GUI 인터페이스에만 의존하다 보면, 복잡한 예외 상황이 발생했을 때 이를 스스로 해결하지 못하는 한계에 부딪히기 쉽습니다. 또한 'commit'이나 'checkout' 같은 명령어들이 가진 본래의 영단어 의미를 제대로 파악하지 못해, 해당 기능이 시스템 내부에서 정확히 어떻게 작동하는지 유추하는 데에도 많은 제약을 느끼게 됩니다. 효과적인 Git 학습을 위해서는 명령어의 어원을 먼저 찾아보며 그 동작 원리를 이미지화하는 과정이 큰 도움이 됩니다. 예를 들어 'rebase'를 '전투기가 주둔지를 변경하는 이미지'로 이해하거나, 'checkout'을 단순히 호텔 퇴실이 아닌 '무언가를 자세히 조사하다'라는 의미로 접근하면 명령어가 그래프에 미치는 영향을 훨씬 명확하게 받아들일 수 있습니다. 교육 초기에는 편리한 GUI 대신 CLI 환경에서 직접 명령어를 입력하며 기초를 다지는 것이 예외 케이스를 해결할 수 있는 중장기적인 역량을 키워줍니다. Git의 내부 구조인 비순환 방향 그래프(DAG)를 시각화 도구로 직접 확인하며 실습하는 것도 좋은 전략입니다. 명령어를 입력할 때마다 브랜치와 헤드(HEAD)가 어떻게 이동하는지 눈으로 직접 확인하면, 자료 구조에 대한 깊은 지식이 없더라도 전체적인 버전 관리의 흐름을 직관적으로 파악할 수 있습니다. 특히 헤드가 브랜치가 아닌 특정 커밋을 직접 가리키게 되는 'Detached HEAD'와 같은 복잡한 상태도 시각적 자료를 병행하여 학습하면 학생들이 그 원리를 훨씬 빠르게 이해하는 모습을 볼 수 있습니다. 마지막으로 Git의 핵심인 '분산 버전 관리'의 개념을 명확히 체득해야 합니다. 로컬 저장소와 원격 저장소가 독립적으로 존재하며 이를 동기화하는 과정을 '복제 인간' 모델 등을 통해 비유적으로 학습하면 저장소 간의 관계를 쉽게 이해할 수 있습니다. 단순히 이론을 암기하는 것에 그치지 않고, 오픈소스 컨트리뷰션 아카데미나 개발자 대회와 같은 실제 프로젝트에 참여하여 전문가의 멘토링을 받는 과정은 배운 기술을 실무 수준으로 끌어올리는 가장 확실한 방법이 될 것입니다.

[EOST2023] Hack Your Git Education
한국전자통신연구원오픈소스 테크데이
  • 공학·기술

[강연] 매일 쓰는 인터넷, 어떻게 동작하나요? _ by문수복 ㅣ 2021 가을 카오스강연 '과학의 희열' 9강 | 9강

1876년 알렉산더 벨의 첫 전화 통화 이후 인류의 통신 기술은 비약적으로 발전해 왔습니다. 초기에는 전화 교환수가 직접 선을 연결하는 수동 방식이었으나, 기술의 진보와 함께 전전자 교환기가 등장하며 자동화의 길을 걸었습니다. 이러한 변화는 단순히 기계화에 그치지 않고, 더 많은 사람이 동시에 소통할 수 있는 현대적 통신망의 기틀을 마련했습니다. 오늘날 우리가 사용하는 초고속 네트워크의 뿌리는 바로 이 수동 교환의 시대에서부터 시작된 셈이며, 이는 인류가 시공간의 제약을 극복해 온 역사이기도 합니다. 인터넷의 역사는 미국 국방부의 아르파넷(ARPANET) 프로젝트에서 그 기원을 찾을 수 있습니다. 로버트 칸과 빈트 서프가 제창한 TCP/IP 기술은 오늘날 전 세계를 하나로 묶는 표준이 되었으며, 한국 또한 1982년 아시아 최초로 인터넷 연결에 성공하며 IT 강국의 초석을 다졌습니다. 이러한 선제적인 기술 도입과 확장은 우리나라가 세계적인 정보통신 환경을 구축하는 데 결정적인 역할을 했습니다. 과거 연구자들이 척박한 환경에서 일구어낸 성과가 현재 우리가 누리는 디지털 번영의 든든한 토대가 된 것입니다. 인터넷의 동작 원리는 고속도로의 자원 공유 방식과 매우 유사합니다. 과거의 전화망이 특정 회선을 독점하는 방식이었다면, 인터넷은 정보를 '패킷'이라는 단위로 쪼개어 여러 사용자가 도로를 공유하듯 데이터를 주고받습니다. 이를 통해 한정된 통신 자원을 효율적으로 활용할 수 있게 되었으며, 전송 속도가 빨라진다는 것은 도로의 차선을 늘려 한 번에 더 많은 정보를 실어 나를 수 있게 됨을 의미합니다. 이는 물리적 한계를 극복하고 데이터 전송의 효율성을 극대화하여 전 세계적인 정보 유통을 가능하게 한 혁신적인 발상입니다. 컴퓨터 내부의 기술 발전은 부품마다 제각기 다른 속도로 진행됩니다. CPU와 GPU, 그리고 메모리와 네트워크 카드는 서로 다른 성장 곡선을 그리며 발전해 왔기에, 현대의 컴퓨팅 시스템에서는 이들 요소 간의 균형을 맞추는 '네트워크 밸런싱'이 무엇보다 중요합니다. 각 부품의 성능 차이로 인해 발생하는 병목 현상을 해결하고 전체 시스템의 효율을 높이는 것이 네트워크 연구의 핵심 과제 중 하나입니다. 기술의 조화로운 발전이 뒷받침될 때 비로소 전체 시스템은 최적의 성능을 발휘하며 복잡한 연산을 수행할 수 있습니다. 이제 우리는 개별 컴퓨터의 시대를 넘어 거대한 데이터 센터의 시대로 진입했습니다. 수만 대의 서버가 모인 데이터 센터는 가상화 기술을 통해 자원 공유를 극대화하는 클라우드 환경을 구축합니다. 사용자는 자신이 어떤 물리적 서버를 사용하는지 알 필요가 없으며, 시스템은 24시간 내내 높은 활용률을 유지하며 전 세계의 데이터를 처리합니다. 이러한 구조는 자원의 낭비를 획기적으로 줄이고 어디서나 동일한 품질의 디지털 서비스를 이용할 수 있는 기반이 됩니다. 데이터 센터는 현대 문명을 지탱하는 거대한 디지털 공장과 같습니다. 미래의 데이터 센터는 각 부품을 기능별로 분해하여 효율을 높이는 '디스어그리게이티드(Disaggregated)' 구조로 진화하고 있습니다. 하지만 이러한 인프라의 확장은 막대한 전력 소모라는 새로운 과제를 안겨주기도 합니다. 2030년경에는 IT 장비와 데이터 센터가 소비하는 전력이 전체 전력 시장에서 상당한 비중을 차지할 것으로 예상됩니다. 따라서 에너지 효율을 높이는 기술 개발과 함께 지속 가능한 네트워크 인프라를 구축하기 위한 다각적인 연구가 필요한 시점입니다. 이는 기술적 진보와 환경적 책임을 동시에 고려해야 하는 인류 공통의 도전입니다. 기술의 발전 속도에 맞춰 우리 사회의 디지털 소양 교육도 한층 강화되어야 합니다. 컴퓨터를 단순히 사용하는 수준을 넘어, 네트워크의 원리를 이해하고 이를 업무 효율화에 활용하는 능력은 21세기 경쟁력의 핵심입니다. 주요 선진국들이 정보 교육 시간을 대폭 늘리는 이유도 미래 산업의 주도권을 잡기 위함입니다. 우리나라도 미래 세대가 디지털 환경에서 주도적인 역할을 할 수 있도록 체계적인 교육 시스템을 갖추고 기초 소양을 길러주는 데 힘써야 합니다. 디지털 소양은 이제 선택이 아닌 생존과 성장을 위한 필수 역량입니다.

[강연] 매일 쓰는 인터넷, 어떻게 동작하나요? _ by문수복 ㅣ 2021 가을 카오스강연 '과학의 희열' 9강

문수복

카오스재단카오스강연
  • 수학

EOST2020

현대 소프트웨어 아키텍처는 과거의 단일 시스템에서 수많은 서비스가 얽힌 마이크로서비스 아키텍처(MSA)로 빠르게 전환되고 있습니다. 대규모 분산 시스템은 트래픽 처리와 장애 대응 면에서 유리하지만, 관리와 디버깅의 난이도가 급격히 상승한다는 치명적인 단점이 있습니다. 장애 발생 시 각 담당자가 자신의 영역에는 문제가 없다고 주장하는 사이, 정작 유저는 불편을 겪는 상황이 빈번하게 발생합니다. 이러한 복잡한 환경에서 서비스 전체의 가시성을 확보하고 성능을 통합적으로 관리하기 위해 애플리케이션 성능 관리(APM) 솔루션은 필수적인 도구가 되었습니다. 시스템 규모가 커지면 장애의 원인을 찾는 과정은 마치 미로를 헤매는 것과 같습니다. API 게이트웨이에서 지연이 발생했을 때, 담당자는 서버에 원격 접속하여 수많은 로그를 뒤져야 합니다. 한 단계 문제를 파악하더라도 연결된 쇼핑 서버, 주문 서버 등 각 단계별 담당자에게 연락을 취하고 확인하는 과정을 반복해야 하며, 이 과정에서 수십 분에서 며칠이 소요되기도 합니다. 로그가 각 서버에 분산되어 있고 서비스 간의 상호작용을 한눈에 파악하기 어렵기 때문에 발생하는 이러한 비효율은 분산 시스템 운영의 가장 큰 걸림돌 중 하나입니다. 오픈소스 APM인 핀포인트는 이러한 복잡한 시스템을 '서버 맵'을 통해 시각적으로 구조화하여 보여줍니다. 수많은 서버가 어떻게 연결되어 있는지 한눈에 확인할 수 있으며, 신입 사원조차도 전체 구조를 즉각 파악할 수 있을 만큼 직관적입니다. 특히 '스캐터 차트'는 트랜잭션의 응답 시간과 성공 여부를 점으로 표시하여, 어떤 요청이 유독 느리거나 예외를 발생시키는지 실시간으로 모니터링하게 해줍니다. 이를 통해 수차례의 로그 분석과 연락 과정을 거치지 않고도 단 몇 분 만에 장애의 근본 원인이 되는 코드 라인이나 쿼리문을 찾아낼 수 있습니다. 핀포인트의 강력함은 상세한 분산 트레이싱과 뛰어난 확장성에서 나옵니다. 특정 트랜잭션을 선택하면 코드 레벨의 콜 스택부터 데이터베이스 호출 횟수까지 상세히 보여주며, 실시간 스레드 차트를 통해 서버의 건강 상태를 즉각 확인하게 해줍니다. 대규모 시스템을 위해 설계된 만큼, 수백억 건의 데이터를 처리할 수 있는 구조를 갖추고 있으면서도 성능 저하를 최소화했습니다. 시스템 전반의 가시성을 확보하면서도 운영 중인 서비스에 큰 부담을 주지 않는다는 점은 전 세계 수많은 엔지니어가 핀포인트를 선택하고 신뢰하는 결정적인 이유가 됩니다. 2012년 시작된 핀포인트는 현재 전 세계 개발자들이 사용하는 글로벌 오픈소스 프로젝트로 성장했습니다. 아파치 하둡과 비견될 정도의 성장세를 보이며 오픈소스 APM 분야에서 정상을 다투고 있으며, 전 세계 대다수 국가에서 널리 활용되고 있습니다. 최근에는 Node.js 지원을 시작으로 Go 언어나 서비스 메쉬 등으로 지원 범위를 넓혀가고 있으며, AI 기술을 접목한 지능형 모니터링 시도도 이어지고 있습니다. 이제는 클라우드 환경에서도 손쉽게 접근할 수 있게 되어, 더 많은 개발자가 분산 시스템의 복잡성을 극복하고 안정적인 서비스를 운영할 수 있는 기반이 마련되었습니다.

EOST2020
한국전자통신연구원오픈소스 테크데이
  • 공학·기술