병렬처리

3 Contents

[EOST2023] CPython 성능 최적화를 위한 코어팀, 커뮤니티 그리고 기업의 노력

파이썬은 오늘날 대안 언어를 넘어 기술 생태계 전반에서 압도적인 점유율을 차지하는 핵심 언어로 자리 잡았습니다. 특히 우리가 흔히 사용하는 파이썬의 표준 구현체인 CPython은 귀도 반 로섬에 의해 만들어진 이래 지속적으로 발전해 왔습니다. 최근에는 파이썬의 전력 효율성 문제가 제기되기도 했으나, 이는 역설적으로 파이썬에 대한 사회적 요구 수준이 그만큼 높아졌음을 의미합니다. 이제 파이썬 코어 팀은 대규모 사용자 기반을 뒷받침하기 위해 단순한 기능 구현을 넘어 체계적인 빌드 시스템과 보안 체크 시스템을 갖춘 전문적인 테크 부서와 같은 구조로 운영되며 성능 개선에 박차를 가하고 있습니다. 2020년대에 들어 머신러닝 수요가 폭발적으로 증가하면서 마이크로소프트, 메타, 블룸버그와 같은 글로벌 빅테크 기업들이 파이썬 성능 개선에 직접적으로 참여하기 시작했습니다. 과거에는 거대 프로젝트의 언어를 통째로 교체하는 방식이 선호되기도 했으나, 최근에는 수천 명의 개발자가 참여하는 기존 코드베이스를 유지하면서 숙련된 컴파일러 엔지니어를 투입해 언어 구현체 자체를 개선하는 전략이 훨씬 효율적이라는 인식이 확산되었습니다. 이러한 흐름 속에서 풀타임 파이썬 코어 엔지니어가 크게 늘어났으며, 기업들은 자사 코드베이스의 특성을 엔진에 반영하기 위해 적극적으로 기술력을 투입하고 있습니다. 파이썬의 최적화 역사는 꽤나 길고 다채로운 시도들로 가득합니다. 처음부터 다시 짜는 전략을 택한 PyPy는 아카데믹한 의미와 함께 훌륭한 성과를 거두었으나 C API 호환성 문제로 표준을 완전히 대체하지는 못했습니다. 구글의 'Unladen Swallow'나 드롭박스의 'Piston' 역시 LLVM 기반의 JIT 컴파일러 구현을 시도했지만, 실행 시점의 타입을 예측하기 어려운 동적 언어의 특성과 복잡한 호환성 유지의 벽에 부딪혀 프로젝트를 마무리해야 했습니다. 최근 인스타그램의 'Cinder'는 자사 워크로드에 최적화된 포크 버전을 통해 성능 향상을 이뤄냈지만, 결국 유저들이 원하는 것은 최신 기능과 완벽한 하위 호환성이라는 점이 다시금 증명되었습니다. 현재 CPython은 마이크로소프트의 주도 아래 3.10 버전 대비 5배 빠른 성능을 목표로 'Faster CPython' 프로젝트를 진행하고 있습니다. 그 첫 성과인 3.11 버전은 별도의 JIT 컴파일러 도입 없이도 인터프리터 개선만으로 약 25%의 성능 향상을 이뤄내며 큰 주목을 받았습니다. 이어지는 3.12 버전에서는 멀티 티어 인터프리터 구조를 위한 기반을 닦았고, 현재 개발 중인 3.13 버전에서는 슈퍼블록 옵티마이저 기반의 티어 2 인터프리터를 통해 더 높은 수준의 최적화를 시도하고 있습니다. 특히 플러거블 옵티마이저 API의 제공은 학계나 다른 기업들이 파이썬 엔진 최적화에 더 쉽게 실험적으로 참여할 수 있는 통로를 열어줄 것입니다. 파이썬의 오랜 숙제였던 글로벌 인터프리터 락(GIL) 제거 논의도 새로운 국면을 맞이했습니다. 최근 샘 그로스의 'nogil' 제안이 PEP 703으로 승인되면서 장기적으로 병렬성을 저해하던 제약을 해결할 수 있는 길이 열렸습니다. 비록 이 과정에서 약간의 성능 오버헤드가 발생할 수 있지만, 머신러닝 등 병렬 연산이 중요한 분야에서의 강력한 요구가 이를 뒷받침했습니다. 파이썬 코어 팀은 하위 호환성을 최우선 가치로 두기에 베타나 RC 릴리스를 통해 유저들의 피드백을 수집하며 신중하게 변화를 이끌어가고 있습니다. 커뮤니티의 목소리가 실제 의사결정에 큰 영향을 미치는 만큼, 사용자들이 새로운 버전을 미리 테스트하는 과정은 파이썬의 미래에 필수적입니다.

[EOST2023] CPython 성능 최적화를 위한 코어팀, 커뮤니티 그리고 기업의 노력
한국전자통신연구원오픈소스 테크데이
  • 공학·기술

[연구뭐하지] 원중호 교수_서울대학교 '통계계산연구실' | 이렇게나 고차원적인 대용량 자료를 다룬다고요?! 이런 연구실 흔치 않습니다

서울대학교 통계계산연구실은 고성능 컴퓨팅(HPC)을 활용하여 통계학의 복잡한 계산 문제를 해결하는 데 집중하고 있습니다. 기존의 방식으로는 예측 모델을 구동하는 데 약 1,000시간이 소요되던 작업을 알고리즘 최적화를 통해 단 30분에서 1시간 내외로 단축하는 것이 이들의 주요 목표입니다. 단순히 계산 속도를 높이는 것을 넘어, 하드웨어의 제약과 수학적 복잡성을 동시에 고려하며 실용적인 통계 문제의 해답을 찾아가는 과정을 연구의 핵심으로 삼고 있습니다. 이곳은 스스로를 '문제를 만드는 곳'이라 정의할 만큼 도전적인 연구를 수행합니다. 일반적인 통계 분석으로는 다루기 힘든 MRI 데이터와 같은 고차원 대용량 자료를 직접 처리하는 것이 특징입니다. 일반 컴퓨터의 메모리에 담기조차 어려운 방대한 데이터를 다루기 위해 빠른 알고리즘을 개발하고, 이를 뒷받침할 수 있는 강력한 컴퓨팅 자원과 기술을 활용합니다. 수학적 기반 위에서 데이터의 한계를 극복해 나가는 과정은 연구실만의 독보적인 경쟁력이 됩니다. 연구실의 분위기는 매우 자유롭고 수평적입니다. 정해진 출퇴근 시간 없이 구성원들이 각자의 리듬에 맞춰 연구에 몰입하며, 교수와 학생 사이에도 존댓말을 사용하며 서로를 존중하는 문화를 유지하고 있습니다. 다만, 일주일씩 걸리는 긴 계산 결과를 확인하기 위해 새벽까지 모니터를 지켜보는 열정 때문에 밤낮이 바뀌는 경우도 종종 발생합니다. 언제 어디서든 결과를 확인할 수 있는 시스템 덕분에 연구에 대한 몰입도가 자연스럽게 높아지는 환경이 조성되어 있습니다. 소수 정예로 운영되는 연구실 공간은 학생들의 창의적인 아이디어와 개성으로 채워져 있습니다. 코딩 중 쌓이는 스트레스를 해소하기 위해 아두이노를 활용한 '빅 엔터키' 쿠션을 직접 제작해 사용하는 등 유쾌한 실험 정신이 돋보입니다. 첨단 기술에 관심이 많은 학생들이 모여 있기에 연구실 곳곳에는 새로운 기술적 시도들이 스며들어 있습니다. 이러한 유연한 사고방식은 복잡한 이론적 문제를 해결해 나가는 과정에서 중요한 원동력이 되어 줍니다. 통계계산연구실은 수리적 이론에 대한 깊은 관심과 함께 뛰어난 코딩 능력을 갖춘 인재를 기다리고 있습니다. 특히 일반적인 노트북으로는 해결하기 어려운 대규모 데이터를 통계적으로 다뤄보고 싶어 하는 도전 정신이 필수적입니다. 데이터의 크기가 기하급수적으로 커지는 현대 사회에서, 계산 과정의 중복성을 줄이고 효율적인 알고리즘을 설계하는 능력은 매우 중요합니다. 방대한 자료 속에서 빠르게 통찰을 얻어내는 과정은 연구자에게 큰 희열을 선사할 것입니다.

[연구뭐하지] 원중호 교수_서울대학교 '통계계산연구실'  |  이렇게나 고차원적인 대용량 자료를 다룬다고요?! 이런 연구실 흔치 않습니다

원중호

카오스재단연구뭐하지
  • 수학

[강연] 컴퓨터 시뮬레이션으로 구현한 가상 우주와 은하 _ by신지혜ㅣ 2021 봄 카오스강연 'SPACE OPERA' 8강 | 8강

우주는 인류에게 끊임없는 질문을 던져온 대상입니다. 하지만 은하의 형성과 진화는 수십억 년이라는 방대한 시간 동안 일어나기에, 인간의 짧은 생애 동안 그 과정을 직접 관측하는 것은 불가능에 가깝습니다. 이러한 한계를 극복하기 위해 과학자들은 가상 우주를 구현하는 컴퓨터 시뮬레이션을 활용합니다. 시뮬레이션 속에서 연구자들은 공간과 시간의 제약을 벗어나 은하를 뜯어보고 돌려보며, 우주의 조물주가 된 것처럼 그 진화의 비밀을 파헤칩니다. 우리가 속한 우리 은하의 구조를 파악하는 일은 마치 숲속에서 숲 전체의 지도를 그리는 것과 같습니다. 17세기 갈릴레오가 은하수가 별로 이루어졌음을 발견한 이래, 인류는 별의 연주시차를 이용해 은하의 3D 구조를 측량해 왔습니다. 우리 은하는 약 4~5개의 나선팔을 가진 원반 형태이며, 중심부의 핵 팽대부와 이를 감싸는 별 헤일로로 구성됩니다. 이러한 구조적 특징을 이해하는 것은 외부 은하의 생성 원리를 파악하는 중요한 기초가 됩니다. 우주는 거대한 거미줄이나 거품 같은 독특한 그물망 구조를 이루고 있습니다. 이를 '우주 거대 구조'라 부르며, 은하들이 밀집한 필라멘트 영역과 텅 빈 보이드 영역으로 나뉩니다. 현재의 우주 표준 모형에 따르면, 우주는 대폭발 이후 가속 팽창을 거듭해 왔으며 그 중심에는 눈에 보이지 않는 암흑 물질과 암흑 에너지가 존재합니다. 특히 암흑 물질은 일반 물질보다 5~6배나 많아 중력적으로 우주의 뼈대를 형성하는 결정적인 역할을 수행합니다. 우주 초기의 미세한 밀도 차이는 오늘날 거대한 은하를 탄생시킨 씨앗이 되었습니다. 우주 배경 복사에서 발견되는 10만 분의 1 정도의 미세한 온도 변화는 당시 물질의 밀도 요동을 의미합니다. 중력은 밀도가 높은 곳으로 더 많은 물질을 끌어당겼고, 시간이 흐름에 따라 이 요동은 점점 커져 중력적으로 결박된 거대 구조물을 형성했습니다. 결국 초기 우주의 양자 요동이 수천억 개의 은하가 빛나는 현재의 우주를 만들어낸 근원이 된 셈입니다. 수천억 개의 입자가 상호작용하는 다체 문제를 해결하기 위해서는 막강한 계산 능력이 필수적입니다. 컴퓨터의 연산 능력이 2년마다 두 배씩 증가한다는 무어의 법칙은 우주론 시뮬레이션의 규모를 비약적으로 키워왔습니다. 현대 과학자들은 수천 개의 프로세서를 동시에 사용하는 병렬 처리 기술과 슈퍼컴퓨터를 동원해 가상 우주를 정밀하게 묘사합니다. 이는 단순한 수치 계산을 넘어, 이론적 가설을 실험실에서 검증하듯 우주의 진화를 재현하는 유일한 실험 방식입니다. 은하의 모습을 더욱 사실적으로 구현하기 위해서는 중력뿐만 아니라 가스의 유체역학적 움직임과 별의 탄생 과정을 고려해야 합니다. 특히 초신성 폭발이나 활동성 은하핵에서 방출되는 에너지는 주변 가스를 밀어내어 폭발적인 별 탄생을 조절하는 '에너지 환원' 작용을 합니다. 이러한 복잡한 물리 현상을 수치 알고리즘으로 정밀하게 설계할 때 비로소 시뮬레이션 속의 가상 은하는 실제 망원경으로 관측한 은하와 구분하기 어려울 정도로 정교한 모습을 갖추게 됩니다. 한국 연구진이 주도한 '호라이즌 런 5(HR5)'는 현존하는 세계 최대 규모의 우주론적 유체역학 시뮬레이션 중 하나로 꼽힙니다. 이 프로젝트는 우주 거대 구조와 은하의 형성을 동시에 구현하며 현대 우주론의 신뢰성을 검증하는 데 크게 기여했습니다. 관측 천문학이 우주의 현재와 과거를 포착한다면, 시뮬레이션은 그 인과 관계를 설명하는 이론적 토대를 제공합니다. 두 분야의 유기적인 협력은 인류가 우주의 기원을 이해하는 여정에 가장 강력한 등불이 될 것입니다.

[강연] 컴퓨터 시뮬레이션으로 구현한 가상 우주와 은하 _ by신지혜ㅣ 2021 봄 카오스강연 'SPACE OPERA' 8강

신지혜

카오스재단카오스강연
  • 천문학