디지털인문학

6 Contents

[질문과 토론의 과학 #10] 📊모든 것은 통계다!

통계학의 세계에서 시공간 자료는 자료가 관측된 공간 정보와 시간 정보를 동시에 포함하는 특별한 형태를 의미합니다. 단순히 숫자의 나열을 넘어, 특정 현상이 '어디서' 그리고 '언제' 발생했는지를 함께 기록함으로써 자료의 맥락을 풍부하게 만듭니다. 이러한 자료를 분석하는 대표적인 방법 중 하나인 '크리깅'은 미관측 지점의 값을 주변 자료를 통해 예측하는 기법입니다. 예를 들어, 서울 시내 일부 지역에만 설치된 측정 장비의 자료를 활용해 장비가 없는 미관측 지점의 미세먼지 농도를 정밀하게 추정하는 것이 가능해집니다. 시공간 자료 분석의 활용 범위는 기상 관측을 넘어 경제와 사회 분야까지 광범위하게 뻗어 있습니다. 각 지역의 범죄 발생률이나 실업률 같은 경제 지표는 물론, 독감 확진자의 거주지 분포를 분석하여 질병의 확산 경로를 파악하는 데에도 유용하게 쓰입니다. 흥미롭게도 이러한 분석은 거대한 우주의 신비를 푸는 천문학 연구에도 적용됩니다. 멀리 떨어진 별의 빛이 지구에 도달하기까지 걸리는 시간과 공간 정보를 결합하면 우주의 지도를 그릴 수 있으며, 이를 통해 초기 우주의 구조나 우주의 나이를 추정하는 기초 과학적 성과를 거둘 수 있습니다. 통계학은 단순히 수학적인 증명에 머무르는 학문이 아니라, 현실 세계의 복잡한 질문에 답을 내놓는 과정에서 그 진가를 발휘합니다. 이론 통계학이 분석 결과의 타당성을 검증하는 수학적 토대를 마련한다면, 응용 통계학은 구체적인 사회적 문제를 해결하는 실천적인 도구가 됩니다. 뉴욕시의 노후화된 전기 배선으로 인한 맨홀 뚜껑 폭발 사고를 예측하여 사전에 방지한 사례는 통계학의 실용성을 잘 보여줍니다. 위험 요소를 미리 파악하고 관리함으로써 인명 피해를 줄이는 성과를 거둔 이 연구는 자료가 어떻게 시민의 안전을 지키는 기술로 변모하는지 증명합니다. 역사적인 사건 속에서도 통계학은 결정적인 통찰을 제공해 왔습니다. 제2차 세계대전 당시 독일군이 런던을 향해 발사한 미사일이 정밀한 유도 기능을 갖췄는지를 판단하기 위해 통계적 검정이 활용되었습니다. 당시 영국군은 미사일이 떨어진 위치 자료를 수집하여 이것이 특정 목표를 겨냥한 군집 형태인지, 아니면 무작위적인 분포인지를 분석했습니다. 분석 결과 미사일의 낙하 지점은 무작위적인 것으로 밝혀졌고, 이를 통해 당시 독일군의 기술 수준을 정확히 파악할 수 있었습니다. 이처럼 통계는 불확실한 상황에서 객관적인 결론을 도출하는 강력한 무기가 됩니다. 최근 통계학은 인문학과의 결합을 통해 '디지털 인문학'이라는 새로운 영역을 개척하고 있습니다. 과거의 기록을 디지털화하여 시공간 자료로 재구성하면, 19세기 샌프란시스코의 마구간 위치를 통해 도시의 팽창 과정을 시각화하거나 미국 우체국의 개폐 이력을 분석해 인구 이동의 흐름을 추적할 수 있습니다. 문헌 기록이 부족한 시대라도 우체국 위치와 같은 간접적인 지표를 통계적으로 분석하면 역사의 숨겨진 맥락을 읽어낼 수 있습니다. 이처럼 통계학은 과거와 현재를 잇고 미래를 예측하는 무궁무진한 가능성을 지닌 학문으로 진화하고 있습니다.

[질문과 토론의 과학 #10] 📊모든 것은 통계다!
카오스재단질토과 + 짧강

[명강리뷰] 디지털인문학과 데이터과학 _ by장원철|2018 봄 카오스 강연 '모든 것의 수數다' 4강

현대 사회는 바야흐로 빅데이터의 시대입니다. 2003년까지 인류가 축적한 정보량이 이제는 단 이틀 만에 생성될 정도로 정보의 홍수 속에 살고 있습니다. 뉴욕 타임스 하루 치 기사가 17세기 성인 남성이 평생 소비한 정보량과 맞먹는다는 사실은 데이터의 폭발적 증가를 실감케 합니다. 이제 데이터는 21세기의 원유와 같으며, 수많은 정보 속에서 유용한 가치를 찾아내는 분석 능력이 무엇보다 중요해졌습니다. 단순히 양이 많은 것을 넘어, 이를 어떻게 해석하고 활용하느냐가 현대 과학의 핵심 과제로 떠오르고 있습니다. 빅데이터는 구조에 따라 크게 두 가지 형태로 나뉩니다. 첫 번째는 '길쭉한 자료'로 불리는 대용량 데이터입니다. 이는 신용카드 소비 패턴처럼 수백만 명의 고객 정보를 담고 있지만 분석 항목은 상대적으로 적은 형태를 말합니다. 반면 '뚱뚱한 자료'는 고차원 데이터를 의미하며, 유전자 발현 정보처럼 분석 대상은 적으나 변수가 수만 개에 달하는 비정형 데이터를 뜻합니다. 과거의 통계학으로는 분석하기 어려웠던 이러한 복잡한 데이터들은 기술의 발전을 통해 질병 예측이나 개인 맞춤형 서비스 등 다양한 분야에서 혁신을 일으키고 있습니다. 데이터 과학은 기존의 인과관계를 넘어 상관관계와 연관성 분석에 주목합니다. 예를 들어 트위터에 올라오는 사람들의 기분 변화와 주가 변동 사이의 상관관계를 분석하여 예측 모델을 만드는 식입니다. 비록 명확한 원인을 설명하기 어려울 때도 있지만, 방대한 데이터를 통해 유의미한 패턴을 찾아내는 능력은 데이터 과학자를 21세기 가장 매력적인 직업으로 만들었습니다. 통계학이 다소 딱딱하고 이론적인 학문으로 인식되었다면, 데이터 과학은 실생활의 복잡한 문제들을 유연하고 흥미롭게 풀어내는 실천적인 학문으로 자리 잡고 있습니다. 이러한 데이터 분석 기법은 인문학 영역과 결합하여 '디지털 인문학'이라는 새로운 분야를 개척했습니다. 양식 측정학을 통해 셰익스피어 작품의 진위 여부를 가려내거나, 조선왕조실록에 텍스트 마이닝 기법을 활용해 역대 왕들의 통치 스타일을 정량적으로 파악하는 것이 가능해졌습니다. 예를 들어 세종대왕은 신하들의 의견을 경청하는 스타일이었음이 데이터로 증명되며, 연산군은 독단적인 결정을 내리는 경향이 뚜렷하게 나타납니다. 이는 숫자가 감히 침범할 수 없다고 여겨졌던 인문학적 통찰을 보완하고 확장하는 강력한 도구가 됩니다. 데이터를 다룰 때는 '심슨의 역설'이나 '평균으로의 회귀'와 같은 통계적 함정을 주의해야 합니다. 겉으로 보이는 수치만으로는 제3의 요인을 놓쳐 잘못된 결론에 도달할 수 있기 때문입니다. 미세먼지 농도와 사망률의 관계를 분석할 때 계절적 요인을 고려해야 하듯, 데이터 과학은 단순한 숫자 계산이 아닌 맥락에 대한 깊은 이해를 필요로 합니다. 결국 데이터 과학은 컴퓨터 과학과 통계학, 그리고 각 분야의 전문 지식이 만나는 접점에서 완성됩니다. 데이터와 함께하는 통찰력이 우리 시대의 새로운 지혜가 될 것입니다.

[명강리뷰] 디지털인문학과 데이터과학 _ by장원철|2018 봄 카오스 강연 '모든 것의 수數다' 4강
카오스재단명강리뷰&질문Q

[강연] 디지털인문학과 데이터과학 (4) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강 | 4강 ④

통계학은 우리 삶의 안전을 지키는 실질적인 도구로 활용됩니다. 뉴욕시의 노후화된 전기 배선으로 인한 맨홀 뚜껑 폭발 사고를 예측하는 사례가 대표적입니다. 복잡한 배선에서 발생하는 가스로 인해 맨홀 뚜껑이 날아가는 위험한 상황을 방지하기 위해, 통계적 모델을 통해 위험도가 높은 지역을 미리 파악합니다. 이를 통해 사고가 발생하기 전 선제적으로 수리를 진행함으로써 인명 피해를 줄이는 데 성공했습니다. 이처럼 통계는 보이지 않는 위험을 수치화하여 도시의 안전 시스템을 구축하는 데 핵심적인 역할을 수행하고 있습니다. 역사적 사건과 인문학적 자료를 해석하는 데에도 통계학은 강력한 힘을 발휘합니다. 제2차 세계대전 당시 영국은 독일군 미사일의 낙하 지점을 통계적으로 분석하여 적의 기술 수준을 파악했습니다. 또한, 디지털 인문학 분야에서는 1800년대 샌프란시스코의 마구간 위치나 미국 전역의 우체국 개폐 데이터를 시각화하여 도시의 팽창과 인구 이동 경로를 추적합니다. 직접적인 기록이 부족한 과거의 사회적 변화를 우체국의 흥망성쇠라는 간접 지표를 통해 과학적으로 재구성해내는 과정은 통계학이 가진 인문학적 가치를 잘 보여줍니다. 통계학은 모든 학문의 도구로서 자연과학뿐만 아니라 인문학적 의문을 해결하는 데 기여합니다. 영국의 작가 제인 오스틴의 미완성 소설 '샌디턴'을 다른 작가가 완성했을 때, 문체 분석을 통해 원작자의 스타일을 얼마나 잘 재현했는지 검증하는 것이 가능합니다. 특정 단어의 사용 빈도나 문장 부호의 배치 패턴을 수치화하여 비교함으로써 주관적인 감상을 넘어 객관적인 데이터로 저자를 판별합니다. 이는 통계가 단순한 숫자 계산을 넘어 언어와 예술의 영역에서도 현상을 설명하고 이해하는 정교한 분석 도구로 쓰일 수 있음을 증명합니다. 첨단 과학의 발견과 범죄 수사 현장에서도 통계는 필수적입니다. 2016년 중력파 탐지 성공의 이면에는 '4시그마'라는 높은 통계적 신뢰도가 있었으며, 이는 이론적 가설을 확고한 사실로 입증하는 근거가 되었습니다. 또한, 지문 인식 기술은 손가락의 특징점인 '미뉴셔'의 위치와 각도를 비교하여 일치 확률을 계산하는 통계 모델링을 기반으로 합니다. 단순히 전문가의 직관에 의존하는 것이 아니라, 수집된 데이터를 바탕으로 불확실성을 측정하고 정확도를 수치로 제시함으로써 과학적 증거의 객관성을 담보하는 역할을 수행합니다. 법정에서 제시되는 DNA 증거의 신뢰성을 평가할 때도 통계적 사고가 중요합니다. 흔히 범인일 경우 DNA가 일치할 확률과 증거가 일치할 때 범인일 확률을 혼동하는 '검사의 오류'가 발생하곤 합니다. 이를 바로잡기 위해 베이즈 정리를 활용하여 실제 범인일 확률을 정교하게 계산해야 합니다. 또한, 여론조사에서 제공되는 신뢰 구간과 오차 범위는 데이터에 내재된 불확실성을 투명하게 공개하는 방식입니다. 이처럼 통계학은 완벽하지 않은 데이터 속에서 진실에 가까운 결론을 도출하고, 그 과정의 한계를 명확히 제시하는 정직한 학문입니다.

[강연] 디지털인문학과 데이터과학 (4) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강

임채영, 장원철

카오스재단카오스강연
  • 수학

[강연] 디지털인문학과 데이터과학 (3) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강 | 4강 ③

통계학은 단순히 숫자를 나열하는 학문이 아니라, 보이지 않는 존재를 예측하는 강력한 도구입니다. 영국의 곤충학자 알렉산더 코벳은 말레이시아에서 나비를 수집하며 아직 발견되지 않은 종의 수를 궁금해했습니다. 이를 해결하기 위해 통계학자 R.A. 피셔는 '미발견 종 문제' 모델을 고안했습니다. 흥미롭게도 이 모델은 문학 연구에도 적용됩니다. 1985년 발견된 시가 셰익스피어의 작품인지 판별할 때, 통계학은 작가가 평소 쓰지 않았던 새로운 단어가 얼마나 등장할지 예측함으로써 진위 여부를 판단하는 보완적 근거를 제시했습니다. 데이터를 해석할 때 전체 합계만 보는 것은 위험할 수 있는데, 이를 '심슨의 역설'이라고 부릅니다. 예를 들어 두 농구 선수의 2점슛과 3점슛 성공률을 각각 비교했을 때는 한 선수가 앞서더라도, 이를 합치면 결과가 뒤바뀌는 현상이 발생합니다. 이는 각 항목의 시도 횟수라는 가중치가 다르기 때문입니다. 과거 버클리 대학교의 입학 허가율을 두고 벌어진 성차별 논란도 이와 유사했습니다. 전공별로는 여학생의 합격률이 높았음에도, 전체 합계에서는 낮게 나타난 이유는 여학생들이 경쟁률이 훨씬 높은 학과에 주로 지원했기 때문이었습니다. 심슨의 역설은 일상적인 건강 데이터 분석에서도 중요한 시사점을 줍니다. 미세먼지 농도와 사망률의 관계를 단순 비교하면 농도가 높을 때 오히려 사망률이 낮아지는 기현상이 관찰되기도 합니다. 하지만 여기에 '계절'이라는 제3의 요인을 추가하여 분석하면 결론은 완전히 달라집니다. 봄이나 겨울처럼 미세먼지가 심한 계절 내에서는 농도가 높을수록 사망률이 명확하게 증가하는 경향을 보입니다. 이처럼 데이터 뒤에 숨겨진 변수를 고려하지 않으면, 미세먼지가 건강에 이롭다는 식의 잘못된 결론에 도달할 수 있으므로 주의가 필요합니다. 성적이 갑자기 오르거나 떨어지는 현상은 '평균으로의 회귀'라는 개념으로 설명할 수 있습니다. 키가 매우 큰 부모의 자녀가 부모보다는 조금 작고, 반대로 작은 부모의 자녀는 부모보다 조금 더 큰 경향이 있는 것과 같은 원리입니다. 이는 시험 성적에서도 나타나는데, 실력 이상의 운이 작용해 중간고사를 아주 잘 본 학생은 기말고사에서 자신의 원래 실력인 평균치로 돌아올 가능성이 큽니다. 반대로 운이 없어 성적이 낮았던 학생은 다음 시험에서 성적이 오를 확률이 높습니다. 이는 실력이 변한 것이 아니라 통계적인 확률 분포에 따른 자연스러운 현상입니다. 현대 통계학은 시공간 데이터 분석을 통해 더욱 정밀해지고 있습니다. 특정 위치와 시간에서 관측된 데이터를 바탕으로, 관측 장비가 없는 지역의 미세먼지 농도를 예측하는 '크리깅' 기법이 대표적입니다. 또한 통계학은 천문학에서 우주의 지도를 그리거나 인문학에서 텍스트를 분석하는 등 거의 모든 학문 분야의 '앞마당'에서 활약하고 있습니다. 데이터 과학은 통계학, 컴퓨터 과학, 그리고 해당 분야의 전문 지식이 만나는 접점에서 탄생합니다. 복잡한 현대 사회에서 데이터를 올바르게 읽어내는 능력은 세상을 이해하는 필수적인 열쇠가 되었습니다.

[강연] 디지털인문학과 데이터과학 (3) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강

장원철

카오스재단카오스강연
  • 수학

[강연] 디지털인문학과 데이터과학 (2) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강 | 4강 ②

예술과 문학의 진위를 가리거나 특징을 분석하는 방법으로 '양식 측정학'이 주목받고 있습니다. 이는 단어의 길이나 빈도, 색상의 사용 패턴 등을 정량적으로 분석하여 작품의 유사도나 작가의 고유한 스타일을 찾아내는 학문입니다. 19세기 토마스 멘덴홀이 단어 길이 빈도를 조사하며 시작된 이 분야는, 오늘날 구텐베르크 프로젝트와 같은 대규모 디지털 도서관의 등장으로 비약적인 발전을 이루었습니다. 이제 데이터는 단순한 기록을 넘어 과거의 진실을 밝히는 강력한 도구가 되었습니다. 우리나라의 대표적인 기록 유산인 조선왕조실록 역시 이러한 데이터 과학의 훌륭한 연구 대상입니다. 태조부터 철종까지 약 470년간의 방대한 기록은 현재 모두 디지털화되어 한글로 번역되어 있습니다. 연구자들은 텍스트 마이닝 기법을 활용해 왕들의 통치 스타일을 분석하기도 합니다. 예를 들어, 신하들의 의견을 경청했던 세종대왕과 독단적인 결정을 내렸던 연산군의 차이는 실록에 등장하는 특정 단어의 빈도 그래프를 통해 명확하게 드러납니다. 이는 역사가 주관적인 서술을 넘어 객관적인 수치로 재해석될 수 있음을 보여줍니다. 실록의 기사에는 수많은 인물이 등장하며, 한 기사에 함께 언급된 인물들은 서로 밀접한 관계가 있다고 볼 수 있습니다. 이를 바탕으로 인물 간의 네트워크를 재구성하면 당시의 정치적 지형도를 그릴 수 있습니다. 이는 현대의 국회의원들이 공동으로 법안을 발의하는 관계를 분석하는 것과 유사한 원리입니다. 네트워크 분석을 통해 우리는 단순히 기록에 남겨진 관계를 넘어, 보이지 않는 곳에서 영향력을 행사했던 숨은 실력자나 인물들 사이의 복잡한 연결 고리를 정량적으로 파악할 수 있게 되었습니다. 현종 시기의 예송 논쟁은 서인과 남인 사이의 치열한 정치적 갈등을 보여주는 대표적인 사례입니다. 네트워크 분석의 다양한 중심성 지표를 활용하면, 이 시기 권력의 흐름이 어떻게 변화했는지 추적할 수 있습니다. 특히 2차 예송 논쟁 전후로 집권 세력이 교체되는 과정에서 인물들의 연결 중심성이 급격히 변화하는 양상이 관찰됩니다. 이를 통해 특정 인물이 언제 당적을 변경했는지, 혹은 어떤 인물이 중립적인 위치에서 가교 역할을 했는지 등 문헌만으로는 파악하기 힘든 세밀한 정치적 변화를 포착할 수 있습니다. 이러한 정량적 분석 기법은 동양의 역사 기록뿐만 아니라 서양 문학 연구에도 활발히 적용됩니다. 셰익스피어의 작품 전집을 분석하여 그가 실제로 사용한 어휘의 규모를 추정하거나, 새로 발견된 작품이 그의 진작인지 판별하는 연구가 대표적입니다. 통계적 모델링을 통해 작가가 알고 있었으나 작품에 쓰지 않은 잠재적 어휘량까지 계산해내는 것입니다. 이처럼 데이터 과학과 인문학의 만남은 과거의 유산을 현대적인 시각으로 재조명하며, 우리가 미처 알지 못했던 역사의 이면을 밝혀내는 새로운 지평을 열어주고 있습니다.

[강연] 디지털인문학과 데이터과학 (2) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강

장원철

카오스재단카오스강연
  • 수학

[강연] 디지털인문학과 데이터과학 (1) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강 | 4강 ①

현대 사회는 그야말로 정보의 홍수 속에 살고 있습니다. 2003년까지 인류가 축적한 전체 데이터의 양이 이제는 단 이틀 만에 생성될 정도로 그 규모가 거대해졌습니다. 이러한 빅데이터 시대에 무엇보다 중요한 것은 단순히 데이터의 양이 아니라, 그 속에서 유용한 정보를 찾아내는 분석 능력입니다. 과거에는 정보가 부족해서 문제였다면, 이제는 너무 많은 정보 중에서 우리에게 진짜 필요한 가치를 추출하는 데이터 과학의 역할이 강조되고 있습니다. 이는 마치 거대한 원석에서 보석을 찾아내는 과정과도 같습니다. 통계학적 관점에서 데이터는 구조에 따라 크게 두 가지 형태로 나뉩니다. 수많은 고객의 소비 패턴을 분석하는 신용카드 데이터처럼 항목보다 관측치가 압도적으로 많은 '길쭉한 자료'가 그 첫 번째입니다. 반대로 유전자 분석처럼 대상은 적지만 분석해야 할 항목이 수만 개에 달하는 '뚱뚱한 자료', 즉 고차원 데이터가 존재합니다. 이러한 데이터의 구조적 차이를 명확히 이해하는 것은 현대 데이터 과학이 직면한 복잡한 문제들을 해결하는 출발점이자, 상황에 맞는 효율적인 분석 모델을 설계하는 데 있어 가장 핵심적인 기초가 됩니다. 빅데이터 분석의 가장 흥미로운 점 중 하나는 인과관계보다 연관성에 주목한다는 것입니다. 트위터에 올라오는 사람들의 기분 변화가 주가 흐름과 높은 상관관계를 보이거나, 검색어 빈도를 통해 독감 유행을 예측하는 사례가 대표적입니다. 물론 구글 독감 예측의 실패 사례처럼 데이터의 구조 변화나 알고리즘의 한계로 인해 오류가 발생하기도 합니다. 하지만 이러한 시행착오를 거쳐 모델을 보정하고 정교화하는 과정 자체가 데이터 과학이 더욱 정밀한 학문으로 발전해 나가는 중요한 동력이 되고 있습니다. 최근 '데이터 사이언티스트'는 21세기 가장 매력적인 직업으로 꼽히며 큰 주목을 받고 있습니다. 과거의 통계학자가 다소 딱딱하고 지루한 이미지로 인식되었다면, 데이터 사이언티스트는 방대한 자료 속에서 새로운 가치를 창출하는 창의적인 전문가로 받아들여집니다. 실제로 구글 트렌드 분석을 보면 통계학자라는 용어의 사용은 점차 줄어드는 반면, 데이터 사이언티스트에 대한 대중의 관심은 급증하고 있습니다. 이는 데이터 분석이 단순한 수치 계산을 넘어 사회 전반의 문제를 해결하는 핵심 도구로 자리 잡았음을 보여줍니다. 데이터 과학의 영역은 이제 숫자의 세계를 넘어 인문학의 영역까지 확장되고 있습니다. '디지털 인문학'은 구글 도서관 프로젝트처럼 방대한 문헌을 디지털화하여 정량적으로 분석하는 새로운 학문 분야입니다. 이를 통해 셰익스피어 작품의 진위 여부를 가리거나 이름 없는 연설문의 작성자를 추론하는 '양식 측정학' 연구가 가능해졌습니다. 숫자로 검증할 수 없을 것 같던 인문학적 가치들이 데이터를 만나면서, 우리는 인류의 문화적 유산을 더욱 객관적이고 다각적인 시각으로 바라볼 수 있는 새로운 창을 갖게 되었습니다.

[강연] 디지털인문학과 데이터과학 (1) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강

장원철

카오스재단카오스강연
  • 수학