양식측정학

3 Contents

[명강리뷰] 디지털인문학과 데이터과학 _ by장원철|2018 봄 카오스 강연 '모든 것의 수數다' 4강

현대 사회는 바야흐로 빅데이터의 시대입니다. 2003년까지 인류가 축적한 정보량이 이제는 단 이틀 만에 생성될 정도로 정보의 홍수 속에 살고 있습니다. 뉴욕 타임스 하루 치 기사가 17세기 성인 남성이 평생 소비한 정보량과 맞먹는다는 사실은 데이터의 폭발적 증가를 실감케 합니다. 이제 데이터는 21세기의 원유와 같으며, 수많은 정보 속에서 유용한 가치를 찾아내는 분석 능력이 무엇보다 중요해졌습니다. 단순히 양이 많은 것을 넘어, 이를 어떻게 해석하고 활용하느냐가 현대 과학의 핵심 과제로 떠오르고 있습니다. 빅데이터는 구조에 따라 크게 두 가지 형태로 나뉩니다. 첫 번째는 '길쭉한 자료'로 불리는 대용량 데이터입니다. 이는 신용카드 소비 패턴처럼 수백만 명의 고객 정보를 담고 있지만 분석 항목은 상대적으로 적은 형태를 말합니다. 반면 '뚱뚱한 자료'는 고차원 데이터를 의미하며, 유전자 발현 정보처럼 분석 대상은 적으나 변수가 수만 개에 달하는 비정형 데이터를 뜻합니다. 과거의 통계학으로는 분석하기 어려웠던 이러한 복잡한 데이터들은 기술의 발전을 통해 질병 예측이나 개인 맞춤형 서비스 등 다양한 분야에서 혁신을 일으키고 있습니다. 데이터 과학은 기존의 인과관계를 넘어 상관관계와 연관성 분석에 주목합니다. 예를 들어 트위터에 올라오는 사람들의 기분 변화와 주가 변동 사이의 상관관계를 분석하여 예측 모델을 만드는 식입니다. 비록 명확한 원인을 설명하기 어려울 때도 있지만, 방대한 데이터를 통해 유의미한 패턴을 찾아내는 능력은 데이터 과학자를 21세기 가장 매력적인 직업으로 만들었습니다. 통계학이 다소 딱딱하고 이론적인 학문으로 인식되었다면, 데이터 과학은 실생활의 복잡한 문제들을 유연하고 흥미롭게 풀어내는 실천적인 학문으로 자리 잡고 있습니다. 이러한 데이터 분석 기법은 인문학 영역과 결합하여 '디지털 인문학'이라는 새로운 분야를 개척했습니다. 양식 측정학을 통해 셰익스피어 작품의 진위 여부를 가려내거나, 조선왕조실록에 텍스트 마이닝 기법을 활용해 역대 왕들의 통치 스타일을 정량적으로 파악하는 것이 가능해졌습니다. 예를 들어 세종대왕은 신하들의 의견을 경청하는 스타일이었음이 데이터로 증명되며, 연산군은 독단적인 결정을 내리는 경향이 뚜렷하게 나타납니다. 이는 숫자가 감히 침범할 수 없다고 여겨졌던 인문학적 통찰을 보완하고 확장하는 강력한 도구가 됩니다. 데이터를 다룰 때는 '심슨의 역설'이나 '평균으로의 회귀'와 같은 통계적 함정을 주의해야 합니다. 겉으로 보이는 수치만으로는 제3의 요인을 놓쳐 잘못된 결론에 도달할 수 있기 때문입니다. 미세먼지 농도와 사망률의 관계를 분석할 때 계절적 요인을 고려해야 하듯, 데이터 과학은 단순한 숫자 계산이 아닌 맥락에 대한 깊은 이해를 필요로 합니다. 결국 데이터 과학은 컴퓨터 과학과 통계학, 그리고 각 분야의 전문 지식이 만나는 접점에서 완성됩니다. 데이터와 함께하는 통찰력이 우리 시대의 새로운 지혜가 될 것입니다.

[명강리뷰] 디지털인문학과 데이터과학 _ by장원철|2018 봄 카오스 강연 '모든 것의 수數다' 4강
카오스재단명강리뷰&질문Q

[강연] 디지털인문학과 데이터과학 (2) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강 | 4강 ②

예술과 문학의 진위를 가리거나 특징을 분석하는 방법으로 '양식 측정학'이 주목받고 있습니다. 이는 단어의 길이나 빈도, 색상의 사용 패턴 등을 정량적으로 분석하여 작품의 유사도나 작가의 고유한 스타일을 찾아내는 학문입니다. 19세기 토마스 멘덴홀이 단어 길이 빈도를 조사하며 시작된 이 분야는, 오늘날 구텐베르크 프로젝트와 같은 대규모 디지털 도서관의 등장으로 비약적인 발전을 이루었습니다. 이제 데이터는 단순한 기록을 넘어 과거의 진실을 밝히는 강력한 도구가 되었습니다. 우리나라의 대표적인 기록 유산인 조선왕조실록 역시 이러한 데이터 과학의 훌륭한 연구 대상입니다. 태조부터 철종까지 약 470년간의 방대한 기록은 현재 모두 디지털화되어 한글로 번역되어 있습니다. 연구자들은 텍스트 마이닝 기법을 활용해 왕들의 통치 스타일을 분석하기도 합니다. 예를 들어, 신하들의 의견을 경청했던 세종대왕과 독단적인 결정을 내렸던 연산군의 차이는 실록에 등장하는 특정 단어의 빈도 그래프를 통해 명확하게 드러납니다. 이는 역사가 주관적인 서술을 넘어 객관적인 수치로 재해석될 수 있음을 보여줍니다. 실록의 기사에는 수많은 인물이 등장하며, 한 기사에 함께 언급된 인물들은 서로 밀접한 관계가 있다고 볼 수 있습니다. 이를 바탕으로 인물 간의 네트워크를 재구성하면 당시의 정치적 지형도를 그릴 수 있습니다. 이는 현대의 국회의원들이 공동으로 법안을 발의하는 관계를 분석하는 것과 유사한 원리입니다. 네트워크 분석을 통해 우리는 단순히 기록에 남겨진 관계를 넘어, 보이지 않는 곳에서 영향력을 행사했던 숨은 실력자나 인물들 사이의 복잡한 연결 고리를 정량적으로 파악할 수 있게 되었습니다. 현종 시기의 예송 논쟁은 서인과 남인 사이의 치열한 정치적 갈등을 보여주는 대표적인 사례입니다. 네트워크 분석의 다양한 중심성 지표를 활용하면, 이 시기 권력의 흐름이 어떻게 변화했는지 추적할 수 있습니다. 특히 2차 예송 논쟁 전후로 집권 세력이 교체되는 과정에서 인물들의 연결 중심성이 급격히 변화하는 양상이 관찰됩니다. 이를 통해 특정 인물이 언제 당적을 변경했는지, 혹은 어떤 인물이 중립적인 위치에서 가교 역할을 했는지 등 문헌만으로는 파악하기 힘든 세밀한 정치적 변화를 포착할 수 있습니다. 이러한 정량적 분석 기법은 동양의 역사 기록뿐만 아니라 서양 문학 연구에도 활발히 적용됩니다. 셰익스피어의 작품 전집을 분석하여 그가 실제로 사용한 어휘의 규모를 추정하거나, 새로 발견된 작품이 그의 진작인지 판별하는 연구가 대표적입니다. 통계적 모델링을 통해 작가가 알고 있었으나 작품에 쓰지 않은 잠재적 어휘량까지 계산해내는 것입니다. 이처럼 데이터 과학과 인문학의 만남은 과거의 유산을 현대적인 시각으로 재조명하며, 우리가 미처 알지 못했던 역사의 이면을 밝혀내는 새로운 지평을 열어주고 있습니다.

[강연] 디지털인문학과 데이터과학 (2) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강

장원철

카오스재단카오스강연
  • 수학

[강연] 디지털인문학과 데이터과학 (1) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강 | 4강 ①

현대 사회는 그야말로 정보의 홍수 속에 살고 있습니다. 2003년까지 인류가 축적한 전체 데이터의 양이 이제는 단 이틀 만에 생성될 정도로 그 규모가 거대해졌습니다. 이러한 빅데이터 시대에 무엇보다 중요한 것은 단순히 데이터의 양이 아니라, 그 속에서 유용한 정보를 찾아내는 분석 능력입니다. 과거에는 정보가 부족해서 문제였다면, 이제는 너무 많은 정보 중에서 우리에게 진짜 필요한 가치를 추출하는 데이터 과학의 역할이 강조되고 있습니다. 이는 마치 거대한 원석에서 보석을 찾아내는 과정과도 같습니다. 통계학적 관점에서 데이터는 구조에 따라 크게 두 가지 형태로 나뉩니다. 수많은 고객의 소비 패턴을 분석하는 신용카드 데이터처럼 항목보다 관측치가 압도적으로 많은 '길쭉한 자료'가 그 첫 번째입니다. 반대로 유전자 분석처럼 대상은 적지만 분석해야 할 항목이 수만 개에 달하는 '뚱뚱한 자료', 즉 고차원 데이터가 존재합니다. 이러한 데이터의 구조적 차이를 명확히 이해하는 것은 현대 데이터 과학이 직면한 복잡한 문제들을 해결하는 출발점이자, 상황에 맞는 효율적인 분석 모델을 설계하는 데 있어 가장 핵심적인 기초가 됩니다. 빅데이터 분석의 가장 흥미로운 점 중 하나는 인과관계보다 연관성에 주목한다는 것입니다. 트위터에 올라오는 사람들의 기분 변화가 주가 흐름과 높은 상관관계를 보이거나, 검색어 빈도를 통해 독감 유행을 예측하는 사례가 대표적입니다. 물론 구글 독감 예측의 실패 사례처럼 데이터의 구조 변화나 알고리즘의 한계로 인해 오류가 발생하기도 합니다. 하지만 이러한 시행착오를 거쳐 모델을 보정하고 정교화하는 과정 자체가 데이터 과학이 더욱 정밀한 학문으로 발전해 나가는 중요한 동력이 되고 있습니다. 최근 '데이터 사이언티스트'는 21세기 가장 매력적인 직업으로 꼽히며 큰 주목을 받고 있습니다. 과거의 통계학자가 다소 딱딱하고 지루한 이미지로 인식되었다면, 데이터 사이언티스트는 방대한 자료 속에서 새로운 가치를 창출하는 창의적인 전문가로 받아들여집니다. 실제로 구글 트렌드 분석을 보면 통계학자라는 용어의 사용은 점차 줄어드는 반면, 데이터 사이언티스트에 대한 대중의 관심은 급증하고 있습니다. 이는 데이터 분석이 단순한 수치 계산을 넘어 사회 전반의 문제를 해결하는 핵심 도구로 자리 잡았음을 보여줍니다. 데이터 과학의 영역은 이제 숫자의 세계를 넘어 인문학의 영역까지 확장되고 있습니다. '디지털 인문학'은 구글 도서관 프로젝트처럼 방대한 문헌을 디지털화하여 정량적으로 분석하는 새로운 학문 분야입니다. 이를 통해 셰익스피어 작품의 진위 여부를 가리거나 이름 없는 연설문의 작성자를 추론하는 '양식 측정학' 연구가 가능해졌습니다. 숫자로 검증할 수 없을 것 같던 인문학적 가치들이 데이터를 만나면서, 우리는 인류의 문화적 유산을 더욱 객관적이고 다각적인 시각으로 바라볼 수 있는 새로운 창을 갖게 되었습니다.

[강연] 디지털인문학과 데이터과학 (1) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강

장원철

카오스재단카오스강연
  • 수학