비정형데이터

2 Contents

[질문Q] 구글신도 남신과 여신이 있을까?? | 2017 가을 카오스 강연 '미래과학' 1강 | 구글 신은 아직도 모든 것을 알고 있다?

우리가 인터넷을 사용할 때 남기는 흔적은 생각보다 정교하게 기록됩니다. 단순히 글을 쓰거나 좋아요를 누르는 행위뿐만 아니라, 화면을 내리다 멈추는 지점이나 특정 제목을 읽는 시간까지도 모두 데이터가 됩니다. 이러한 정보들은 알고리즘을 통해 분석되어 개인화된 서비스를 제공하는 기초가 됩니다. 누군가 우리를 직접 감시하는 것은 아니지만, 시스템은 끊임없이 우리의 행동을 관찰하며 취향을 파악하고 있습니다. 이는 현대 사회에서 데이터가 어떻게 수집되고 활용되는지를 보여주는 중요한 단면입니다. 과거의 통계학이 정형화된 데이터를 다루는 데 집중했다면, 현대의 데이터 과학은 비정형 데이터를 분석하는 데 주력하고 있습니다. 1990년대 후반부터 시작된 이러한 변화는 빅데이터 시대를 열었으며, 통계학자의 역할 또한 데이터 과학자라는 이름으로 새롭게 정의되고 있습니다. 단순히 데이터의 양이 많은 것이 중요한 것이 아니라, 기존의 방식으로는 풀 수 없었던 복잡한 정보들을 어떻게 해석하느냐가 핵심입니다. 이러한 변화에 발맞추어 학계와 산업계 모두 새로운 분석 기법을 도입하며 사회적 요구에 적응하고 있습니다. 데이터 분석에서 기술적인 능력만큼 중요한 것은 해당 분야에 대한 전문성, 즉 도메인 지식입니다. 컴퓨터 프로그램을 통해 데이터를 처리할 수는 있지만, 그 결과에서 진정한 가치를 뽑아내고 해석하는 것은 결국 전문가의 몫입니다. 예를 들어 미술 작품이나 역사적 문헌을 분석할 때, 데이터 기법만으로는 맥락을 완전히 이해하기 어렵습니다. 따라서 데이터 과학자는 통계나 프로그래밍 지식뿐만 아니라, 자신이 다루는 데이터가 속한 분야에 대한 깊은 이해를 갖추어야만 오류를 줄이고 유의미한 통찰을 얻을 수 있습니다. 알고리즘에 의한 추천 서비스는 편리함을 제공하지만, 동시에 사회적 다양성을 해칠 위험도 내포하고 있습니다. 사용자의 취향에 완벽하게 맞춘 정보만 제공되다 보면, 사람들은 점차 비슷한 생각과 취향을 공유하게 되어 사회 전체의 다양성이 사라질 수 있습니다. 가끔은 의도하지 않은 우연한 발견이나 취향에 맞지 않는 경험이 새로운 영감을 주기도 합니다. 따라서 추천 시스템이 주는 안락함에만 의존하기보다는, 알고리즘이 만들어낸 틀 밖의 세상을 보려는 경계심을 가지는 태도가 현대인에게 필요합니다. 데이터 분석의 정확도는 단순히 표본의 크기에만 좌우되지 않습니다. 2천 명 정도의 표본으로도 충분히 예측이 가능하지만, 더 중요한 것은 그 표본이 전체 집단을 얼마나 잘 대표하느냐 하는 문제입니다. 과거 선거 여론조사에서 발생했던 오차들은 대개 표본 추출 과정에서의 편향 때문이었습니다. 유선 전화와 무선 전화의 비율을 어떻게 설정하느냐와 같은 세세한 보정 작업이 결과의 성패를 가릅니다. 결국 데이터 과학의 핵심은 숫자의 크기가 아니라, 현실을 왜곡 없이 반영할 수 있는 정교한 설계와 분석 노하우에 있습니다.

[질문Q] 구글신도 남신과 여신이 있을까??  | 2017 가을 카오스 강연 '미래과학' 1강  | 구글 신은 아직도 모든 것을 알고 있다?
카오스재단명강리뷰&질문Q

[코로나 인터뷰] 장원철_ 코로나19는 새로운 형태로 전파되고 있어서...

과거에는 데이터를 단순히 수치로 표현되는 결과물로만 한정하여 생각하곤 했습니다. 하지만 현대 데이터 과학의 영역은 이를 넘어 이미지나 사물과 같은 비정형 데이터까지 폭넓게 포괄하고 있습니다. 한국인의 평균적인 얼굴형을 분석하거나 특정 집단의 대표적인 특성을 도출하는 과정 모두가 이제는 데이터의 영역에 들어온 것입니다. 이처럼 예전에는 미처 인식하지 못했던 다양한 형태의 정보들을 분류하고, 그 안에서 유의미한 대푯값을 찾아내어 공유하는 것이 데이터 과학이 수행해야 할 핵심적인 임무라고 할 수 있습니다. 데이터 과학은 코로나19와 같은 팬데믹 상황에서 그 진가를 발휘합니다. 감염병의 2차 유행 시점을 예측하거나 바이러스의 전파력을 분석하는 일은 모두 정교한 데이터 기반 연구를 통해 이루어집니다. 특히 실시간 치사율을 계산하거나 사회적 거리두기가 실제 방역에 미치는 효과를 측정하는 작업은 매우 실용적인 가치를 지닙니다. 치료 중인 환자 수와 사망자 수의 변화 추이를 데이터로 추적함으로써, 우리는 막연한 공포에서 벗어나 객관적인 지표를 바탕으로 현재의 위기 상황을 진단하고 대응 전략을 수립할 수 있게 됩니다. 전 세계 국가들이 각기 다른 방역 정책을 시행함에 따라, 역설적으로 연구자들에게는 사회적 개입의 효과를 비교 분석할 수 있는 방대한 데이터가 축적되었습니다. 각국 자치단체별로 다르게 나타나는 데이터들은 사회적 거리두기와 같은 변수들이 실제 감염 확산에 어떤 영향을 주는지 파악할 수 있는 흥미로운 기초 자료가 됩니다. 이러한 데이터들을 면밀히 분석한다면 각 정책이 지닌 실질적인 영향력을 정밀하게 측정할 수 있으며, 이는 향후 더욱 효율적인 방역 전략을 수립하는 데 있어 매우 중요한 근거가 될 것입니다. 방역 당국이 매일 업데이트하는 확진자와 검사자 수 등은 매우 방대한 가치를 지닌 자산입니다. 그러나 연구자의 관점에서는 이러한 자료들이 일목요연하게 정리되어 공개되지 않는 점에 대해 아쉬움이 남기도 합니다. 데이터가 일반 연구자들에게 보다 체계적이고 투명하게 공유되었다면, K-방역의 성과를 넘어 과학 기술 분야에서도 더욱 혁신적인 연구 결과들이 쏟아져 나왔을 것입니다. 전 세계적으로 흩어져 있는 다양한 형태의 데이터를 하나로 모으고 정제하는 과정은 향후 발생할 수 있는 또 다른 위기에 대비하기 위해서라도 반드시 선행되어야 할 과제입니다. 데이터는 정책의 효율성을 국민에게 설득력 있게 전달하는 강력한 도구가 됩니다. 사회적 거리두기와 같은 정책이 왜 필요한지, 그리고 그것이 얼마나 실질적인 효과를 거두고 있는지를 데이터를 통해 증명할 때 비로소 대중의 자발적인 호응을 얻을 수 있기 때문입니다. 또한 코로나19가 초래한 사회적 파급력은 단순히 의학적 차원을 넘어 개인정보 보호와 사회 정책 전반에 걸쳐 있습니다. 따라서 통계학뿐만 아니라 다양한 학문적 배경을 가진 전문가들이 협력하는 융합적인 시각이 필요하며, 이러한 다학제적 연구팀의 노력이 복합적인 사회 문제를 해결하는 열쇠가 될 것입니다.

[코로나 인터뷰] 장원철_ 코로나19는 새로운 형태로 전파되고 있어서...

장원철

카오스재단코로나19 과학토크
  • 생명과학
  • 융합