데이터수집

5 Contents

[ETRI 기술적 대화] 나에게 자율주행은 '우리'다!

자율주행 기술은 단순히 차량을 스스로 움직이게 하는 것을 넘어, 인간의 운전 수준에 도달하기 위한 끊임없는 노력을 요구합니다. 한국전자통신연구원(ETRI)의 연구진은 주로 영상 데이터를 활용하여 주변 상황을 지능적으로 이해하고, 운전자에게 실질적인 도움을 줄 수 있는 인식 기술을 연구하고 있습니다. 특히 운전자가 주행에 집중하지 않는 상황에서도 인공지능이 이를 인지하여 부드러운 감속이나 출발을 지원함으로써, 사용자가 더욱 편안하고 안전하게 이동할 수 있는 휴먼-머신 인터랙션 환경을 구축하는 것이 이 연구의 핵심적인 목표입니다. 자율주행의 상용화를 위해서는 엄격한 기준의 자율주행 임시운행허가를 취득하는 과정이 필수적입니다. 연구팀은 국내 자율주행 연구 초기에 이미 두 대의 차량에 대해 임시운행허가를 획득하며 독보적인 기술력을 입증하였으며, 지금까지 단 한 건의 사고 없는 주행을 이어오고 있습니다. 연구진은 일상적인 주행 데이터뿐만 아니라 공사 현장과 같은 특수한 돌발 상황의 데이터를 수집하기 위해 수년째 블랙박스 영상 데이터를 정밀 분석하며 귀중한 연구 자산을 쌓아가고 있습니다. 이는 인공지능의 인식 기술을 고도화하여 실제 도로 위에서의 신뢰성을 높이는 중요한 밑거름이 됩니다. 현재 개발된 기술은 실험실에만 머물지 않고 실제 일반 도로 위를 매일 주행하며 실시간으로 성능을 검증받고 있습니다. 연구의 진정한 성과는 고정된 결과물이 아니라, 팀원들의 협력을 통해 기술이 끊임없이 업데이트되고 더 나은 방향으로 진화해 나가는 과정 그 자체에 있습니다. 연구진은 자신들의 핵심 기술이 다양한 기업에 이전되어, 유망한 스타트업들이 글로벌 시장에서 경쟁력을 갖춘 서비스를 제공할 수 있도록 돕는 플랫폼 역할을 자처합니다. 이를 통해 기술적 완성도를 높이는 동시에 국내 자율주행 산업 생태계 전반의 성장을 견인하고자 하는 의지를 보여줍니다. 기술 개발의 궁극적인 지향점은 그 혜택이 모든 사람에게 고르게 돌아가는 보편적 모빌리티를 실현하는 것입니다. 기존의 교통 시스템에서 소외되었던 계층까지 아우를 수 있도록 특수 목적의 자율주행 솔루션을 보급하고 관련 기업들을 지원하는 데 주력하고 있습니다. 대한민국에서 자율주행을 연구하는 모든 이들이 자부심을 느낄 수 있는 환경을 조성하고, 국민들이 일상에서 안전하고 편리하게 이 기술을 누리는 미래를 꿈꿉니다. 이는 단순한 공학적 성취를 넘어 사회적 문제를 해결하고 인간의 삶의 질을 근본적으로 향상하려는 과학 기술인의 사명감과도 맞닿아 있습니다. 오랜 시간 함께 연구하며 삶의 궤적을 공유해 온 연구진에게 자율주행은 직업적 영역을 넘어 인생 그 자체와 깊이 연결되어 있습니다. 동료이자 인생의 파트너로서 서로의 열정을 지지하고 북돋워 주는 관계는 연구의 깊이를 더해주는 가장 든든한 버팀목이 됩니다. 각자의 위치에서 최선을 다하면서도 '우리'라는 가치 아래 함께 성장해 나가는 모습은 자율주행 기술이 지향해야 할 인간 중심의 협력적 가치를 상징적으로 보여줍니다. 기술이 결국 사람을 향하듯, 이들의 연구 또한 신뢰와 애정을 바탕으로 더욱 따뜻하고 지능적인 미래 사회를 향해 한 걸음씩 나아가고 있습니다.

[ETRI 기술적 대화] 나에게 자율주행은 '우리'다!
한국전자통신연구원ETRI 기술적 대화
  • 융합
  • 공학·기술

[MAGIK 랜선투어] KMapper와 함께 야외조사 현장으로~ GO! GO!

한국지질자원연구원(KIGAM)에서 개발한 'KMapper'는 지질조사를 포함한 다양한 야외 조사 분야에서 혁신적인 변화를 이끌고 있는 모바일 지질조사 시스템입니다. 이 시스템은 스마트 기기를 활용하여 야외 조사의 데이터를 효율적으로 수집하고 관리할 수 있도록 설계되었습니다. 특히 통신이 원활하지 않은 오프라인 환경에서도 디지털 지도를 기반으로 조사 데이터를 정확하게 입력할 수 있다는 점이 큰 특징입니다. 기존의 종이 지도와 아날로그 방식에서 벗어나 디지털 기술을 현장에 직접 구현함으로써, 자연과학 연구의 핵심인 기초 데이터 수집 과정을 한층 더 체계적이고 전문적으로 만들어 줍니다. KMapper의 실제 활용 과정은 사전 조사와 계획 수립 단계부터 시작됩니다. 조사에 필요한 항목들을 미리 체크하고 현장으로 이동하는 동안에는 실시간 GPS 기능을 통해 이동 경로를 정확히 파악할 수 있습니다. 목적지에 도착하면 본격적인 야외 조사가 시작되며, 스마트 기기에 내장된 센서를 활용해 지질 구조나 암석의 특성을 정밀하게 측정합니다. 또한 모바일 환경에 최적화된 지도 편집 기능을 제공하여 수집된 데이터를 현장에서 즉석으로 기록할 수 있습니다. 이러한 과정을 통해 얻어진 방대한 데이터는 조사 후 정밀한 데이터 해석과 지질도 작성을 위한 핵심적인 근거 데이터가 됩니다. 야외 조사 작업은 높은 수준의 디지털 기술력이 요구되는 분야이며, 한국지질자원연구원은 이를 위해 오랜 기간 기술 개발에 매진해 왔습니다. KMapper는 기능적인 완성도와 실용적인 측면 모두에서 세계적인 선도 위치에 있으며, 향후 지구과학 분야의 비약적인 발전에 크게 공헌할 것으로 기대됩니다. 한국지질자원연구원은 앞으로도 현장의 목소리를 반영한 혁신적인 디지털 기술 개발을 지속하여, 지구 환경 변화에 대응하고 자원을 효율적으로 관리하는 데 필요한 핵심 기반을 구축하고자 합니다. 이러한 기술적 진보는 단순한 편의성 증대를 넘어 자연과학 데이터의 품질을 한 단계 끌어올리는 중요한 전환점이 될 것입니다.

[MAGIK 랜선투어] KMapper와 함께 야외조사 현장으로~ GO! GO!
한국지질자원연구원KIGAM iN 과학사전
  • 지구환경과학
  • 공학·기술

나도 일상 속의 과학자가 될 수 있다!😏 누구나, 직접 참여할 수 있는 💚시민과학 프로젝트💚ㅣ2023 미래 과학 트렌드 출간기념 강연

과학 교육은 오랫동안 엘리트 중심의 분위기와 우월감이 강조되는 경향이 있었습니다. 많은 이들이 과학을 전공하거나 영재로 불리며, 과학고나 영재고 진학을 목표로 삼는 경우가 많았지요. 그러나 실제로 과학을 좋아하게 된 계기나, 과학을 어떻게 하면 더 많은 사람들이 즐길 수 있을지에 대한 고민은 쉽게 접하기 어렵습니다. 과학이란 과연 누구의 것일까요? 전공자나 박사 학위를 가진 사람만이 과학을 할 수 있는 것인지, 아니면 일상 속에서도 과학적 태도와 창의성을 발휘하는 이들이 과학자일 수 있는지에 대한 질문이 자연스럽게 떠오릅니다. 이러한 고민은 과학이 학교나 연구실을 벗어나 사회 전반에 어떻게 스며들 수 있는지에 대한 관심으로 이어집니다. 최근에는 과학자들이 대중매체나 유튜브 등 다양한 채널을 통해 대중과 소통하는 일이 많아졌습니다. 하지만 여전히 과학은 일반인에게는 다소 멀게 느껴질 수 있습니다. 일상에서 만난 작은 가게의 주인이나 해변에서 유리 조각을 모으는 이들, 혹은 자연을 관찰하며 기록하는 시민들 역시 과학적 실천을 하고 있다는 점에서, 과학은 특정 집단의 전유물이 아님을 알 수 있습니다. 이처럼 과학은 지식의 축적뿐 아니라 실천과 경험을 통해 누구나 참여할 수 있는 활동임을 보여줍니다. 시민과학의 사례는 우리 주변에서 쉽게 찾아볼 수 있습니다. 예를 들어, 해운대에서 비치코밍을 하거나, 서산에서 조류를 관찰하고 기록하는 자원봉사자들의 활동이 그렇습니다. 이들은 단순히 자연을 관찰하는 데 그치지 않고, 오랜 시간에 걸쳐 자료를 축적하며 지역사회에 기여하고 있습니다. 또한, 네이처링과 같은 온라인 플랫폼을 통해 생물다양성 모니터링에 참여하거나, 수원시의 기후변화체험 교육관 등에서 다양한 시민참여 프로그램이 운영되고 있습니다. 이러한 활동들은 시민들이 자발적으로 지식을 생산하고, 그 결과가 정책이나 제도 마련에도 영향을 미칠 수 있음을 보여줍니다. 시민과학은 단순한 자료 수집을 넘어, 과학적 탐구와 실천의 다양한 형태로 발전하고 있습니다. 과학자와 시민의 역할에 따라 기여형, 협력형, 공동창작형 등 여러 유형으로 구분할 수 있으며, 참여의 정도와 목적에 따라 다양한 방식으로 이루어집니다. 예를 들어, 일부 프로젝트는 시민이 자료 수집에만 참여하는 반면, 다른 프로젝트에서는 문제 인식부터 해결까지 전 과정을 시민과 과학자가 함께 수행하기도 합니다. 이러한 시민과학의 확장은 과학이 사회와 더욱 밀접하게 연결되고, 시민이 과학의 수혜자에서 적극적인 참여자로 변화하는 흐름을 반영합니다. 과학을 한다는 것은 단순히 이론을 배우는 것이 아니라, 실제로 탐구하고 실천하는 과정입니다. 과학적 실천은 관찰, 측정, 추리, 의사소통 등 다양한 탐구 방법을 포함합니다. 일상에서 꽃이나 새, 고양이 등을 관찰하거나, 간단한 실험을 통해 데이터를 수집하는 것 역시 과학적 활동의 한 부분입니다. 이러한 경험은 과학을 더욱 친근하게 만들고, 누구나 과학적 사고와 탐구에 참여할 수 있는 기회를 제공합니다. 시민과학의 활성화는 과학의 문턱을 낮추고, 더 많은 이들이 과학의 즐거움과 의미를 발견할 수 있도록 돕습니다.

나도 일상 속의 과학자가 될 수 있다!😏 누구나, 직접 참여할 수 있는 💚시민과학 프로젝트💚ㅣ2023 미래 과학 트렌드 출간기념 강연
국립과천과학관책📖저자강연
  • 생명과학
  • 지구환경과학
  • 융합

BeeAI 공모전 교육 영상(02) - 데이터 수집적재하기(41~49p)

데이터 분석 및 시각화 시스템(BI) 개발의 첫 번째 관문은 바로 데이터의 수집과 적재입니다. 이번 과정에서는 웹 툴킷을 활용하여 스트림 데이터를 배치 저장소에 안전하게 저장하는 실습을 진행합니다. 특히 실시간으로 발생하는 데이터를 효율적으로 처리하기 위해 미니 배치 엔진과 Spark Streaming 기술이 핵심적인 역할을 수행합니다. 사용자는 압축된 모델 파일이나 데이터셋을 레지스트리에 등록하여 엔진 동작 시 활용하게 되며, 이는 전체 분석 시스템의 기초가 됩니다. 구체적인 예제로 HTTP 서버 리더를 통해 수신한 데이터를 MongoDB에 저장하는 과정을 살펴봅니다. 특정 포트를 통해 들어오는 스트림 데이터는 Spark Streaming 컨트롤러에 의해 처리되며, 설정된 주기마다 엔진이 깨어나 적재 작업을 수행합니다. 여기서 미니 배치 방식은 데이터를 일정 간격으로 나누어 처리함으로써 시스템의 부하를 줄이고 데이터의 정합성을 유지하는 데 기여합니다. 이는 대규모 트래픽이 발생하는 환경에서 시스템 안정성을 확보하는 중요한 기법입니다. 실습 환경에서는 실제 센서 데이터 대신 시뮬레이터 엔진을 활용하여 스트림 데이터를 발생시킵니다. 시뮬레이터는 저장된 텍스트 파일을 한 줄씩 읽어 지정된 포트로 전송하며, 실제 운영 환경에서 데이터가 지속적으로 유입되는 상황을 정밀하게 모사합니다. 이를 통해 사용자는 데이터가 리더를 거쳐 적재기까지 흐르는 전체적인 데이터 파이프라인의 흐름을 직관적으로 이해할 수 있습니다. 또한, 운영 화면에서 각 엔진의 상태를 모니터링하며 실시간 전송 과정을 제어하는 역량을 기를 수 있습니다. 원활한 실습 진행을 위해서는 네트워크 설정이 필수적입니다. 리눅스나 윈도우 환경에서 hosts 파일을 수정하여 할당받은 IP와 마스터 노드, 프록시 서버의 이름을 연결해 주는 작업이 선행되어야 합니다. 이는 시스템 내부의 모듈들이 서로를 올바르게 인식하고 데이터를 주고받기 위한 통신 경로를 확보하는 필수 과정입니다. 관리자 권한으로 파일을 열어 설정값을 정확히 입력해야만 엔진 간의 상호작용이 문제없이 이루어지며, 통신 장애로 인한 데이터 누락을 방지할 수 있습니다. 데이터가 정상적으로 적재되고 있는지 확인하기 위해 결과 검증기(Result Validator)라는 워크플로우를 사용합니다. 이 엔진은 저장소에 쌓인 데이터를 읽어 파일로 출력하며, 실시간 적재 여부에 따라 출력 파일의 크기가 점진적으로 증가하게 됩니다. 단순히 데이터가 쌓이는 것뿐만 아니라, 예상한 경로에 올바른 형식으로 데이터가 기록되는지를 수시로 점검하는 과정은 데이터 품질 관리 측면에서 매우 중요합니다. 실습자는 이를 통해 엔진이 정상적으로 작동하고 있음을 육안으로 확인할 수 있습니다. 외부 플랫폼과의 연동 실습으로는 IoT 엣지 컴퓨팅 플랫폼인 EdgeX를 활용합니다. EdgeX는 다양한 IoT 기기에서 발생하는 데이터를 통합 관리하는 오픈 소스 프로젝트로, BI 시스템과는 MQTT 프로토콜을 통해 데이터를 주고받습니다. 사용자는 EdgeX MQTT 리더를 등록하여 플랫폼에서 발생하는 JSON 형식의 스트림 데이터를 수신하게 됩니다. 이 과정은 이기종 시스템 간의 데이터 통합을 구현하는 실무적인 기술로, 다양한 산업 현장에서 폭넓게 활용되는 연동 방식입니다. 수신된 EdgeX 데이터는 포맷 변환 연산자를 통해 정제 과정을 거칩니다. JSON 형태로 들어온 복잡한 구조의 데이터는 분석에 용이한 데이터프레임이나 CSV 형식으로 변환되어 HDFS 등에 최종적으로 저장됩니다. 이러한 과정은 미니 배치 엔진에 의해 주기적으로 실행되며, 데이터의 추가 모드를 활용하여 지속적으로 유입되는 정보를 유실 없이 기록함으로써 실시간 데이터 파이프라인을 완성하게 됩니다. 실습을 마친 후에는 실행 중인 스트림 엔진을 종료하여 리소스를 관리하는 것도 중요합니다.

BeeAI 공모전 교육 영상(02) - 데이터 수집적재하기(41~49p)
한국전자통신연구원ETRI 클래스
  • 융합
  • 공학·기술

BeeAI 활용 교육 영상(02) - [1단계] 데이터 수집 및 적재하기

BeeAI 개발 프로세스의 첫 번째 단계는 데이터의 수집 및 적재입니다. 이를 위해 준비된 'http_to_mongodb' 워크플로는 스트림 데이터를 받아 배치 형태의 저장소에 적재하는 과정을 실습하기에 적합합니다. 이 워크플로의 핵심 구성 요소인 HTTP 서버 리더는 특정 포트를 열어 외부에서 유입되는 데이터를 실시간으로 받아들일 준비를 합니다. 사용자는 로컬호스트의 53001번 포트를 통해 데이터를 수송하며, 이렇게 수집된 정보는 MongoDB 라이터를 거쳐 지정된 컬렉션에 체계적으로 저장됩니다. 이 과정은 데이터 연산 처리 전, 소스로부터 정보를 안전하게 확보하는 기초적인 단계를 잘 보여줍니다. 적재된 데이터가 실제로 저장소에 잘 들어갔는지 확인하는 과정은 개발의 신뢰성을 높여줍니다. MongoDB에 접속하기 위해서는 터미널에서 Docker 환경 내부로 진입한 후 명령어를 사용해야 합니다. 'use examples' 명령어로 해당 데이터베이스를 선택하고, 'show collections'를 통해 생성된 컬렉션을 확인한 뒤 'find' 명령어를 입력하면 저장된 JSON 형태의 데이터를 직접 조회할 수 있습니다. 쉘 스크립트를 이용해 보낸 데이터가 현재 시간 정보와 함께 MongoDB의 특정 컬렉션에 정확히 쌓여있는 것을 확인하는 것은 스트림 데이터를 배치 형태로 전환하여 관리하는 기술의 핵심을 이해하는 데 큰 도움을 줍니다. 다음 단계는 스트림 데이터를 수집하여 다시 스트림 형태의 저장소인 Kafka에 적재하는 실습입니다. 이 과정에서는 'Stream to Stream' 엔진이 사용되며, 리더는 이전과 동일한 HTTP 서버 리더를 사용하지만 라이터는 Kafka 라이터로 변경됩니다. Kafka를 활용하기 위해서는 부트스트랩 서버, ZooKeeper 커넥트, 그룹 ID, 그리고 토픽 ID와 같은 필수 속성들을 정확히 설정해야 합니다. 토픽은 스트림 데이터가 쌓이는 일종의 큐 역할을 수행하며, 데이터를 처리할 때 해당 토픽에서 정보를 주기적으로 읽어오는 방식으로 동작합니다. 이는 대규모 분산 환경에서 실시간 데이터를 관리하고 저장하는 현대적인 데이터 처리 방식을 보여줍니다. 스트림 처리 외에도 기존에 저장된 대용량 파일을 다른 저장소로 한 번에 옮기는 배치 대 배치 적재 실습도 중요합니다. 'CSV_to_MongoDB' 워크플로는 로컬 저장소에 저장된 CSV 파일을 읽어 MongoDB에 적재하는 과정을 보여줍니다. 여기서는 파일 리더가 사용되며, 파일 경로 속성에 지정된 데이터를 한꺼번에 읽어들입니다. 이 실습에서는 배치 더미 엔진과 컨트롤러를 활용하여 데이터 처리가 완료되면 자동으로 작업 상태가 'Finished'로 변경되는 과정을 관찰할 수 있습니다. 수많은 행을 가진 데이터 세트가 파일 시스템에서 데이터베이스로 순식간에 이동하는 과정은 정형 데이터를 다루는 배치 처리의 효율성을 증명합니다. 이처럼 BeeAI는 다양한 소스로부터 데이터를 수집하고 이를 목적에 맞는 다양한 데스티네이션에 적재할 수 있는 유연한 기능을 제공합니다. 스트림 데이터를 배치 저장소에 저장하거나, 스트림 데이터 그대로 Kafka와 같은 메시지 큐에 전달하고, 대용량 파일을 데이터베이스로 마이그레이션하는 모든 과정이 워크플로 기반으로 직관적으로 수행됩니다. 리더와 라이터, 그리고 이를 제어하는 러너와 컨트롤러의 조합을 통해 사용자는 복잡한 코딩 없이도 데이터 파이프라인의 기초를 구축할 수 있습니다. 이러한 수집 및 적재 기술은 이후 단계에서 진행될 정교한 데이터 분석과 처리를 위한 든든한 밑바탕이 됩니다.

BeeAI 활용 교육 영상(02) - [1단계] 데이터 수집 및 적재하기
한국전자통신연구원ETRI 클래스
  • 공학·기술