식품연구 데이터 수집 플랫폼 및 데이터 검색
한국식품연구원은 국가 산업 발전과 국민 삶의 질 향상을 목적으로 식품 분야의 연구개발과 성과 확산을 수행하고 있습니다. 최근 연구 환경이 소스 코드 공개를 넘어 연구 과정의 데이터를 공유하는 오픈 사이언스로 변화함에 따라, 연구원에서도 데이터 플랫폼 구축 사업을 추진하고 있습니다. 식품 연구는 소재 분석, 미생물, 감각 인지 등 다양한 분야가 융합되어 있어 각 연구자가 보유한 정보를 체계적으로 관리하고 공유하는 것이 중요합니다. 이에 연구원 내외의 데이터를 통합하여 연구자들이 데이터 기반의 성과를 창출할 수 있는 인프라를 마련하고자 합니다. 플랫폼 구축에 있어 가장 큰 과제는 데이터의 다양성과 막대한 용량을 수용할 수 있는 인프라를 확보하는 것이었습니다. 식품 데이터는 대용량 미생물 데이터부터 엑셀 형태의 수치 데이터까지 형식과 크기가 천차만별입니다. 연구진은 민간 서비스 대신 대학이나 중소기업에서도 활용 가능한 오픈 소스 모델을 목표로, 하둡 분산 파일 시스템(HDFS)을 도입하여 약 1.8PB 규모의 저장소를 마련했습니다. 또한 서버 운영의 유연성을 위해 오픈스택 가상화 기술을 활용함으로써 연구 환경의 변화에 기민하게 대응할 수 있는 가상 머신 기반의 운영 체계를 구축하였습니다. 단순한 저장소 구축을 넘어 데이터의 가치를 높이기 위해 연구 데이터 관리 계획(DMP)을 적극적으로 운영하고 있습니다. 이는 데이터의 구성과 관리 방안을 담은 일종의 설명서로, 연구 과제 시작 전부터 데이터의 생성과 활용 계획을 수립하도록 돕습니다. 매년 발생하는 데이터를 표준화된 필드에 맞춰 수집하고, 연구자가 생성한 데이터를 기관에 기탁하는 체계를 마련하여 데이터 유실을 방지하고 있습니다. 특히 데이터 공개에 대한 연구자의 권리를 보호하면서도 메타데이터를 최대한 활용하여 공동 연구의 기회를 확대하는 데 주력하고 있습니다. 수집된 데이터의 신뢰성을 보장하기 위해 엄격한 품질 관리 프로세스를 가동하고 있습니다. 데이터 제출 시 양식의 성실도를 확인하는 단계와 데이터 위원회를 통한 내용 검증 단계를 거쳐 품질을 확보합니다. 생산된 데이터는 먼저 내부 인프라에 안전하게 저장되며, 이후 공개 시점이나 외부 요청에 따라 검토 과정을 거친 뒤 공개 데이터베이스로 이관됩니다. 만약 특허 출원과 같은 보안 사유가 발생할 경우에는 공개 범위를 제한할 수 있는 규정도 마련하여, 연구자의 자율성을 존중하면서도 연구 자산의 공동 활용을 극대화하는 균형을 맞추고 있습니다. 데이터의 활용도를 극대화하기 위해 인공지능 기반의 지능형 검색 기술 개발도 병행하고 있습니다. 전문적인 연구 데이터는 일반적인 키워드 검색만으로는 정확한 결과를 얻기 어렵기 때문에, 논문의 말뭉치를 활용한 검색 확장 모델을 구축 중입니다. 약 6,000건의 논문 초록을 기반으로 소재, 연구 방법, 결과 데이터를 태깅하여 딥러닝 모델을 학습시킴으로써 연구자가 원하는 정보를 정밀하게 찾을 수 있도록 지원합니다. 궁극적으로는 내부 데이터와 외부 데이터를 연계하여 분석 도구까지 제공하는 통합 연구 환경을 조성함으로써 식품 과학의 혁신을 이끌고자 합니다.
