| 평방km배열을 가진 거대 전파망원경의 데이터처리 | ||
|
||
 최근, 세계에서 가장 큰 천문학 국제협력 프로젝트인 “제곱킬로미터(km2) 배열 거대 전파망원경(Square Kilometre Array，이하SKA）”이 중국 중점 발전 거대과학 공정에 선정되었다. SKA가 이러한 과학성과를 이루는데 있어서의 핵심은 과학적 데이터 처리 능력이다. 일반적인 데이터 처리 해결 방안은 I/O 병렬화로 데이터 읽기 속도를 높이는 것이다. 하지만 SKA에서 생성하는 빅데이터를 놓고 말하면 대규모의 병렬 저장 기본 I/O 기술은 SKA 과학 데이터 국제 협력팀에서 시급히 해결해야 할 주요 핵심 기술 문제이다. 중국과학원 원사 우샹핑(武向平)의 지도아래 중국과학원 상하이(上海) 천문대 연구원 안타오(安涛)가 이끄는 SKA과학 데이터 처리 연구팀과 호주 국제 전파천문학 연구센터(ICRAR) 교수 Andreas Wicenec 가 이끄는 연구팀은 협력하여 ADIOS 기반의 병렬Casacore Table Data System (CTDS)를 개발하였다. 공동연구팀은 Adios Storage Manager (AdiosStMan) 데이터 저장 관리 시스템 개발을 미들웨어로 하여 천문 데이터 처리 소프트웨어와 병렬화 I/O 연결을 구현하였다. 기존의 전파 천문 데이터 처리 시스템에 비하여 AdiosStMan은 기본 데이터 에서 새로운I/O 병렬 메커니즘을 사용하여 높은 처리량의 빅데이터 엑세스를 구현하였다. 이로써 SKA 과학 데이터 프로세서 원형 개발에서 부딪친 I/O 문제를 해결하였고 또한 기존 전파 천문 데이터 처리 시스템이 SKA 데이터 처리 파이프 라인 시스템에서의 2차 개발 문제점을 해결하여 SKA 대규모 병렬 저장 기본 I/O 기술의 개발에 필요한 경험을 제공하였다. 이번의 협력 연구에서 상하이천문대에서 AdiosStMan 후기의 업그레이드 임무를 맡았으며 이번의 업그레이드에서 제일 큰 변화는 최대 Writable Casa 데이터량을 TB급으로 올린데 있다. 현재 이미 새로운 버전을 완수하였으며 호주 Pawsey 고성능 컴퓨팅센터의 Magnus 슈퍼 컴퓨터에서 기능 테스트를 진행하였다. 이번 테스트에서Writable Casa 데이터시트의 규모는 324GB(그 중에서 싱글 노드의 메모리는 128GB)이고 기존 하드웨어 플랫폼에서 100Gb/s 수량급의 데이터 기록을 구현하였다. 해당 업그레이드 버전은 반복적인 오픈 ADIOS 파일 방법을 사용하여 기존 버전에서 물리적 메모리 공간에 의뢰하는 문제를 해결하였고 또한 오랫동안 겪고 있던 대규모 데이터 병렬 판독/기록의 어려운 문제를 해결하여 AdiosStMan으로 하여금 개념 검증 단계에서 실제 프로토 타입 단계로 진입하게 하였으며 해당 기술에서 중국은 국제 선진 수준에 도달하였다. 공동 연구팀의 청년 과학자 라오바오창(劳保强)과 왕뤄난(王若楠)은 이번 업그레이드 버전을 GitHub의 SKA 과학 데이터 처리 공유 플랫폼에 발표하여 국제적인 관심을 받고 있다. 정보출처 : http://news.sciencenet.cn/htmlnews/2016/4/343823.shtm |
SEARCH
- 정책동향
- 이슈리포트
- 통계DB
- 통계DB