基于HEALPix的海量天文数据球面可视化研究开题报告概要

北京工业大学研究生开题报告基于HEALPix的海量天文数据球面可视化研究报告人：XXXX导师：XXXX副教授学号：XXXXXXX北京工业大学研究生开题报告课题的研究背景和意义相关技术研究进展课题研究概述进度安排及预期结果北京工业大学研究生开题报告1.课题的研究背景和意义•从20世纪90年代开始，天文学经历了革命性的变化。这一变化是由前所未有的技术进步所推动的，即望远镜的设计和制造技术、大尺寸探测器阵列的设计和制造技术、高性能计算技术和互联网技术。如同在计算机工业中反映计算能力随时间指数增长的摩尔定律一样，在过去几十年中这些技术进步使得天文学的数据收集能力也遵循着摩尔定律。北京工业大学研究生开题报告1.课题的研究背景和意义欧空局2012年发射盖亚探测器，将会测量将近10亿颗恒星的位置坐标美国1990年发射的哈勃空间望远镜（HST）每天大约产生5GB的数据我国建造的大天区面积多目标光纤光谱望远镜（LAMOST）每天产生3GB的数据美国建造的大口径综合巡天望远镜（LSST）每天的观测数据预计将达到18TB的量级北京工业大学研究生开题报告1.课题的研究背景和意义•随着众多先进的地面与空间天文设备的投入使用，特别是大规模CCD探测器的使用，使得观测数据量急速增长。如何从如此快速增长着的巨量数据中提取有价值的信息并进行可视化从而使研究人员能够直观地观察数据，将不可避免地面临越来越复杂的数据量缩小、科学提取、数据的快速加载和高效交互性的技术难题。北京工业大学研究生开题报告1.课题的研究背景和意义•除了巨大的数据量以外，我们我们还面临着其它一些问题，如：用来存储天文数据的FITS文件的文件格式非常灵活，文件头中WCS关键字内容多种多样；投影平面到球面的坐标转换算法多样化；而且我国很多天文台都有自己一套存储格式。虽然能够利用相关工具进行数据共享，数据分析及可视化，但还是会导致很多细节上存在问题，比如坐标之间的转换，用ds9打开的FITS文件中所显示的某一颗星的坐标，再用Aladin打开将会产生比较大的偏差。因此，这也是本课题所要研究并解决的问题之一。北京工业大学研究生开题报告北京工业大学研究生开题报告1.课题的研究背景和意义•HEALPix技术及以其理论为基础的HiPS技术能有效的解决前述问题。HEALPix以球面谐波理论及球形几何学为基础，可以利用简单的几何框架及谐波分解理论将覆盖在球面或者说天球的海量数据进行分层递归划分网格，以减小数据量，同时对网格进行编码，建立索引将数据合理分布及快速分析。其中的分层技术类似于数据库中的四叉树状结构，提高了人机交互的能力。近几年来随着对HEALPix技术的不断研究，以其理论为基础的HiPS技术慢慢发展起来。它是一种新型的层次数据的可视化技术，对离散网格以图块（tile）的方式进行管理，将感兴趣的大型数据集进行归档，实现数据的快速访问、加载，最终实现多分辨率海量数据分层可视化。北京工业大学研究生开题报告2.相关技术研究进展世界坐标系统WCSHEALPix技术HiPS分层渐进巡天技术•坐标转换•球面网格划分、编码、索引•分层、归档、多分辨率可视化海量天文数据球面可视化北京工业大学研究生开题报告2.1世界坐标系统WCS天文数据的存储主要是FITS图像或星表，如何从FITS文件中的元数据获取关键字信息，并利用相关算法将图像的像素坐标转换为实际坐标，再将实际像素坐标转换为球面坐标，是我们进行可视化的基础。左图为像素坐标到实际坐标的转换关系。北京工业大学研究生开题报告2.1世界坐标系统WCS球面坐标系在天文学中有多种，如赤道坐标系，银道坐标系，黄道坐标系，本地坐标系等等，而且从平面到球面的坐标转换也存在不同的投影方式，如TAN表示Gnomonic投影，SIN表示orthographic投影等，如何利用FITS文件的关键字信息对其进行平面到球面的坐标转换是关键问题。如左图北京工业大学研究生开题报告2.2HEALPix技术面对动辄上T、上P量级的数据规模，如何对分布在天球上的数据进行分析、编码、整合从而保证在短时间内高效的实现可视化的技术一直以来都是国内外天文领域的研究热点。解决这样的问题首先要满足球面几何划分所要达到的三个条件：1、数据的分层构建。2、球面的网格分区元素面积相等。3、球面网格分区元素的同纬度分布。北京工业大学研究生开题报告2.2HEALPix技术面对动辄上T、上P量级的数据规模，如何对分布在天球上的数据进行分析、编码、整合从而保证在短时间内高效的实现可视化的技术一直以来都是国内外天文领域的研究热点。解决这样的问题首先要满足球面几何划分所要达到的三个条件：1、数据的分层构建。2、球面的网格分区元素面积相等。3、球面网格分区元素的同纬度分布。北京工业大学研究生开题报告HEALPix的球面网格划分示意图北京工业大学研究生开题报告在相同条件下，HEALPix比其他常用模型具有显著的存储优势，有利于数据的快速分析，编码等。北京工业大学研究生开题报告2.2HEALPix技术随着HEALPix技术的广泛应用，从最初单纯的数值分析，到海量数据的存储、访问，尤其是对数据库的交叉索引方面有很大研究利用价值，再到目前对海量数据可视化方面的应用也越来越被重视，利用HEALPix为理论基础的很多技术及应用发展迅速，例如对球面全景图像拼接技术的应用，全球地形可视化技术的应用，由法国斯特拉斯堡数据中心开发的数据整合工具Aladin，可以互动地可视化天空任何一部分图像等等，都是基于HEALPix。北京工业大学研究生开题报告北京工业大学研究生开题报告HiPS技术是一种新型的可以处理海量数据的分层可视化技术，是基于HEALPix发展而来，它是由法国斯特拉斯堡数据中心开发的，主要对大数据量，高分辨率的天文图像，星表等数据格式进行多分辨率分层可视化。它将球面离散网格用图块的形式进行组织管理，将映射到这些图块的图片像素利用双线性插值算法或最近邻域算法等进行递归分层，根据分层级数的不同形成多分辨率图像，并与之前的HEALPix对球面进行的分层结构利用编码建立联系，并最终构建树状结构文档。2.3HiPS——分层渐进巡天技术北京工业大学研究生开题报告北京工业大学研究生开题报告北京工业大学研究生开题报告2015年10月，国际虚拟天文台联盟决定对HiPS进行标准化，初步的HiPS标准格式及注意事项可以在IVOA的网站上进行查询。目前已经有多个天文机构对此项新兴技术进行研究包括CDS、CNES、NASA、ESAC、JAXA等，而且利用自己所获取的数据或相互之间的共享数据来生成全天的宇宙星图。CDS利用天文图像及星表的数据所生成的宇宙星空，可以对其进行旋转，缩进等操作，具有很高的互操作性。2.3HiPS——分层渐进巡天技术北京工业大学研究生开题报告北京工业大学研究生开题报告拟解决的关键问题课题研究内容可行性分析和创新点课题研究方案3.课题研究概述课题研究目标北京工业大学研究生开题报告目前很多天文机构，例如CDS，NASA等都已经生成了基于其所获取的巨量数据集的HIPS文件并实现了可视化，但对于我国目前存在种种问题，如望远镜所获数据的精度不准确，FITS文件格式的灵活性太高等等，并没基于自己天文大数据的宇宙星空，这也是本课题的主要目标。3.1课题研究目标北京工业大学研究生开题报告(1)FITS文件数据提取，根据FITS文件头提供的关键字等信息利用WCS对数据进行投影平面坐标到球面坐标的相互转换。(4)用C++结合相关函数库编写程序。(2)HEALPix技术如何对天球进行网格分区，如何对分区元素进行编码、索引，如何对网格进行分层，如何对大数据进行快速的数值分析等。（3）HiPS技术如何通过分层结构显示多分辨率星空，如何构建像素文档结构，如何通过编码，索引快速访问，加载数据。3.2课题研究内容北京工业大学研究生开题报告（1）FITS文件数据提取及数据坐标转；（2）基于HEALPix球面离散网格划分，编码索引及分层；（3）如何生成HiPS文件；（4）程序的编写、调试、优化。3.3拟解决关键问题北京工业大学研究生开题报告2利用HEALPix原理对天球进行网格划分，编码，由于FITS文件中的记录了数据的天球坐标，利用这一点将编码数字与二维坐标建立联系达到降维的效果以降低数据量，建立分层模型，为之后HiPS的像素分层做好铺垫。1对FITS文件数据提取，根据FITS头文件的相关信息利用WCS对数据进行坐标转换，其中的天球坐标用银道坐标系，平面到球面的投影算法用TAN，如果FITS中存在其他类型都向前述两种转换。这是本课题最终所做软件系统的基础之一。3.4可行性分析和创新点3.4课题研究方案北京工业大学研究生开题报告3将分布于球面的像素集合进行递归分层，原理类似于数字图像处理中的SIFT算子的金字塔模型，对像素建立索引，最终生成树状像素结构文档。4编写程序实现上述步骤，对程序进行优化整合，最终能生成HiPS。3.4课题研究方案北京工业大学研究生开题报告国家天文台提供的SCUSS、LAMOST等相关巡天项目的海量天文数据集。(a)3.5可行性分析和创新点HEALPix理论的支持，HiPS技术的逐渐成熟及其标准化，WCS、HEALPix的相关类库。已有的天文数据可视化工具等。(b)在程序编写方面，本人已对相关计算机技术，数据可视化技术，数字图像处理以及对编程语言JAVA、C++、Python进行学习。(c)北京工业大学研究生开题报告对FITS文件中WCS关键字进行读取并统一坐标转换的格式，获得精确的位置坐标；利用HIPS技术建立基于我国天文大数据集的首个渐进分层多分辨率的宇宙星空。研究成果将集成到中国虚拟天文台平台，为全球用户提供服务。这项工作将填补国内空白，是第一次尝试将国内天文观测的海量图像数据用HiPS的模式实现交互式、球幕式显示。3.5可行性分析和创新点北京工业大学研究生开题报告编写FITS文件的读取及WCS的坐标转换算法，实现投影平面到球面的精确位置坐标。深入了解HEALPix如何球面网格划分，分层，编码及索引，并进行编程实践。完成调研和文献检索，总结现有理论和技术成果，设计总体研究方案了解HiPS是如何生成分层多分辨率可视化及构建树状结构像素文档过程的步骤，并通过编写程序来实现这一步骤。2015.11-2015.122016.01-2016.032016.04-2016.094.进度安排及预期结果2016.10-2017.03将程序进行优化整合，发表论文，申请软件著作权。2016.10-2017.03完善论文，准备毕业答辩北京工业大学研究生开题报告恳请各位老师同学提出建议和意见谢谢大家！