基于Spark分布式框架的海量星表數(shù)據(jù)時(shí)序重構(gòu)方法研究

摘要： 時(shí)序重構(gòu)是時(shí)域天文學(xué)中的一個(gè)重要數(shù)據(jù)處理步驟，也是擬合光變曲線、開展時(shí)域分析研究的基礎(chǔ)。Hadoop、Spark這類MapReduce分布式模型在執(zhí)行過程中分布式集群節(jié)點(diǎn)間的任務(wù)比較獨(dú)立，需要跨節(jié)點(diǎn)的數(shù)據(jù)傳輸量較少。提出了非阻塞異步執(zhí)行流程，每個(gè)分布式進(jìn)程完全針對(duì)獨(dú)立天區(qū)的數(shù)據(jù)進(jìn)行連續(xù)處理，而分塊邊緣的新增天體導(dǎo)致的其他節(jié)點(diǎn)的新增證認(rèn)任務(wù)延時(shí)批量追加，并且會(huì)根據(jù)各進(jìn)程間的進(jìn)度不... （共16頁）