多数据中心架构下遥感云数据管理及产品生产关键技术研究

对地观测技术的发展,一方面造成了遥感数据体量的爆炸式增长,遥感产品种类、数量的不断增加,另一方面也为遥感数据的存储管理、数据处理及产品生产带来了巨大挑战,使得现有的数据存储管理及生产加工系统无法满足应用需求。对于遥感数据集成管理而言,海量、多源、异构的遥感数据不仅造成了在分布式数据集成标准统一、集成模式实现等方面的困难,而且使得现有的遥感数据组织存储与管理方式无法满足快速检索、高并发访问等服务需求;对于遥感数据处理及产品生产而言,海量、多源的遥感数据一方面造成了产品生产过程中多种近似数据源择优推荐选择问题,另一方面对于长时间序列、大区域范围的综合对地观测产品生产又可能存在着特定数据缺失、数据质量较差不可用的问题。此外,现有的遥感产品生产系统产品种类单一、生产流程固定,无法满足用户复杂多变的、个性化产品生产需求。因此,本研究借助云计算的海量数据存储、高性能计算、弹性扩展、按需服务等优点,对于多数据中心架构下的遥感云数据管理及产品生产中的关键技术分别展开研究:(1)针对遥感数据集成与管理问题,首先引入地理信息元数据标准建立分布式遥感元数据集成准则,实现多源遥感元数据统一格式转换;其次,对多源遥感影像数据建立基于空间区块的组织索引策略,提高多源遥感数据之间的空间关联性及对应元数据检索效率;再次,通过建立分布式元数据索引、热点元数据缓存、高并发访问控制机制等,实现海量遥感元数据的快速检索;最后,通过建立面向多用户的云端数据虚拟映射,实现多源遥感数据的共享与个性化定制。

(2)针对遥感数据处理及产品生产问题,首先通过建立多源遥感产品生产数据源推荐模型,为产品生产过程中的多源遥感数据择优选择提供理论依据;然后,通过对于遥感数据各级产品层级关系的梳理,构建遥感产品上下层级关系知识库、遥感产品依赖关系知识库等,组织遥感产品生产逻辑流程;最后,构建“主分式”多数据中心协同处理云计算环境,并基于科学工作流引擎动态生成多源遥感产品生产工作流,实现多源、海量遥感数据的在线处理及产品生产。开展上述研究的意义在于,首先,基于统一地理信息标准的多源遥感元数据格式转换,从分布式数据中心即屏蔽了多源、异构遥感数据的元数据差异,为多源、多中心的遥感数据集成提供了基础;其次,通过研究多源遥感数据组织模式,为遥感数据产品标识赋

予地学函义,提高了多源遥感数据之间的空间关联性;再次,通过分布式索引构建、分布式检索效率优化等研究,提高了多源、海量遥感数据检索及分发服务效率;同时,开展面向多用户的多源遥感数据云端虚拟映射与共享研究,为每个用户建立形式上独占的数据逻辑视图,既实现了不同用户的个性化需求又保持了云端数据存储的一致性,节省了数据存储空间;最后,开展多源遥感产品生产数据源推荐、遥感产品生产逻辑流程组织、多数据中心架构下的多源遥感产品生产等技术研究,可以提高遥感信息产品服务的科学性与自动化、智能化程度,为遥感信息的新型云端服务模式探索可行性技术。