面向轻量级高性能遥感图像处理的运行管理优化

论文价格:150元/篇 论文用途:硕士毕业论文 Master Thesis 编辑:硕博论文网 点击次数:
论文字数:33596 论文编号:sb2022042411043546466 日期:2022-05-09 来源:硕博论文网

本文是一篇软件工程论文,本文通过引入地理信息元数据标准对多源遥感元数据建立一个统一的文件格式标准,文件模板为 XML 格式,遥感元数据信息通过以键值对的方式描述,然后将多源遥感元数据信息集中存储到这个文件中,保证数据的统一性。使得遥感数据在处理过程中,不需要对不同类型的数据进行额外的转换,保证了数据处理的效率。并将这些元数据信息统一存储到数据库中,为用户提供遥感数据检索服务基础。
第 1 章  绪论
1.1  研究背景及意义
随着遥感卫星技术的快速发展,越来越多的国家都掌握了发射遥感卫星的技术[1]。这些卫星种类繁多有陆地卫星、气象卫星等,他们的功能也各不相同,基于不同的功能,所以他们的波段也不同,主要涵盖区包括红外线和可见光等[2]。卫星可以一天多时段的对地面进行观测,这为科研人员提供了更加详细全面的数据,以便科研人员更好的对地面的各种情况进行研究[3]。科研人员想通过卫星观测到的数据反演出地表物理量或解译出地物内容,还需要从卫星拍摄到的原始数据经过一系列的加工,如数据预处理、信息提取与分析理解等,直至专题产品的生产[4]。
如今市面上常用的遥感数据处理软件大致归为两类,有 ERDAS、PCI、ENVI、ArcGIS 等商业桌面软件以及像素工厂、OpenRS-Cloud、遥感集市、PIPS、GEOSS等集群系统[5]。商业软件运行在 Windows 桌面环境下,用户易于上手,功能相对完善和稳定。但是,由于商业软件面向的是单一用户,其算法陈旧、操作方法各异、参数设置复杂而且在设计上没有考虑支持持续、并发、全自动的高性能数据处理需求,普通用户无法使用这类软件来快速批量处理[6]。另一方面,基于集群的高性能集群环境在计算能力上具有较为明显的优势,但是局限性也比较大,体现在集群管理复杂、成本偏高、集群迁移困难及算法设计等方面。如像素工厂是基于特定的集群计算环境,并与硬件进行绑定,出售给用户,不具有可移植性。其面向的也都是专业的遥感处理算法研究人员,算法开发和平台部署的难度使得非研究人员难以上手[7]。而且大部分时间里集群的负载只有峰值负载的 10%到50%,CPU 的平均利用率不超过 40%,浪费了大量计算资源。另外,高性能计算集群要求有高效的消息传递机制和海量数据存储访问能力,需要构建高速通信的网络架构,这需要购置特殊的通信模块,如 Infiniband 架构网络,其价格过于昂贵,使得集群成本非常高[8]。
.............................
1.2  国内外研究现状
一、遥感数据存储管理现状
总体而言,遥感数据存储管理方法可以分为三种类型:数据库管理方法,基于在文件之上的文件管理方法以及在文件和数据为基础上进行的混合式的管理方法[13]。
(1)  在数据库的基础之上进行的管理方式,主要利用现有的商业或开源数据库,用于数据安全管理、多用户共享、存储管理和数据传输[14],并采用一直被提倡的大对象数据存储方式,并在空间上使用各种树来进行对遥感数据的检索,可以采用树的类型包括 R 树,R+树等等类型诸多[15]。
以不同的根据可以将数据库管理方式进行多种类的划分,此处以数据库模型为例,对数据库管理方法进行分类,其主要有以下几种方式:一是纯关系型,二是对象关系型,最后一种是非关系型[16]。
a)  纯关系数据库的管理方式
从本质是上来说,这种方式是一种存储技术,不过这种存储技术可以支持比较大的类型的对象,也可以说是,采用了一种比较繁杂的数据来对相对来说简单一点的数据进行存储。纯关系型管理方式在生活中应用比较广泛,在地图服务行业有着很好的发展前景[17]。核心关系型的数据库就要在 SQL 技术的基础之上来进行建立,它的任务还要包括让各组件之间进行自发的进行配置并且还不能让负载压力过大,要保持好平衡。目前来说,作为世界上最大的地图集之一,TS(Terra   Server 的简称),主要就是通过 Inter 网来提高地图上的各种地形等的分辨率的,每个图像都会以固定的格式进行存储,并且在存储后还要对其命名格式进行统一。纯关系型方式,让数据变得更加完整,数据之间的一致性也大大提高了,降低了在开发系统的时候的困难程度。但是这并不表示这种管理方式就没有弊端了,这种方式在处理没有结构化的数据的时候就力不从心了,在空间上进行操作的能力不好,而且用户在进行系统开发的时候也会受到数据库管理系统管理功能的限制。
...........................
第 2 章  基于元数据的多源遥感数据管理
2.1 RSGID 数据对象设计
RSGID 数据对象中主要包括遥感图像数据对象的空间元数据文件和波段图像数据,根据建立的统一地理信息语法库,将多源遥感元数据进行统一的格式转换,并将遥感元数据信息统一组织到元数据文件中,元数据文件中记录整个RSGID 对象相关信息以及各个波段数据的信息。并将图像数据按波段划分为多个波段图像数据,将这些波段图像数据与元数据文件放在同一个文件目录中,以此对多源遥感数据进行统一管理。RSGID 数据对象结构如图 2.1 所示。

软件工程论文怎么写
软件工程论文怎么写

元数据文件中组织了遥感数据对象的公共空间信息和波段空间数据对象信息,遥感图像的各个波段信息组织在波段数据对象中。元数据文件中的遥感信息是以 XML 的形式组织的,由于 XML 在各种程序中都能够很方便的进行读写,也很容易将 XML 数据加载到程序中来进行分析[44]。
............................
2.2  遥感元数据模型的建立
遥感数据处理中存在多种影像数据格式,对这些数据需进行读取和处理,但由于文件格式的不同,需要针对这些不同的数据格式做不同的处理,加大了数据处理的难度,因此有必要定义统一的内部文件格式,在数据进行计算分析时保证数据的统一性[45]。
元数据实际上的主要作用描述数据,经由其能够把数据包含的具体信息组织为某类结构化状态的数据,其一般使用在数据库的存储方面,可以很好的完成数据方面的管理以及检索[46]。另外该数据一般情况下还会作为其遥感影像数据的具体描述资料,其详细的记录了遥感数据中包含的标识以及具体来源等等重要参数的实际资料情况[47]。
ISO 19115 为国际的标准化组织在 2003 年出台的相关条例,其关键作用是定义相关的详细元数据模式,可以很好的提供有关地理位置具体资料以及服务的标识等等信息[48]。另外 ISO 19115-2 代表条例的另一个方面,主要是提供对遥感数据波段进行具体描述等等相关具体资料。另外,ISO 19115-2:2009 早就被集成于仓库 CMR 区域范围处,是国际地理信息组织、数据交换等方面的具体标准条例。
本文以 ISO 19115-2:2009 地理元数据为基础进行了相对应的参考,将其和元数据管理方面的具体需求进行相应的结合[49],由此就能够成功构建处于统一状态下的标准格式,使用 XML 记录字段来描述元数据。将 XML 文件中的信息分为 RSGID 级和 band 级,两者分别包括的内容如下。并依照标准描述 RSGID 级和 band 级中参数的详细字段。
........................
第 3 章  基于工作流与作业调度的遥感数据处理 ............................ 19
3.1  基于 OSWorkflow 生产流程定制 ................... 19
3.1.1 OSWorkflow 介绍 ............................... 19
3.1.2 OSWorkflow 工作流的业务流程定制 ........................... 20
第 4 章  基于云存储的遥感数据订阅与共享 ........................... 33
4.1  相关技术介绍 ........................................... 33
4.1.1 Openlayers3 ............................... 33
4.1.2 OpenStack-Swift .................................... 34 
第 5 章  遥感数据处理功能测试与验证 ....................... 41
5.1  遥感数据处理功能展示 .................................... 41
5.2  遥感数据订阅共享展示 .............................. 49
5.3  遥感数据处理实验 .......................................... 51 
第 5 章 遥感数据处理功能测试与验证
5.1  遥感数据处理功能展示
(1)  主控菜单
系统主控菜单为系统运行后的主界面,主菜单涵盖了系统的所有功能调用,是系统在最少窗体状态下所必须存在的窗体。关闭主菜单栏,则关闭此系统。
主菜单分为常设菜单栏和动态菜单两种。其中,文件、管理、帮助是常设菜单,无论与后台是否连接成功,均会出现。动态加载菜单则动态从后台获取,动态加载,全部为业务图像处理功能,每一个动态菜单的最后一层都对应一个工作流。动态菜单中有一项“管理”菜单项,提供给用户增加自己定制的遥感图像处理。用户主菜单如图 5.1 所示。

软件工程论文参考
软件工程论文参考

...........................
第 6 章  总结与展望
6.1  总结
本文针对当前遥感数据处理软件的不足之处,对遥感图像处理进行管理优化。首先对海量多源异构的遥感数据进行统一的组织管理,建立一个统一的元数据模板,将不同种类的遥感数据信息提取到元数据模板并对其存储管理。统一的元数据避免了在数据处理过程中进行数据转换,从而影响到遥感数据处理的效率。并且在此基础上,通过引入工作流与作业调度系统,实现遥感产品自动化的生产并实现计算资源的充分利用,进一步保证遥感数据处理的效率。同时在统一元数据模型后,为元数据建立索引,为用户实现遥感数据的检索功能,并结合云平台技术,设计专属用户的云盘来实现遥感数据的共享,用户可将检索到的数据存入云盘并且能与其他用户进行共享,避免了“数据孤岛”现象,使得遥感数据能够得到充分的利用,促进遥感事业的发展。整个优化管理过程系统性的实现了数据归档、数据处理以及数据共享,并通过使用小型工作站平台部署,能够更方便快捷的使得众多用户快速投身于遥感产品生产之中。
本文主要研究工作和成果包括: 
(1)  通过引入地理信息元数据标准对多源遥感元数据建立一个统一的文件格式标准,文件模板为 XML 格式,遥感元数据信息通过以键值对的方式描述,然后将多源遥感元数据信息集中存储到这个文件中,保证数据的统一性。使得遥感数据在处理过程中,不需要对不同类型的数据进行额外的转换,保证了数据处理的效率。并将这些元数据信息统一存储到数据库中,为用户提供遥感数据检索服务基础。
(2)  通过引入 OSWorkflow 工作流以及 OpenPBS 作业调度系统,在遥感数据进行统一管理的基础上,遥感数据处理可以对多源遥感数据进行数据生产。用户通过注册算法模块以及注册并配置自己所需的数据生产业务流程信息,不需再通过修改代码的方式去操作数据处理的流程,可以直接通过修改工作流的对应的配置文件实现遥感数据的生产流程,也可实现对算法的参数进行添加修改,使得遥感数据处理具有良好的扩展性。将工作流管理与作业调度系统应用到遥感数据处理的业务流程管理及资源分配,实现用户对遥感数据处理的高效率需求。
参考文献(略)


QQ 1429724474 电话 18964107217