FME工具帮助集成多源基础地理数据

当前,随着以5G、云计算、大数据、边缘计算、物联网为代表的新技术快速发展,人工智能技术也因深度神经网络的成功而取得了长足的进步; 随着我国行政体制改革和自然资源管理体系的建立,地理信息产业已纳入自然资源管理体系。 面对新的社会需求、新的技术进步和新的管理制度要求,迫切需要根据国家政策、社会生产需求、技术发展趋势和发展趋势,完善地理信息产业的工程技术、商业模式和产品类型。产业发展规律。 转型升级和融合创新工作将进一步提升地理信息产业发展质量和水平。

 

以时空大数据为例。

时空大数据是指基于统一时空基准活动、或存在于时间和空间中、与位置直接或间接相关的大数据。 相应地,时空大数据由两大类数据组成:时空帧数据和时空变化数据。 建立以时空大数据为核心的时空大数据平台。 作为数据中台,整合地方政府部门各行业政务、自然资源、规划、交通、水利、管网、人口、经济、人文、社会、医疗、教育等数据。 电力、公共安全等数据汇聚在通用时空大数据平台上,使其成为新型智慧城市的“智能大脑”。

FME作为一种有效的数据处理工具,是时空大数据领域以及涉及数据汇聚和集成的各种过程中最简洁、易用的数据处理方法之一。 能够最大限度地发挥其数据处理优势,保证处理的效率、数据结果的准确性、更新的自动灵活性。

主要应用于以下几个方面:

1 快速数据清理

汇聚地方政府各部门、行业数据,快速识别“不良数据”,规范数据结构、命名和属性信息表达,清理冗余敏感信息,保证数据时效性等。

地理基础知识手册_基础地理_地理基础知识/

自动处理模型——清理和组织数据

基础地理_地理基础知识手册_地理基础知识/

快速分类空间数据

基础地理_地理基础知识手册_地理基础知识/

快速组织和整合数据格式

2 快速数据转换

按照数据聚合标准组织数据,建立数据转换的自动化处理工具,解决图形错误、内容冲突等数据质量问题,保证数据转换结果的准确性。

(1) 快速数据空间化

数据需要直观展示,否则需要进行数据空间化处理,提供自动化处理模型,保证数据空间化的快速实现。 建立空间化数据结果的数据检查机制,验证数据结果的正确性。

地理基础知识手册_地理基础知识_基础地理/

地名地址或数据已有坐标空间化数据

基础地理_地理基础知识_地理基础知识手册/

空间处理后

(2)快速图属性信息融合

利用图形空间关系来组织数据属性,将已有的空间数据字段与空间数据对应的属性表中相同的属性字段进行匹配,完成属性表的附着,达到图形与属性信息完全统一的效果。 解决特征图错误和内容矛盾的问题。

地理基础知识_地理基础知识手册_基础地理/

自动图属性融合

地理基础知识_地理基础知识手册_基础地理/

图片附件结果对比

(3) 快速坐标校正

开发数据坐标转换模型,统一多源数据的数据坐标系。

地理基础知识_基础地理_地理基础知识手册/

数据坐标修正

3 多源数据快速融合

按照“一号、一源、多重验证”的原则,将不同生产单位、不同部门的数据按照数据生产标准进行连接和整合。

最终形成一套完整、统一、唯一的多源数据融合处理结果。

当然,在数据融合阶段需要人工干预,采用“FME自动处理模型+人工干预”的方式实现数据融合。 由于数据的复杂程度,虽然无法完全实现自动多源数据融合运算,但FME自动处理模型的构建极大地提高了数据收敛融合的效率。

数据融合过程包括:

(1)数据自动连接;

(2)数据图融合;

(3) 当前数据处理;

地理基础知识_地理基础知识手册_基础地理/

自动边缘处理

4 快速​​构建标准库结构

在数据标准制定的基础上总结标准结构形式。

地理基础知识_基础地理_地理基础知识手册/

自动建立数据库

地理基础知识手册_基础地理_地理基础知识/

自动建立数据库结构表

基础地理_地理基础知识_地理基础知识手册/

自动构建结构

5 自动数据质量检查

根据数据标准检查数据层结构和属性结构,保证聚合数据的统一标准,形成可扩展的数据质量检查工具,保证结果的复用。

地理基础知识_基础地理_地理基础知识手册/

6 自动数据更新

结合FME Server的自动化批处理能力。 通过确定源数据推送频率、建立更新时间控制表、数据数据库建设标准,构建自动更新方案。

地理基础知识手册_基础地理_地理基础知识/

确保多源数据应用平台数据根据推送频率实时更新。

实现如下:

显示界面根据数据更新频率自动更新数据。 保证应用平台数据展示的时效性。

地理基础知识手册_地理基础知识_基础地理/

天气预报

在当前全球数字经济快速发展的背景下,数字经济需要不断完善和推动社会数字化、网格化、智能化发展。 当数据融合、汇聚发生时,数据质量保证就显得尤为重要。 保证基础数据的高质量、高时效性,可以保障基于数据的时空数据平台、智慧城市、实景3D等前端数据展示的高效发展,为数据时代的发展和转型提供数据基础。地理信息产业。

本期贡献者:王倩