FME能给我们带来什么?——FME用途和影响分析

原文发布时间:2011-04-21 11:48:04

作者:广西第一测绘院      廖永生

作为一个普通的GIS工作者,参加工作已经有近7年的时间了,主要从事技术管理和解决方案工作,在别人眼里,也许是一个不成气候的“专家”,也能够在本省的行业偶尔有些影响。多年的工作中,偶尔也会思考一些行业内发展,喜欢挖掘一些生产技术中的问题,或者是跟踪世界GIS行业的最新技术和成果。其实,对于很多GIS单位和技术人员来说,积累经验和问题,将经验转换为新工艺和手段,将问题作为需求出路、追求新技术和挖掘新方法的动力,是一种生产中的良性循环。

我国的GIS产生至今已经有近30年历史,GIS技术应用也有20多年的时间,特别是近5年来,由于我国经济快速发展和计算机信息技术、空间技术的进步,GIS技术在我国得到了越来越广泛的应用。在普通民众中间,GIS从陌生到可知到熟悉,如GoogleEarth和导航电子地图,以及国家测绘局建设的“天地图”和各个省级地理信息公共服务平台等,都是GIS普及的成果。而在目前的GIS应用,无论是专业应用还是公共应用中,都会发现一个问题——数据是GIS的根本。

确实,GIS发展中,计算机和软硬件技术是GIS发展和应用的推动,而数据却是建设GIS体系的根本。正如美丽的家具一样,再美丽的家具,也不能离开木材。因此,GIS数据发展,对数据的要求越来越高,从早期的单一线划图数据发展成为多内容、多层次的信息数据,并逐步构建起空间地理信息数据体系。

随着GIS数据要求越来越高,GIS数据采集工作量越来越大,采集的方法越来越先进,如卫星和航空摄影测量、LIDAR测量等,获取地理信息数据比以前有了成倍的提高。但是,随着GIS数据采集量越来越大,数据处理中的很多问题出现了,如数据生产的自动化程度不高、海量数据处理耗时以及数据错误识别智能化程度低等。很多GIS科学家和技术人员采用各种方法提高GIS数据的生产效率,包括4D产品生产效率以及GIS数据在线服务效率等,如像素工厂、DPGrid以及网络云运算服务等。

但是,在重视4D以及其他GIS数据生产效率提高的时,却往往忽视了GIS数据处理中间的环节。

我所在的单位承接大量GIS生产任务,包括内业任务和外业任务,数据生产中,往往遇到很多非技术问题,如数据转换和数据处理的问题,数据转换非常困难,而且经常导致信息损失。在日常生产中,我们使用的普遍使用的生产平台基本都是基于AutoCAD的数据采集平台,从生产角度来说,AutoCAD平台也确实有优势的。但是由于AutoCAD的图形数据不是严格的GIS结构数据,往往需要从CAD平台中导入其他平台,再进行一系列复杂繁琐的加工而生产成GIS数据,包括建立拓扑、去除悬挂结点、加属性、坐标转换等工作,大多数工作需要手工完成,其工作量无异于重新生产一幅地图。

而即使生产完成后,也会出现一个问题:产品与甲方要求格式不同,导致进行格式转换,而在格式转换中往往造成信息损失或者坐标框架的变形,甚至有时候甲方提供的数据由于没有相应软件无法处理。实际上,大多数测绘单位的GIS数据生产平台是单一的,多平台不适合企业管理和节省成本的要求,而用户要求是不同的,如何解决这一矛盾,是我们在GIS数据生产中需要面对的问题。

GIS数据自动化生产和统一数据管理平台以及不同GIS数据转换的问题,在本世纪初就有很多公司和研究所试图解决。如利用OpenGIS的方案进行数据统一或者采用公开数据格式,武汉大学曾经开发未能推向市场的数据自动化处理平台等、Oracle公司的GIS统一数据库平台等。但是,由于产品不成熟或者没有能够解决GIS生产部门特别是中国的GIS生产部门实际问题,因此,一直没有能够有一款合适的产品。在历年中国GIS年会上,都曾提出过GIS数据自动化处理和统一数据格式的构想,但是均未能实现。

最早接触FME是2006年底,但是从安图公司一个推介会上获得了FME试用版。起初并不是太在意这个软件(因为当时我在搞GPS工作),只是觉得这种软件有个不错的功能,就是FME Universal View可以方便浏览各种格式的数据,这确实极大方便了我的工作,但是由于当时工作关系,没有深入研究该软件。

 2007年,本人参加了广西城市部件调查工作(用于建设“数字城管”系统)。由于是涉及到政府形象的“政绩工程”,工期要求很紧,竟然要在1个月内完成超过70平方公里的城市部件调查和数据处理工作。从外业工作上看,我们的工人可以完成,但是内业工作数据量是在太大,要完成属性录入、万米网格划分、拓扑处理、图层叠加、数据统计检查和入库以及数据转换等大量工作。由于部件坐标测量工作和信息调查工作是分开完成,如果采用传统手动输入属性,根本无法在短期内完成如此大的数据录入工作,即使在GIS软件平台上进行二次开发实现半自动处理,也需要超过一个月的时间。这时候想到了曾经接触过的FME,隐约记得FME的Workbench模块中的自动化处理流程,于是在安图公司的帮助下进行了一些摸索和试生产,出乎意料, 这次利用FME试生产取得了出乎意料的效果。利用FME,很多原来手工或者半自动处理的问题竟然可以全自动处理,如自动统计计算各类部件数据生成相应的表格、自动属性批量赋值、设置缓冲区内统计指定部件数量甚至是错误的数据检查……,在FME的帮助下,工期比原定计划缩短了很多,而且数据处理人员的工作量也少了很多,该项成果最后获得了市政府的高度评价。

在刚刚应用FME时,由于担心其处理数据的可靠性和正确性,曾经在应用其进行自动化处理时也同时进行人工处理,对比最后的结果,最后发现对比成果却发现FME甚至可以对人工处理的数据进行检查,发现人工处理数据的错误。事实证明FME是可靠的。从此之后,我们便开始对FME进行深入研究并进行试用。

在之后对FME的研究和试用中发现了更多的惊喜。其实最简单的说法就是——每掌握一个处理函数(模块)就获得一个惊喜,也就是意味着可以多解决你生产中一个环节中的自动化数据处理问题。从FME提供的一百多个数据处理函数上看,其中能够与GIS数据生产密切相关的有近50个,不常用但是生产中可能会用到的有超过30个。如果按照组合的方式,那么几乎可以定制上千个数据自动化处理流程,在自动化处理中甚至可以减少一半的工人。实际处理过程中,甚至可以下班后利用定制的流程进行海量数据处理,第二天早上直接获得处理后的数据,极大提高了机器的利用率。

而之后对FME链接数据库功能,令人尤为赞叹,通过FME的数据库链接和入库功能,解决了单位长期以来数据入库困难、手工入库工作量大的问题。让单位的数据管理也达到了较高的规范水准。

总结本人在生产一线三年的工作中,使用FME Desktop版的经验,认为FME的Desktop在GIS数据生产过程中主要可以完成以下工作。 

1.    多种GIS数据浏览,避免为了浏览其他格式的GIS数据而安装专门软件或进行数据转换;

2.    无损的GIS数据格式转换,FME支持几乎所有主流的GIS格式,可以轻松而且无损转换各种GIS数据格式。

3.    CAD的图形数据(无拓扑关系的线)到GIS标准的矢量数据转换,建立了相关拓扑关系,并可以自动处理悬挂点;

4.    多种数据的合并和自动接边,图形数据自动处理;

5.    从表到矢量图的属性数据自动赋值,数据关系没有任何影响;

6.    自动分类和自动检查;

7.    空间数据库链接、读取和管理功能;

8.    最后一点,也是FME Desktop版最重要和最主要以及对生产中帮助最大的功能,即数据自动化处理流程定制功能,该功能的实用性是不言而喻的。

当然,还有很多其他功能不能一一概述,还是那句话,越深入FME,越能发现其功能强大。

 人往往满足于现状,其实很长时间内,觉得FME Desktop功能强大,可以满足很多工作,没有继续研究和使用FME的Server版,其实很有一个重要原因,就是Server版确实难找到合适的试用环境,因为要服务器和局域网支持。2010年, FME2010版推出,在安图公司的推介下,抱着试试的态度,找了一台老服务器,开始试用FME Server2010版,结果却是让我惊奇的。FME Desktop功能在FMEServer中可以直接实现,且可以在局域网中按照流程进行定制,在试用中,一个内业院可以同时同步使用FME的流程定制功能,甚至在我的设计下,可以实现工作流的GIS数据处理中的应用。对于数据处理自动化,FME Server实现想要的功能,仅仅是行政管理和生产管理问题(因为要重新设置工作任务,甚至对人员结构也要重新设置)。

 其实,FME Server甚至超出了数据处理,如用来建设数据管理发布网站,在中国法律框架下,FME Server建设的网站可能不便于对外进行数据发布,但是对内进行生产管理和数据管理却是非常合适的。甚至有更好玩的,用FME Server的KML动态更新功能,可以用来监测我们整个单位外业工作人员的位置,用于生产管理和生产指挥甚至进程管理,目前试用效果良好。而起WMS加载共享功能,成果用于GoogleEarth和“天地图”的WMS共享平台,可以成功实现共享GIS数据使用。

目前仍然在试用和评估FME Server,我相信,它能做更多的事情,带来更多的惊喜。

FME到底带来了什么?对GIS数据生产单位造成了什么革新呢? 

第一,  数据检查和浏览的极大方便,这是总所周知的,避免了一个生产单位要装多个GIS软件,实现良好的生产成本控制。

第二,  自动化和流程化的数据处理,极大提高了劳动生产率,降低劳动强度,减少劳动成本。

第三,  改变了GIS生产单位的传统生产模式,如果法律和相关政策下是数据保密范围内,FME Server可以实现内外业GIS数据采集一体化。

第四,  加快了GIS数据生产速度和服务速度,同样在保密范围的框架下,可以实现直接从“外业——内业——用户”的三位一体GIS数据服务机制。

第五,  FME Server可以用于在GooglEearth或“天地图”二次开放平台下生产项目管理和作业人员以及生产设备管理,拥有良好的前景。

FME功能是强大的,对引进单位的影响是巨大的。由于各种原因,特别是其功能挖掘和市场开拓力度不够,很多单位未能意识其重要作用,因此,FME在中国市场非常广阔。未来可以预见,很多单位拥有一套FME特别是Server版,可以替代很多软件和生产人员工作,并在不断挖掘其功能中促进生产发展,实现数据共享、生产管理、数据服务和数据管理等,从各方面看,FME的应用将是前途无量的。

作者简介:廖永生(1979——),广西柳州人,2005年武汉大学地理信息系统专业毕业,学士学位,武汉大学软件工程在读硕士,广西第一测绘院和广西地球空间信息联合实验室工程师,主要从事空间信息数据挖掘和3S集成应用研究与技术推广。 

猜你喜欢

转载自blog.csdn.net/fmechina/article/details/81236050