FME与微博

原文发布时间:2015-11-10

作者:周跃

LBSN(Location-based Social Network) 基于位置的网络)是到目前已经变成一种非常流行的网络。对网络数据研究也正成为各个领域对用户行为分析预测的重要手段。对于普通用户来说,这些概念可能有些遥不可及,接下来我将用一个示例向你展示,也许并没有想象的那么难。

FME目前已经提供对网络数据的处理能力,包括JSONXML格式,甚至直接发送和接收TCP/IP协议的数据流。下面我将向你演示,如何将抓取新浪微博的数据,并将其展示到地理信息平台上。

新浪微博提供开发式API,允许用户对来自微博数据进行读取,对于如何使用微博API,参考http://open.weibo.com/wiki/API。我们选取了某一个位置,通过调用微博API,抓取附近某个范围内最新的微博消息。此次我们使用了PythonCreator脚本,抓取微博数据。




 微博API返回JSON格式的数据:


这样的数据内容看起来简直糟透了,但如果是这样看起来是否就会好多了。 

扫描二维码关注公众号,回复: 1796125 查看本文章


 得益于FME的数据处理能力,我们用四个转换器便完成了数据整理工作,提取出我们感兴趣的信息。


 获取到有用的信息后,我们考虑如何分析和展示数据,这取决你的应用。示例中,我们做了最简单的处理,将发送微博的位置信息空间化,直接发布到ArcGIS Online上进行展示。


 令人欣喜的是这个过程如此简单,连接ArcGIS Online后,将微博点位置直接写入。整个过程就像操作写入一张数据库表一样,你甚至无需了解ArcGIS Online的工作方式。

接下来让我们看一下工作成果。我觉得这十分有趣,以至于我逐条看完了地图上显示的所有微博信息。这是一个十分简单的示例,我有理由相信,通过FME你能做更有想象力的事情。


                                                                        ArcGIS Online展示


                                                                ArcMap展示

再看一下实现过程,我只想说,没有比这更优雅的方式的。唯一不足的是,取微博数据我使用了一小段python脚本。这并不是我的初衷,你应该像使用其它转换器一样使用微博API,而不是在FME中编写脚本。好消息是,我们正在努力实现这一点。


最后,总结一下这个demoSo easy!



猜你喜欢

转载自blog.csdn.net/fmechina/article/details/80849793