空间大数据相关的技术

编者荐语:

以前推过GeoSpark,现在已经被Apache孵化了,叫做Sedona,请做空间大数据的同学,不要放过,好好拉练拉练……另外,有写关于Sedona的,欢迎投稿和公众号互白。

以下文章来源于小兔子GIS ,作者小兔子GIS

小兔子GIS.icon-default.png?t=M1L8https://mp.weixin.qq.com/s/cqU2jhoYPIMJ_U6jJ6CWiA#

以GIS为核心,交流IT知识

1、Apache Sedona

    Sedona是基于Spark分布式的地理信息计算引擎,原为GeoSpark,后被Apache收录孵化,更名为Sedona,相比于传统的ArcGIS、QGIS等分析工具,Sedona可以提供更好分布式空间分析。

‎Apache Sedona™(孵化)是一个用于处理大规模空间数据的集群计算系统。Sedona扩展了Apache Spark / SparkSQL,其中包含一组开箱即用的空间弹性分布式数据集(SRDDs)/ SpatialSQL,可以跨机器高效地加载,处理和分析大规模空间数据。

2、GeoSpark

    GeoSpark是一个用于处理大规模空间数据的开源内存集群计算系统。是传统GIS与Spark的结合。GeoSpark扩展RDD以形成空间RDD(SRDD),并跨机器高效地对SRDD数据元素进行分区,并引入新颖的并行化空间(几何操作,遵循Open Geosptial Consortium(OGC)标准)转换和操作(用于SRDD),提供更直观的界面供用户编写空间数据分析程序。GeoSpark扩展了SRDD层以在大规模的空间数据集上执行空间查询(例如,范围查询,KNN查询和连接查询)。在Spatial RDD图层中检索几何对象之后,用户可以调用在GeoSpark的空间查询处理层中提供的空间查询处理操作。

3、GeoMesa

    GeoMesa 是由locationtech开源的用来处理地理数据的分布式基础引擎,是一套地理大数据处理工具套件。其可在分布式计算系统上进行大规模的地理空间查询和分析。使用GeoMesa开源帮助用户管理、使用来自于物联网、社交媒体、手机应用的海量的时空(spatio-temporal)数据。GeoMesa支持将海量的时空数据存储到Accumulo,HBase,Google Bigtable和Cassandra数据库中,并提供高效的索引来读取、查询这些数据。并支持通过指定空间条件(距离和范围)来快速查询。另外GeoMesa还基于Apache Kafka提供了时空数据的近实时流处理功能。

【Store, index, query, and transform spatio-temporal data at scale

in HBase, Accumulo, Cassandra, Redis, Kafka and Spark.】

4、GeoTrellis

    GeoTrellis是一个基于Apache spark 的用于处理栅格数据的scala库和框架,可以高效的读/写和操作栅格,实现了地图运算和矢栅转换工具,可以将栅格数据渲染成PNG图片,元数据转换成JSON。

GeoTrellis解决了三个核心的问题

  • 1)创建可扩展的,高性能的地理信息处理WEB服务

  • 2)创建分布式的地理信息处理服务,用来处理海量数据集

  • 3)完成并行化地理信息处理操作,以利用多核架构的优势

GeoTrellis可以将数据(Tiff) 从本地,HDFS,S3中导入到本地,HDFS,Accumulo,HBASE,CASSANDRA,S3等,可选方式很多,而且是通过Spark集群并行处理,相当于GeoTrellis已经实现了分布式的瓦片切割。

5、GeoWave

‎    GeoWave 是一个软件库,它将分布式计算框架和键/值存储的可扩展性与现代地理空间软件连接起来,以存储、检索和分析大量地理空间数据集。

‎GeoWave 是一个开源库,用于在排序的键/值存储中存储、索引和搜索多维数据。它包括支持 OGC 空间类型(最多 3 维)以及有界和无界时态值的实现。GeoWave 的地理空间支持建立在 GeoTools 项目可扩展性模型之上。这意味着它可以与任何与 GeoTools 兼容的项目(如 GeoServer 和 UDig)进行本机集成,并且可以引入与 GeoTools 兼容的数据源。

6、GeoDocker

    ‎GeoDocker 是 Docker 映像的集合,封装了基于 ‎‎GeoTrellis‎‎、‎‎GeoMesa‎‎ 和 ‎‎GeoWave‎‎ 的分布式地理处理平台。重点是在这些项目之间提供集成,并在Hadoop生态系统中公开地理处理功能。

  • ‎将 GeoTrellis、GeoWave 和 GeoMesa 集成为统一平台‎

  • ‎提供真实便捷的分布式集成测试环境‎

  • ‎支持将 GeoDocker 部署到 Amazon EMR‎

  • ‎探索并支持 DC/OS 和 ECS 等其他部署选项‎

7、Ganos

    阿里达摩院,阿里云自研时空基础设施(PaaS层)的核心引擎,该引擎整合了云上异构计算并行加速、OSS大规模存储等基础设施能力,上层与RDS PostgresSQL数据库、POLARDB for PG/Oracle云原生数据库、HBase大数据等融合,为云计算基础产品提供了免费但专业级的时空数据存储、查询与分析计算能力。

    通过兼容PostGIS接口,Ganos具备了几乎即插即用、快速生态兼容的能力,且所有兼容PostGIS的代码都无需改动。

BACKPACK

更多技术方案在搜集中

    编者前面写过一篇开源GIS架构方案探讨,针对的传统通用空间数据的处理,跳脱商业GIS的范畴,在大数据、云计算大力发展的今天,对于空间大数据的相关技术梳理也是个不断进行的过程,供学习交流。

空间大数据技术鱼图

猜你喜欢

转载自blog.csdn.net/shishi521/article/details/123180583