MongoDB地理空间数据存储及检索

目录

之前写过MySQL空间索引简单使用,测试也是可用的,当时没有测试效率问题,因为存储的矢量数据都只是一个四点的多边形而已。这次使用mongoDB来做一个行政区划检索的功能,记录一下使用的过程。

参考资料:

1、存入地理数据

MongoDB存储的数据是bson结构,所以只要你的数据符合这个结构都是可以存储的,但是要支持空间索引,就必须按照它的规定来。
早期版本的(2.6之前)仅仅支持简单的点数据的索引,也就是filed:[x,y]这样的结构,这个适用范围太有限了。现在的版本支持GeoJSON形式的数据类型,且支持OCG的空间数据查询模型,使用上非常方便。

GeoJSON数据存入

MongoDB要求把GeoJSON格式的数据以子文档的形式存入,但实际上并不是存入一个完整GeoJSON对象,只需要其中的typecoordinates两个字段就可以了。

下面以存入一个含有地理空间数据的文档为例,把所有支持的GeoJSON对象类型都做个示例。
这里假设存储一个县的信息,数据都以json格式表示。

{
      "xian":"潜山县",
      "sheng":"安徽"
}

1、Ponit 点数据
现在假设为这个文档添加上中心点位置,那么这个文档就变成了如下样子:

{
      "xian":"潜山县",
      "sheng":"安徽"
      "center":{ "type":"Point","coordinates":[116.45,30.72]}
}

2、LineString 线数据(多段线)
现在加上一个到省会合肥的路径连线,那么文档就变成了如下样子:

{
      "xian":"潜山县",
      "sheng":"安徽"
      "center":{ "type":"Point","coordinates":[116.45,30.72]},
      "toShengHui":{
          "type":"LineString","
          coordinates":[[116.55944824218749,30.58827267102698],
          [116.87667846679689,30.791396195188927],[116.96594238281249,31.038815104128687],
          [117.18292236328124,31.264465555752835],[117.22412109375,31.819230730326613]]}
}

3、 Polygon 多边形数据
多边形是当前地理信息领域应用的比较多的数据类型。
多边形描述的是一个面对象,其由两部分组成,一个外壳shell和0或多个內洞holes
外壳和內洞的表示都是一个闭合的线环(LinearRing),表示一个闭合曲面。外壳包括的区域表示在多边形内的区域,內洞表示的区域则是从外壳表示的区域中排除的区域,如下图所示的样子,蓝色的是外壳,绿色部分的是內洞。

因为行政边界的涉及到的点太多,所以这里就只添加一个外包框作为示例:
因为GeoJSON中使用bbox字段(四个double值的数组)来描述范围外包框,所以这里不能使用bbox来存储一个多边形,否则将报错error inserting documents: location object expected, location array not in correct format。但奇怪的是,这个bbox用于搜索的时候却是无效的。
这里就不使用內洞了,有內洞的情况就是coordinates数组中后面加上线环即可。

{
      "xian":"潜山县",
      "sheng":"安徽"
      "center":{ "type":"Point","coordinates":[116.45,30.72]},
      "toShengHui":{
          "type":"LineString","
          coordinates":[[116.55944824218749,30.58827267102698],
          [116.87667846679689,30.791396195188927],[116.96594238281249,31.038815104128687],
          [117.18292236328124,31.264465555752835],[117.22412109375,31.819230730326613]]},
      "box":{
         "type":"Polygon",
         "coordinates":[[[116.40701293945311,30.454001045389525],
         [116.77505493164062,30.454001045389525],[116.77505493164062,30.76248901825541],
         [116.40701293945311,30.76248901825541],[116.40701293945311,30.454001045389525]]]}
}

4、MultiPoint多点、MultiLineString多线、MultiPolygon多多边形
对于多点、多线和多多边形,与单个的区别,也就是将coordinates成员改为一个数组形式,存入多个单个形式的坐标数据。

5、GeometryCollection 几何集合
几何集合就是多个几何对象的集合,就是一个数组里面放多个几何对象。

6、全国区县行政区划入库示例

1、首先下载全国的性质边界矢量数据,这个可以从https://www.gadm.org/download_country_v3.html下载。因为中国的矢量数据中没有台湾和香港澳门的数据,可以下在后合成一个。

2、下载的数据可以使用GDAL或QGIS工具将其转换为geojson格式文档,也可以转换,直接写程序来读取。我把转换后的程序再经过了一次简化,因为所有的边界线都是MutilPolygon,而大多数边界是仅仅一个Polygon的,所以我把能转换的都转换成了Polygon

3、因为MongoDB中存储字段bbox为GeoJSON中的数组形式在查询的时候会有问题,所以我把它改为了多边形。但bbox字段又不支持多边形,所以改为以box字段来存储。因为县级行政区划的边界都比较复杂,点比较多,在查询的时候会比较慢,所以使用$and来先查询box在查询geometry会比较快。

4、处理完成之后把所有的json对象按行写入了到了(县级边界.json.txt)文件中,因为每行都是一个json对象,可以使用mongoimport将其导入数据库中。但是直接导入会有一个问题,就是数据量太大,无法一次写入。所以我先拆分成了几个小文件。

split -l 512 县级边界.json.txt -d -a 1 中国县级行政边界_

执行上面命令后生成了5个小文件,然后逐个导入到mongodb即可。

mongoimport --host 192.168.0.28 --db us --collection xzbj --file 中国县级行政边界_0
2018-10-12T14:14:45.165+0800    connected to: 192.168.0.28
2018-10-12T14:14:47.386+0800    imported 512 documents
mongoimport --host 192.168.0.28 --db us --collection xzbj --file 中国县级行政边界_1
mongoimport --host 192.168.0.28 --db us --collection xzbj --file 中国县级行政边界_2
mongoimport --host 192.168.0.28 --db us --collection xzbj --file 中国县级行政边界_3
mongoimport --host 192.168.0.28 --db us --collection xzbj --file 中国县级行政边界_4

bbox只能以数组的形式存在,如图所示,我在处理的时候已经改用box多边形表示了。
bbox存在的形式

2、创建地理索引

MongoDB的空间索引有三种,2dsphere2dgeoHaystack

1、2dsphere
2dsphere支持查询的索引,计算几何形状的球体。2dsphereMongoDB地理空间索引支持所有查询:用于查询、交点和接近。地理空间查询的更多信息,参见地理空间查询。
2dsphere索引支持点数据(包括传统点数据方式和GeoJSON的Point方式)。2dsphere索引由于是球面索引,所以仅仅支持经纬度数据,坐标系为WGS84
版本2以后的MongoDB支持GeoJSON对象包括MultiPoint、MultiLineString、MultiPolygon和 GeometryCollection,具体的参考官方文档。
创建一个2dsphere索引的语句如下:

db.collection.createIndex( { <location field> : "2dsphere" } )

3、检索地理数据

检索这个也是看官方的文档比较快,这里只是一个简单的介绍。

3.1地理空间模型

MongoDB的地理空间查询可以实现球面或平面几何实体对象的查询。

  • 2dsphere索引仅仅支持球面查询(即把点坐标数据当做球面经纬度处理)。
  • 2d索引支持平面查询(即将点坐标数据当做平面直角坐标系点坐标处理)和一些球面查询,虽然2d索引支持一些球面查询,但是对这些球面查询使用2d索引可能会导致错误,这样的数据尽量优先使用2dsphere索引。

下面列出每个地理空间操作使用的地理空间查询运算符,支持的查询和相关说明:

操作符 参数类型 索引 支持查询
$near
邻近查询
GeoJSON质心点在这个line和下一个line, 2dsphere 球面
$near legacy coordinates 2d 平面
$nearSphere GeoJSON点 2dsphere 球面
$nearSphere legacy coordinates 2d 球面
$geoWithin
内部查询
GeoJSON几何对象
{ $geometry: … }
球面
$geoWithin { $box: … } 平面
$geoWithin { $polygon: … } 平面
$geoWithin { $center: … } 平面
$geoWithin { $centerSphere: … } 球面
$geoIntersects
相交查询
{ $geometry: … }
多边形或多多边形
球面

还有$geoNear这个操作符,这里就不摘录了,直接去官网看好了。
因为这些操作符都比较简单,这里只单独介绍一下最有用的$geoIntersects操作符。

$geoIntersects操作符使用
选择地理空间数据与指定GeoJSON对象相交的文档; 即数据和指定对象的交集是非空的。
$geoIntersects运算符使用$geometry运算符来指定一个GeoJSON对象作为参数,使用默认坐标系(CRS)指定GeoJSON多边形或多边形的使用语法如下:

{
     空间数据字段名: {
     $geoIntersects: {
        $geometry: {
           type: "<GeoJSON对象类型>" ,
           coordinates: [ <coordinates> ]
        }
     }
  }
}

对于$geoIntersects查询,当指定的GeoJSON的几何对象大于半个球面时,使用默认的坐标系(CRS)会导致互补的几何对象在查询结果中。
3.0版中的新功能:要指定单环的GeoJSON多边形使用自定义MongoDB CRS,使用以下语法在$geometry表达式中指定自定义MongoDB CRS:

{
  <location field>: {
     $geoIntersects: {
        $geometry: {
           type: "Polygon" ,
           coordinates: [ <coordinates> ],
           crs: {
              type: "name",
              properties: { name: "urn:x-mongodb:crs:strictwinding:EPSG:4326" }
           }
        }
     }
  }
}

自定义MongoDB CRS使用逆时针顺序包覆,并允许$geoIntersects支持具有单环GeoJSON多边形的查询,该多边形的面积大于或等于单个半球。如果指定的多边形小于单个半球,则带有MongoDB CRS的$ geoIntersects的行为与默认的CRS相同。“Big” Polygons参考

如果指定纬度和经度坐标,请先列出经度然后列出纬度:
    有效经度值介于-180和180之间(包括两者)。
    有效纬度值介于-90和90之间(包括两者)。

3.2、查询示例(使用全国县级行政边界数据)

上面的数据导入之后,写几个查询的例子来测试一下。

1、使用Polygon查询相交的区域
查询代码如下

db.getCollection('xzbj').find({
    "geometry": {
        "$geoIntersects": {
            "$geometry": {
                "type": "Polygon",
                "coordinates": [[[116.24633789062499, 40.168380093142446], [116.17492675781251, 40.15998434802335], [116.1199951171875, 40.057052221322], [116.09527587890624, 40.002371935876475], [116.1474609375, 39.890772566959534], [116.10626220703124, 39.70929962338767], [116.3177490234375, 39.69662085337441], [116.57592773437499, 39.7642140375156], [116.6912841796875, 39.86969567045658], [116.69677734375, 39.99605985169435], [116.62261962890624, 40.094882122321145], [116.6143798828125, 40.13899044275822], [116.43310546875, 40.15788524950653], [116.28753662109375, 40.18097176388719], [116.24633789062499, 40.168380093142446]]]
            }
        }
    }
})

这些点是沿着北京六环线画的一个多边形,查询的速度比较慢,耗时达到7.12秒。

下面添加外包框过滤,在进行相交比较,加快查询速度。这里要注意我是要的box字段内存的也是一个Polygon而不是GeoJSON中的bbox。

db.getCollection('xzbj').find({
    "$and": [{
        "box": {
            "$geoIntersects": {
                "$geometry": {
                    "type": "Polygon",
                    "coordinates": [[[116.0870361328125, 39.69873414348139], [116.71600341796874, 39.69873414348139], [116.71600341796874, 40.17257757632168], [116.0870361328125, 40.17257757632168], [116.0870361328125, 39.69873414348139]]]
                }
            }
        }
    },
    {
        "geometry": {
            "$geoIntersects": {
                "$geometry": {
                    "type": "Polygon",
                    "coordinates": [[[116.24633789062499, 40.168380093142446], [116.17492675781251, 40.15998434802335], [116.1199951171875, 40.057052221322], [116.09527587890624, 40.002371935876475], [116.1474609375, 39.890772566959534], [116.10626220703124, 39.70929962338767], [116.3177490234375, 39.69662085337441], [116.57592773437499, 39.7642140375156], [116.6912841796875, 39.86969567045658], [116.69677734375, 39.99605985169435], [116.62261962890624, 40.094882122321145], [116.6143798828125, 40.13899044275822], [116.43310546875, 40.15788524950653], [116.28753662109375, 40.18097176388719], [116.24633789062499, 40.168380093142446]]]
                }
            }
        }
    }]
})

这样查询的速度就大大提升了,仅耗时41毫秒就完成了检索。经过测试,$and数组中的元素顺序对检索速度没有影响,不知道是不是与字段名的排序有关系。

猜你喜欢

转载自www.cnblogs.com/oloroso/p/9777141.html