SuperMap iServer admite recientemente el formato de datos FlatGeobuf, y el rendimiento de la representación de consultas se ha mejorado de 2 a 3 veces

Autor: Zhang Yongli

Introducción

FlatGeobuf es un formato de almacenamiento de datos geográficos que utiliza codificación binaria, que es más eficiente que otros formatos de texto o XML y puede reducir significativamente el tamaño del archivo, lo que hace que la transmisión y el almacenamiento de datos sean más rápidos y eficientes.
SuperMap iServer 11i (2023) (en lo sucesivo, SuperMap iServer 11.1) agrega soporte para la representación FlatGeobuf, que puede realizar transmisión segmentada y efectos de carga bajo demanda. A continuación, se presentará cómo lograrlo en detalle.

1. Introducción a FlatGeobuf

1.1 Qué es FlatGeobuf

FlatGeobuf es un formato de codificación binaria que se utiliza para almacenar coordenadas y tipos de características geográficas, y puede almacenar datos de características (como puntos, líneas, polígonos, etc.) bajo especificaciones de características simples.

El formato FlatGeobuf es similar al Shapefile tradicional, GeoJSON y otros formatos de archivo, y ambos admiten el almacenamiento de datos vectoriales geoespaciales, pero el formato FlatGeobuf tiene una mayor eficiencia de almacenamiento y velocidades de lectura y escritura más rápidas, y es adecuado para la codificación y transmisión de grandes cantidades de datos estáticos. El uso del formato FlatGeobuf para almacenar y transmitir datos puede acelerar la transmisión de la red y acortar el tiempo de representación de los elementos vectoriales, optimizando así la experiencia del usuario.

1.2 Ventajas y desventajas de FlatGeobuf

ventaja

• Compacto, FlatGeobuf utiliza codificación binaria, que puede almacenar datos como archivos más pequeños, ahorrando así espacio en disco y ancho de banda de red.
• Lectura rápida, utilizando codificación binaria, FlatGeobuf puede leer y analizar a mayor velocidad, acelerando la eficiencia del acceso a los datos.
• Soporte multiplataforma, FlatGeobuf puede ser compatible con múltiples herramientas y software GIS, y proporciona API en varios idiomas, lo que permite la conversión y el procesamiento de datos en diferentes plataformas.
• Transmisión segmentada y carga bajo demanda. FlatGeobuf admite transmisión segmentada y carga bajo demanda. Solo puede cargar los bloques de datos requeridos sin cargar todo el conjunto de datos, lo que mejora la eficiencia de la consulta y visualización de datos.

defecto

• Los datos de geometría y atributos no están separados.
• El tamaño del archivo no tiene una ventaja obvia sobre el formato GeoPackage.
• Difícil de editar directamente En comparación con el formato de texto, el método de codificación binaria de FlatGeobuf hace que sea difícil editar directamente los datos manualmente.

Más información sobre FlatGeobuf: https://github.com/flatgeobuf/flatgeobuf

1.3 Escenarios aplicables de FlatGeobuf

• La codificación y transmisión de datos estáticos a gran escala, utilizando el formato FlatGeobuf, puede almacenar y transmitir datos geográficos a gran escala de manera efectiva. Con la codificación binaria compacta, el tamaño del archivo de datos se puede reducir significativamente y se puede mejorar la velocidad de carga de datos.
• Intercambio de datos multiplataforma, el formato FlatGeobuf tiene características multiplataforma y puede ser compatible y analizado por diferentes software y herramientas GIS (por ejemplo: GeoServer, QGIS, GeoTools, PostGIS, etc.). Esto hace que el intercambio de datos entre diferentes sistemas GIS sea más conveniente, sin conversión de datos compleja y procesamiento de compatibilidad.
• Transmisión segmentada y carga bajo demanda, el formato FlatGeobuf admite transmisión segmentada y carga bajo demanda de datos geográficos. Esto significa que solo necesita cargar los bloques de datos requeridos, en lugar de cargar todo el conjunto de datos a la vez, lo que mejora la eficiencia de la consulta y visualización de datos.

2. Cómo usar FlatGeobuf

2.1 Servidor iSuperMap

De forma predeterminada, SuperMap iServer 11.1 admite la devolución del formato FlatGeobuf para recursos como consulta de mapa (resultados de la consulta) y consulta de datos (resultados de funciones), y el formato de archivo es *.fgb.
Como se muestra en la figura a continuación, los resultados de la consulta del mapa se pueden devolver utilizando la expresión fgb.

SuperMap iServer 11.1 admite capacidades de servicio de salida en formato FlatGeobuf de la siguiente manera:

2.2 SuperMap iCliente

SuperMap iClient 11.1 (Leaflet, Openlayer, MapboxGL) admite el acceso directo a archivos .fgb de almacenamiento en la nube o archivos de formato FlatGeoBuf devueltos por los servicios de SuperMap iServer 11.1, y admite transmisión y renderización (para ver los programas de demostración de FlatGeoBuf, visite https://iclient.supermap.io/ sitio para ver)

Los datos de FlatGeoBuf tienen dos estrategias de carga: carga completa y carga bajo demanda. Puede optimizar la experiencia de navegación modificando el parámetro de la estrategia de carga estrategia de FGBLayer en el código frontal y seleccionando todo (carga completa) y bbox (carga bajo demanda).

Carga completa de FlatGeoBuf Efecto de datos de 25 millones de puntos:

El efecto de cargar 25 millones de puntos de datos en FlatGeoBuf bajo demanda:

3. Comparación de rendimiento entre FlatGeobuf y GeoJSON

entorno de prueba	UPC: Intel® Core™ i7-10875H
Memoria	16G
navegador	cromo 113
Datos de prueba	50.000 datos de superficie de mapa (6,19 millones de nodos, cada registro contiene 26 campos de atributo) almacenamiento udbx
versión de prueba	supermap-iserver-11.1.0-windows-x64.zip
Métodos de prueba	1. Consulta de mapa, consulta de datos devuelve representación GeoJSON y comparación de tamaño de archivo de representación FlatGeobuf 2. Consulta de mapa, consulta de conjunto de datos de consulta web a representación de navegador GeoJSON y comparación de rendimiento de representación FlatGeobuf;

3.1 Tamaño del archivo

1) Consulta de mapa

registro de retorno	GeoJSON	FlatGeobuf (carga completa)	FlatGeobuf (carga bajo demanda)
5 mil caras (1,45 millones de nodos)	57,9 MB	24,4 MB	11,2 MB
10.000 caras (1,98 millones de nodos)	80,9 MB	34,7 MB	15,7 MB
50.000 caras (6,19 millones de nodos)	264 megabytes	116 MB	26,2 MB

2) Consulta de conjunto de datos

registro de retorno	GeoJSON	FlatGeobuf (carga completa)	FlatGeobuf (carga bajo demanda)
5 mil caras (1,45 millones de nodos)	57,9 MB	24,2 MB	11,1 MB
10.000 caras (1,98 millones de nodos)	81,1 MB	34,3 MB	15,5 MB
50.000 caras (6,19 millones de nodos)	264 megabytes	114 megabytes	25,7 MB

3.2 Comparación de la consulta dinámica del lado web con el rendimiento de representación del navegador

1) Consulta de mapa

registro de retorno	GeoJSON	FlatGeobuf (carga completa)	FlatGeobuf (carga bajo demanda)
5 mil caras (1,45 millones de nodos)	7.3s	3.1s	1.9s
10.000 caras (1,98 millones de nodos)	10.5s	5s	3.1s
50.000 caras (6,19 millones de nodos)	55s	31s	21s

2) Consulta de conjunto de datos

registro de retorno	GeoJSON	FlatGeobuf (carga completa)	FlatGeobuf (carga bajo demanda)
5 mil caras (1,45 millones de nodos)	9.4s	2.1s	0,96 s
10.000 caras (1,98 millones de nodos)	12s	4.1s	1,7 s
50.000 caras (6,19 millones de nodos)	43s	23 años	12s

3.3 Resumen

1. SuperMap iServer consulta de mapa y consulta de conjunto de datos, la expresión FlatGeobuf devuelta es un 42 % más pequeña que GeoJSON;
2. Cargue la representación de FlatGeobuf a pedido, y la cantidad de datos devueltos depende de la cantidad de datos en el rango de navegación, que generalmente es menor que la carga completa de FlatGeobuf;
3. La consulta de conjuntos de datos tiene más rendimiento que la consulta de mapas, y usar FlatGeobuf es más eficiente que usar GeoJSON;

En resumen, la expresión FlatGeobuf se compara con la expresión GeoJSON para la consulta de mapas y la consulta de datos en el lado web, y el volumen de datos resultante es pequeño y la velocidad de carga es rápida. Se recomienda que los usuarios prefieran utilizar la representación FlatGeobuf en escenarios similares.