SuperMap GIS大数据分析调优行动指南
一、大数据分析调优目的
项目数据量达到千万，如果需要进行千万级与千万级数据一起分析时，很多客户会考虑选择SuperMap GIS基础软件（下文简称GIS软件）大数据模块。大数据模块环境配置较其它产品相对复杂，Spark等环境需要在Linux通过命令行来设置，对项目实施来说可能会有一定门槛。
从多年大数据分析项目经验总结出一套调优参考办法，可供参考。
二、调优思路
大数据分析调优主要主要有三种思路：Spark集群调优、数据调优、 GIS软件调优，如下图：
2.1 Spark环境调优
Spark参数优化主要集中在spark-defaults.conf文件中，本文从以下四个方面进行调优参数介绍：
-
内存调优：在spark-defaults.conf文件进行修改
-
并行度调优：在spark-defaults.conf文件进行修改
-
磁盘IO调优：在spark-defaults.conf文件进行修改
-
网络IO调优：在spark-defaults.conf文件进行修改
具体参数介绍及推荐值如下表所示，在您修改参数后，请重启Spark确保参数修改生效：
| 调优方向 | 配置项 | 配置项描述 | 默认值 | 推荐值 |
|---|---|---|---|---|
| 内存调优 | spark.driver.memory | 用于设置Driver进程的内存大小 | 1GB | 2GB或4GB |
| spark.executor.memory | 用于设置Executor进程的内存大小 | 1GB | 2GB或4GB | |
| spark.memory.fraction | 用于设置Spark内存管理器的堆内存占比 | 0.6 | 0.5或0.7 | |
| spark.memory.storageFraction | 用于设置Spark内存管理器的存储内存占比 | 0.5 | 0.4或0.6 | |
| spark.executor.memoryOverhead | 用于设置Executor除了执行任务所需的内存之外，还需要额外保留的内存大小 | max(384m, 10% of spark.executor.memory) | Executor的额外内存大小，可以设置为一个较小的值，如256M | |
| 并行度调优 | spark.default.parallelism | 用于设置RDD的默认并行度 | 默认值为当前集群的CPU核数 | 2~4倍的CPU核数 |
| spark.sql.shuffle.partitions | 用于设置Shuffle操作的并行度 | 200 | 1000或更高 | |
| spark.cores.max | 设置每个应用程序能够使用的最大CPU核心数 | 当前集群CPU核数 | 如果您的应用程序需要大量的CPU资源，那么可以将这个参数设置为接近或等于可用CPU核心的总数,否则推荐设置为CPU核心数的70%~80%左右 | |
| 磁盘IO调优 | spark.local.dir | 用于设置本地磁盘临时目录存储路径 | /tmp | 设置为具有足够磁盘空间的本地目录路径，以确保Spark应用程序有足够的空间来存储中间结果和其他缓存数据 |
| spark.shuffle.file.buffer | 用于设置Shuffle操作的缓冲区大小 | 32k | 64k或128k | |
| spark.reducer.maxSizeInFlight | 用于设置Reducer的最大输出大小 | 48m | 128m或256m | |
| 网络IO调优 | spark.rpc.message.maxSize | 用于设置RPC消息的最大大小 | 128MB | 如果您的应用程序需要处理大规模数据，可以将这个参数的值增加到512MB或更高 |
官方配置项（3.3.0版本）说明
http://spark.incubator.apache.org/docs/3.3.0/configuration.html
2.2 数据调优
2.2.1 如何选择合适的存储数据库
适合大数据存储和分析的数据库类型，因业务场景不同而有所不同，如下为SuperMap GIS产品中适合大数据存储分析的数据库类型、介绍及优缺点简要说明：
| 数据库类型 | 数据库介绍 | 优缺点 |
|---|---|---|
| Hadoop HDFS | Hadoop HDFS是Hadoop分布式文件系统的缩写，它是一个分布式文件系统，核心设计思想是将大文件分成块（block），并将这些块存储在不同的节点上，实现高可靠性、高吞吐量的数据访问，并支持在大规模集群上存储和处理数据 | 优点：可扩展性强，支持PB级别的数据存储； 缺点：不适合存储结构化数据，读写性能相对较低 |
| PostGIS | PostGIS基于PostgreSQL的一个开源的空间地理信息系统扩展，适用于存储和处理空间数据。它支持复杂的空间查询和分析，具有较高的可靠性和性能 | 优点：适合存储空间数据，具有处理空间数据的能力，提供了许多用于空间数据操作的函数和操作符，可以进行空间数据的查询和分析； 缺点：不适合存储非空间数据 |
| 其它 | 达梦、瀚高、禹贡、人大金仓、Oracle | 优点：支持的数据库种类繁多，满足各种数据库连接读取需求； 缺点：大部分数据库不能以JDBC方式读取，分布式读写性能比不上支持JDBC的库 |
综上所述，根据具体的应用场景和需求，可以选择不同的数据库，以下为各个场景的推荐库：
| 应用场景 | 推荐数据库 |
|---|---|
| 数据量上千万，支持存储地理分区要素数据集，写入DSF目录 | Hadoop HDFS |
| 需要存储和处理空间数据 | PostGIS |
| 需要存储到关系型数据库 | 达梦、瀚高、禹贡、人大金仓、Oracle 等 |
2.2.2 数据库调优
HDFS
HDFS调优，主要修改Hadoop/etc/hadoop/hdfs-site.xml文件：
- 增加数据块大小：可以通过增加HDFS数据块大小来提高读取性能。在hdfs-site.xml配置文件中，可以设置dfs.blocksize参数，默认为128MB。
- 增加副本数：可以通过增加HDFS数据块的副本数来提高读取性能和数据可靠性。在hdfs-site.xml配置文件中，可以设置dfs.replication参数，默认为3。
- 启用压缩：可以通过启用数据压缩来减少磁盘空间占用和网络传输开销。在hdfs-site.xml配置文件中，可以设置io.compression.codecs参数，选择需要的压缩算法，如org.apache.hadoop.io.compress.GzipCodec。
PostGIS
PostGIS调优，主要修改PostgreSQL/data/postgresql.conf：
- 增加缓存：可以通过增加缓存大小来提高读取性能。可以通过postgresql.conf配置文件中的shared_buffers参数来设置缓存大小，默认为128MB，通常建议设置为系统内存的1/4到1/3。
- 调整查询计划：可以通过调整查询计划来提高查询性能。可以通过postgresql.conf配置文件中的effective_cache_size(通常建议将其设置为系统内存的一半)、work_mem(建议设置为shared_buffers的1/16到1/8之间)等参数来调整查询计划。
- 启用字段索引：可以通过启用索引来提高查询性能。可以通过CREATE INDEX命令或pgAdmin等工具来创建索引，如：
CREATE INDEX idx_name ON table_name (column_name) WHERE column_name > 0;
- 空间索引：可以通过调整PostGIS的索引来提高查询性能。可以通过CREATE INDEX命令或pgAdmin等工具来创建索引，如：
CREATE INDEX mytable_gist_idx ON mytable USING gist (geom);
- 使用空间聚合：如ST_Union、ST_Collect和ST_ConvexHull等，可以将多个几何对象合并成一个对象。使用空间聚合可以减少查询的数据量，从而提高查询性能。
2.2.3 数据优化
除数据库配置优化外，对于具体的数据和数据量，本文主要推荐2种做法：
- 保证精度前提下，减少参与计算和分析的数据量
○常用办法：抽稀或者用数据库函数等操作去简化数据
- 数据量不可变情况下，为数据创建索引
○常用办法：参考2.2.2数据库调优及2.3SuperMap GIS产品调优部分
2.3 SuperMap GIS产品调优
2.3.1 SuperMap GIS引擎调优
GIS软件中，针对不同数据库使用的连接引擎有所不同，不同连接引擎支持数据库不同、优势存在差异，具体情况如下：
JDBC
- 引擎对应的连接数据库有：PostGIS、OracleSpatial
- 引擎介绍:Java数据库连接的缩写，是Java语言中用于连接和操作关系型数据库的API。JDBC提供了一个标准的接口，使得Java程序可以连接到不同的关系型数据库，并执行SQL查询和更新操作。JDBC可以在Java应用程序和数据库之间建立一条连接，并提供了一系列的接口和方法，用于执行SQL语句、处理结果集、管理事务等操作
- 优点：可在集群模式下可以实现分布式读写，极大提升性能
- 缺点：JDBC方式目前只支持读取PostGIS和OracleSpatial中的空间数据
- 调优方式：参考2.2.2数据库调优部分
DSF
- 引擎对应的连接数据库有：Hadoop HDFS
- 引擎介绍：分布式空间文件引擎（Distributed Spatial File，以下简称DSF），能够管理矢量、栅格和影像数据，兼备大体量空间数据的高性能分布式存取、空间查询、统计、分布式分析、空间可视化及数据管理能力
- 优点：DSF更加适合全量空间数据的高性能分布式计算，能够进一步强化海量经典空间数据的分布式存储和管理能力，显著提高大数据量的计算性能
- 缺点：数据需要提前建立地理分区索引，比直接从矢量数据读取分析会多一步操作。
- 调优方式:构建合适的索引
格网索引：数据分布比较均匀时使用该索引，需要设置一个合适的行列号，行列数目的设置依据每个格网内对象数据，形成的格网中对象数目控制在一定程度，比如面对象10w以内，点50w以内
四叉树索引：数据分布不均匀，呈现明显的聚集特点时使用该索引。地理分区要素数据集中每个分区对象数目最大值处理原则一般是，将数据集以 DSF
方式存储，每个 DSF 文件大小不超过 Hadoop 块文件大小（默认情形下，Hadoop 块大小是
256M）。例如点类型的要素数据集为50w对象，国土地类图斑数据为5w对象等
SDX
- 引擎对应的连接数据库有：达梦、瀚高、禹贡、人大金仓、Oracle 、PostGIS等
- 引擎介绍：SDX是SuperMap的空间引擎技术，它提供了一种通用的访问机制（或模式）来访问存储在不同引擎里的数据。这些引擎类型有数据库引擎、文件引擎和Web 引擎
- 优点：SDX面支持目前的主流商用关系数据库平台，提供了R树索引、四叉树索引、动态索引（多级格网索引）和图幅索引（三级索引），充分发挥每一种索引的优势，提高了数据访问和查询效率
- 缺点：由于SDX读写都是整库取到内存中，分布式读写效率不高
- 调优方式：通过桌面端提前对数据创建合适的空间索引与字段索引
2.3.2 JDBC、DSF、SDX该如何选择
| 使用场景 | 推荐的引擎 |
|---|---|
| 千万级别以上的数据 | DSF |
| 常规使用 | JDBC |
| 对于数据存储到不支持JDBC和DSF的库 | SDX |
三、可能遇到的问题及解决办法
问题一：Spark运行过程中报错java.Lang.UnsatisfiedinkError:supermap.data.EnvironmentNative.jni GetBasePath()Ljava/lang/String;
解决方案：这是由于没能读取到JAVA组件，需要检查JAVA组件是否已安装、安装后在系统中配置是否正确、是否缺少依赖；待组件配置正常后，再重新提交任务即可。
四、更便捷的大数据分析方式
使用SuperMap GIS产品时，您可通过多种方式使用大数据分析。在此，推荐您使用SuperMap GIS中GPA模块（SuperMap iDesktopX与SuperMap iServer中均有提供）
- GPA提供100+算子，支持扩展自定义工具，开发人员无需编写复杂代码，便可以通过可视化建模简单快捷的搭建自己的业务流程，实现空间数据处理与分析过程的自动化；
- 对于Spark调优参数支持UI界面直接修改，无需重复修改Spark配置文件；
- 已有业务模型，支持导出与导入，可以方便快捷地共享复用，极大降低大数据分析的使用门槛。
