Kudu优化

导入数据

• 全量导入kudu
  先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表

注意：由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认hive的表都是text格式；每次导完到临时表，需要做invalidate metadata 表操作，不然后面直接导入kudu的时候会查不到数据

客户端

• 除了查询，建议所有impala操作都在impala-shell而不在hue上面执行

参数

• memory_limit_hard_bytes：impala并发写入kudu的时候，数据量比较大的时候，kudu配置参数 memory_limit_hard_bytes能大点就大点，因为kudu写入首先保存再内存里面，到一定阀值才溢写到磁盘，这个是直接最能提高写的方法；
• maintenance_manager_num_threads：当然不是所有机器都有那么多资源，可以把maintenance_manager_num_threads 这个参数稍微调大，需要调试，提高数据从内存写入磁盘的效率

impala查询kudu

• 首先所有表做完全量的ETL操作，必须得执行compute stats 表名，不然impala执行sql生成的计划执行数评估的内存不准确，容易评估错误导致实际执行不了

• kudu表最好不要做任何压缩，保证原始扫描性能发挥最好；假如对查询性能要求比存储要求高的话；大部分企业对实时查询效率要求高，而且存储成本毕竟低；

• kudu针对大表要做好分区，最好range和hash一起使用，前提是主键列包含能hash的id，但range分区一定要做好，经验告诉我一般是基于时间；

• 查询慢的sql，一般要拿出来；方便的话做下explain，看下kudu有没有过滤部分数据关键字kudu predicates；假如sql没问题，那在impala-shell执行这个sql，最后执行summray命令，重点查看单点峰值内存和时间比较大的点，对相关的表做优化，解决数据倾斜问题

数据删除

• 大表不要delete，不要犹豫直接drop，在create吧；磁盘空间会释放的

impala-kudu对比impala-parquet

• 首先两个解决的场景不一样，kudu一般解决实时，hive解决的是离线（通常是T + 1或者 T -1）
• hive基于hdfs，hdfs已经提供一套较为完善的存储机制，底层数据和文件操作便利；安全性，可扩展性都比kudu强很多，最重要parquet + impala效率要比kudu高，数仓首选是它
• kudu最大优势是能做类似关系型数据库一样的操作，insert, update, delete，这样热点的数据可以存储在kudu里面并随时做更新

Kudu主键的限制

• 表创建后主键不可更改；
• 一行对应的主键内容不可以被Update操作修改。要修改一行的主键值，需要删除并新增一行新数据，并且该操作无法保持原子性；
• 主键的类型不支持DOUBLE、FLOAT、BOOL，并且主键必须是非空的(NOT NULL)；
• 自动生成的主键是不支持的；
• 每行对应的主键存储单元(CELL)最大为16KB。

Kudu列的限制

• MySQL中的部分数据类型，如DECIMAL, CHAR, VARCHAR, DATE, ARRAY等不支持；
• 数据类型以及是否可为空等列属性不支持修改；
• 一张表最多有300列。

Kudu表的限制

• 表的备份数必须为奇数，最大为7；
• 备份数在设置后不可修改。
• Kudu单元（Cells）的限制
• 单元对应的数据最大为64KB，并且是在压缩前。

Kudu分片的限制

• 分片只支持手动指定，自动分片不支持；
• 分片设定不支持修改，修改分片设定需要”建新表-导数据-删老表”操作；
• 丢掉多数备份的Tablets需要手动修复。

Kudu容量限制

• 建议tablet servers的最大数量为100；
• 建议masters的最大数量为3；
• 建议每个tablet server存储的数据最大为4T（此处存疑，为何会有4T这么小的限制？）；
• 每个tablet server存储的tablets数量建议在1000以内；
• 每个表分片后的tablets存储在单个tablet server的最大数量为60。

Kudu其他使用限制

• Kudu被设计为分析的用途，每行对应的数据太大可能会碰到一些问题；
• 主键有索引，不支持二级索引(Secondary indexes)；
• 多行的事务操作不支持；
• 关系型数据的一些功能，如外键，不支持；
• 列和表的名字强制为UTF-8编码，并且最大256字节；
• 删除一列并不会马上释放空间，需要执行Compaction操作，但是Compaction操作不支持手动执行；
• 删除表的操作会立刻释放空间。