备忘录-GXLZ

mysql:192.168.3.201 root/123456  bat_base_data_v1.6  object_type表
code='0202' 电话号码 

show create table t_tag_type_bak1;                                 
CREATE TABLE db_kudu.t_tag_type_bak1 (   code BIGINT NOT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   path STRING NOT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   p_code BIGINT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   code_name STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   remark STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   insert_date BIGINT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   code_kind STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   type STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,   PRIMARY KEY (code, path) ) PARTITION BY HASH (code, path) PARTITIONS 16 STORED AS KUDU TBLPROPERTIES ('kudu.master_addresses'='t1m1.tcloud.com:7051,c3s1.cloud.com:7051')

update t_tag_type_bak1 set path=concat(path,'/') where code=1004
SELECT * from base_code where CODE_KIND='jz_code_ajzt'

柳州合成作战登录
http://www.higovnet.net:8044/crim-info-sys-web/ 202889/12345a

查询所有子孙
select * from t_tag_type_bak2 m start with m.code=2017 connect by m.p_code=prior m.code;

查询所有上辈
select code from t_tag_type_bak1 m start with code='2' connect by prior m.p_code=m.code

sudo find / -name go_other_stream-1.0.0

assembly.xml

话单同步程序在203，govnetapp/chenfeng

--字段查询
select A.COLUMN_NAME,A.COMMENTS,DATA_TYPE,DATA_LENGTH,NULLABLE,COLUMN_ID from ALL_COL_COMMENTS a,all_tab_comments B,ALL_TAB_COLUMNS C where a.owner='I_ANALY' AND B.OWNER='I_ANALY' AND A.OWNER=B.OWNER AND A.TABLE_NAME=B.TABLE_NAME AND A.TABLE_NAME='GATHER_APP_EC_BUDDY'
AND C.OWNER='I_ANALY' AND C.TABLE_NAME=A.TABLE_NAME AND A.COLUMN_NAME=C.COLUMN_NAME;
SELECT * FROM ALL_COL_COMMENTS

---kafka命令：
kafka-topics --create --zookeeper 192.168.3.201:2181 --replication-factor 2 --partitions 3 --topic test    创建kafka topic
kafka-topics --delete --zookeeper 192.168.3.201:2181 --topic test   删除topic
kafka-topics --zookeeper 192.168.3.201:2181 --describe --topic test   查看指定topic信息
Partition： 分区
Leader ： 负责读写指定分区的节点
Replicas ： 复制该分区log的节点列表
Isr ： "in-sync" replicas，当前活跃的副本列表（是一个子集），并且可能成为Leader。

kafka-topics --zookeeper 192.168.3.201:2181 --list     查看所有topic列表
kafka-console-producer --broker-list 192.168.3.201:9092 --topic test     控制台向topic生产数据
kafka-console-consumer  --zookeeper 192.168.3.201:2181  --topic test --from-beginning    控制台消费topic的数据    --from-beginning会显示历史消息
kafka-topics --describe --zookeeper 192.168.3.201:2181 --topic test3    查看topic详情

-- 在kafka中查看数据是否推送成功
kafka-console-consumer  -zookeeper 192.168.3.201:2181 --from-beginning --topic hmc_topic2611
-- 在kafka中kafka消费情况
kafka-consumer-offset-checker --zookeeper 192.168.3.201:2181 --topic hmc_topic2611 --group GoDataBaseOds_13
kafka-consumer-offset-checker --zookeeper 192.168.1.12:2181 --topic hmc_topic2611 --group GoDataBaseOriginal_test21
vnc远程桌面
192.168.3.204:5903  密码:govnet

时间转长整型
SELECT imptime,
       unix_timestamp(imptime,'yyyy/mm/dd HH:mm:ss.SSSSSS') imptime_l,
       to_utc_timestamp('2013-11-15 17:10:39.354431000','yyyy-mm-dd HH:mm:ss.SSSSSS'),
       to_date('2011-12-08 10:03:01')
FROM gather_person_bill_info;
select regexp_replace('abc','a','');
select start_time,start_time/1000,from_unixtime(cast(start_time/1000 as bigint), 'yyyy-MM') from t_dm_object_case

kafka到ods_ls部署在在3.201

查看文件：nl  ..startup.sh

开发环境策略配置
select * from cache_policy_conf t order by create_time desc;
INSERT INTO cache_policy_conf (ID, CACHE_ID, CACHE_GROUP, CACHE_DESC, POLICY_TYPE, POLICY, POLICY_STATUS, CREATE_TIME, 
UPDATE_TIME, DB_TYPE, DB_INFO) VALUES (2611, 'res_2611', 'qxda', '2611', 
'table', 'SELECT distinct rsp.*, rsp.NAME CACHE_KEY_ FROM T_RES_STANDARD_PROP rsp where rsp.res_id=''2611''and active = 1', 1, sysdate, sysdate, '1', 'driver=com.mysql.jdbc.Driver#url=jdbc:mysql://192.168.3.201:3306/bat_base_data_v1.6?characterEncoding=UTF-8#username=root#password=123456');
commit;

hive查看目录下面的文件  3.201
hadoop fs -ls /user/hive/ods_ls/t_cis_case_entries_value
 
hive删除目录下面的文件
hadoop fs -rm -r /user/hive/ods_ls/t_cis_case_entries_value

sparksession在执行创建表语句的时候会出现查询不到表的问题：
1、检查schema的接口是否能够正常获取schema数据，是否地址配置错误，如果接口正常返回还未创建表，可以检查缓存策略配置是否正确 ，可能配置在 mysql，也有可能配置在oracle
2、刷新表，使用hue的Perform incremental metadata update进行刷新，或者使用describe table; 或者hive的MSCK命令进行刷新,

--往ods中插入数据
select * from v_gazy_wbsw
insert into V_GAZY_WBSW
PARTITION (com_p_month='2016-06')
select '北海市海城区站北路北侧格林香海小区华林居D01号商铺', '450501', '广西北海市', '2016-06-07 22:49:36', '2016-06-07 19:38:25', '156', '中华人民共和国','','','','','','','','','','', '2016-06-07 19:28:03', '古丽', '1000000000701708395', '2016-06-07 22:39:09', '45050110000098', '北海市海城区蓝色时速网吧', '650521199006084932', '111', '居民身份证','2016-06'

--kudu添加表分区
ALTER TABLE sales_by_year ADD RANGE PARTITION VALUE = 2017;

alter table t_dm_object_case add columns(case_unit string comment '案发区域');
ALTER TABLE t_dm_object_case DROP COLUMN case_unit; 

--kudu访问地址  
http://192.168.3.200:7180
--删除kudu中impala表
在linux命令里输入：
kudu table delete master(master的主机名) 表名  如 kudu table delete 192.168.3.200 impala::db1.t_go_track1

select id,dxid entity_id,dxz idcard from t_dm_gjxxb where (dxz like '新%' and dxlx='2')
select id,dxz idcard,'1' fxlx,gjms fxlr, kssj fxsj, id person_info_id from t_dm_gjxxb where (dxz like '65%' and dxlx='24') ;
select * from t_per_zdryfx; 
SELECT * FROM t_per_vehicle LIMIT 100; 
SELECT * FROM t_dm_yjxxb LIMIT 100;
delete from t_dm_gjxxb where (dxz like '65%' and dxlx='24') 
select id,com_p_day,'1' yjlx,dxid yjdxid,dxz yjdxz,dxlx yjdxlx,csdm,gxqhdm,kssj,kssj_l,zbx,zby,csmc,csdz,gjms,kssj,jssj,jssj_l,gxqhmc,cjsj,cjsj_l from t_dm_gjxxb where (dxz like '65%' and dxlx='24') 
select distinct substring(kssj,1,10) from t_dm_gjxxb
select * from t_dm_gjxxb;
ALTER TABLE t_dm_yjxxb ADD RANGE PARTITION VALUE = 20170926;
drop table t_dm_yjxxb 

ALTER TABLE t_dm_gjxxb ADD RANGE PARTITION VALUE =20180608;

SELECT * FROM t_dm_object_case LIMIT 100;

--spark端口被占用，在启动脚本加入参数：
--conf spark.port.maxRetries=128

--lbs_place  
--t_cis_wifi_place wifi位置信息
--对象属性表  obj_attr
--对象类型表 obj_type
--轨迹表  pdw_ls.t_go_event_obj

--帕兰提尔palantir模型
-- hive 里面表查不到数据时
1、先在hive里执行msck repair table table_name；，即可以在hive里查询
2、再在impala里执行INVALIDATE METADATA table_name;   即可以在impala里查询

--linux 任务计划   分钟 小时 日 月 周
crontab -e
0 1 * * * /bin/sh /home/govnetapp/mxsf/go_other_stream-1.0.0/5caseTagStart.sh

--桌面不能正常复制 远程桌面复制之后，无法在本地桌面粘贴
2 在远程桌面中右键点击，选择启动任务管理器

3找到一个进行rdpclip.exe（如果有的话），杀掉它

4点击开始-运行

5输入rdpclip.exe，然后点击确定，重新启动这一进程

6查看任务管理器，该进程是否正常启动

7测试发现，可以正常复制了

----dropDuplicates 按某字段去重
subset : column label or sequence of labels, optional 
用来指定特定的列，默认所有列
keep : {‘first’, ‘last’, False}, default ‘first’ 
删除重复项并保留第一次出现的项
inplace : boolean, default False 
是直接在原来数据上修改还是保留一个副本

--shell下连接hive 
1、找到beeline目录
/home/tools/apache-hive-0.13.0-src/bin
2、连接hive
./beeline -u "jdbc:hive2://t1m1:9083/default" --hiveconf hive.server2.authentication=NONE  
!connect jdbc:hive2://192.168.3.201:10000/default  

--连接impala  内网115服务器
impala-shell

关于impala(invalidate和refresh)的操作注意事项：
1、invalidate metadata操作比refresh要重量级
2、如果涉及到表的schema改变，使用invalidate metadata [table]
3、如果只是涉及到表的数据改变，使用refresh [table]
4、如果只是涉及到表的某一个分区数据改变，使用refresh [table] partition [partition]
5、禁止使用invalidate metadata什么都不加，宁愿重启impala catalogd

-- hive 修改''代表NULL，改造存储过程中就不需要改nvl等语句
ALTER TABLE SET SERDEPROPERTIES('serialization.null.format' = '');

-- shell 执行spark sql
spark-sql

--上传
rz
--压缩
tar -czvf ./lib.tar.gz ./lib^C
--拷贝到本地
sz lib.tar.gz

--备份crontab
crontab -l>crontab_bak20180719.txt

--提高hue查询效率，客户端有效
set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx1800M;
set mapreduce.reduce.memory.mb=8192;
set mapreduce.reduce.java.opts=-Xmx2700M;
set mapreduce.reduce.tasks=2000;

--删除，新建topic
cd ~/topic_sh/
sh delete_topic.sh hmc_topic100286
sh create_topic.sh hmc_topic100286

--删除hive分区
show partitions v_js_case_cf;
alter table v_js_case_cf drop partition (com_p_day<=20180801);

--linux  压缩
zip filename.zip  folder

--yarn上面kill mapreduce
yarn application -kill xxx

-- 大文件查找
find . -type f -size +100M