3.1mongoDB : Sort
db.getCollection ( 'test_zhouketao') encontrar ({}) tipo ({ '_ id': 1})..
设置增量: {$ e: [{ 'daas.lastUpdateTime': {$ gte: '$ {BEGIN_DATE}'}}, { 'daas.lastUpdateTime': {$ lt: '$ {end_date}'}}]}
3.2 Verificação de comando log micro serviço no recipiente
docker ps | adaptador grep
janela de encaixe exec -é [docker_id] festa
/ Usr / local / tomcat / logs
/ Dados / admatmp
copiar Docker os arquivos para o comando diretório raiz do servidor: estivador cp [docker_id]: source_path dst_path /
Verifique on-line publicando tarefa falhar tail -f ZTE-ITP-DCP- adapter.log | grep 'edw_test_quote_adma_0805'
3.3 executado no servidor sparksql comando ambiente
ambiente faísca endereço do servidor (tarefa teste ambiente de teste) 10.5.21.133, root / Zte_133_it; sparksql para os comandos do ambiente: 1) sparksql; 2) o uso zxvmax; 3) mostram criar ods_alm_test mesa
3.4 executado no servidor HDFS comando ambiente
ambiente hdfs (tarefas de teste do ambiente de teste) 10.5.21.133, sob o comando exibir o caminho: hdfs dfs -ls /
3,5 kafka amostra log
ZTE-ITP-dcp-adapter_app INFO 10237221 10237221 - 192.169.213.147 10.31.6.126 Apache-HttpClient / 4.5.2 (Java / 1.8.0_191) d.zte.com.cn / ZTE-ITP-dcp-adaptador / task / Atribuir {} 192.169.123.116 POST 2019/08/29 12:32:57 0800 ok-- - - - HTTP / 1.1 - - - - - zte-ITP-DCP-modelagem de dados zte-ITP-DCP-adaptador TaskCommitService - - - - ZTE-ITP-dcp-datamodeling192.169.65.235 ^ ^ 1566915850240 218278-8913088503369124154 -5415999034902090158 { "X-Emp-No": "10237221"} - ZTE-ITP-dcp-adaptador { "virtualTaskSet": [{ "virtualTaskName ":" edw_intrmgmt_qm " "errCode": "0131", "errInfo": "mesa (zxvmax.edw_intrmgmt_qm_optical_binding_relation) não encontrado", "taskset": [{ "taskName": "edw_intrmgmt_qm_power_ic_delivery_info_qy_temp2", "id": 0" errCode ":" 0131", "ErrInfo": "mesa (zxvmax.edw_intrmgmt_qm_optical_binding_relation) não encontrado"}]}], "taskPreCheckRsp": ""} http-nio-8080-exec-10-zte ITP-DCP-adaptador / 358 com.zte.itp .dcp.adapter.task.service.TaskCommitService
com.zte.itp.dcp.adapter.callback.service.CallbackServiceImpl [79] - | enviar Kafka msg,-chave: task_assign_result_msg, msg: { "processID": "e3135bbbc38c4fb495928e9ee55e1564", "taskAssignResults": [{ "isSuccess": "true", "taskId": "367017264220766208", "Lista de Tarefas": [{ "errInfo" : "", "dentr": "4601", "isSuccess": "true", "taskName": "ods_alm_liuyue_test_0905_4_liuyue_res1_ztetmp (2019/12/02 07:15:00)"}, { "errInfo": ""," dentr ":" 4602" , "isSuccess": "true", "taskName": "ods_alm_liuyue_test_0905_4_zte02"}], "taskVerCode": "v1.0.6"}]}
3.6 do Oracle condições incrementos de configuração de banco de dados
LAST_UPDATED_DATE> = to_date ($ [lastexcutedate], 'AAAA-MM-DD HH24: MI: SS')
sync_date> = to_date (substr ($ [lastexcutedate] -5,1,10), 'aaaa-MM-DD') e sync_date <sysdate e to_char (sync_date, 'aaaa-MM-DD')> = '2020-01 -20'
3.6.1 Mysql significa mudança de função de tempo
seleccionar STR_TO_DATE (UPDATE_DATE, '% Y% m-% d% H:% I:% s') como my_date, DATE_FORMAT (createdate, '% Y% m-% d% H:% I:% s') de liuyue_test_hour;
UPDATE_DATE> = STR_TO_DATE (substr ($ [lastexcutedate] -5,1,10), '% Y% m-% d% H:% I:% s') e UPDATE_DATE <sysdate () e date_format (UPDATE_DATE,' % Y% m-% d ')> =' 2020/01/20'
3.7 ADMA tarefa falhada para executar o log de consulta
bundleresult
3,8 tabelas internas e externas
Não tabela externa modificada interno (tabela gestão), um externos modificado caminhos e armazenamento colmeia armazém de dados (HDFS: / espaço de nomes / faísca / ) da tabela externa ( Tabela externo);
diferença:
1) pelo próprio colmeia dados da tabela de gestão internos, dados é controlado pelos HDFS tabela externa;
2) os dados da tabela internos posição de armazenamento é hive.metastore.warehouse.dir (padrão: / utilizador / colmeia / armazém), uma posição de armazenamento do conjunto de dados de tabela externa por si só;
3) Remover exclui metadados direta tabela interna (metadados) e armazenamento de dados; tabela externa exclusões excluir somente o arquivo de metadados sobre o HDFS e não será excluído;
4) para modificar as tabelas internas irá ser modificado para metadados directamente sincronização, enquanto a estrutura da tabela exterior e tabela de partição é modificado, a necessidade de reparação (MSCK REPARAÇÃO TABELA nome_da_tabela;)
3.9 declaração mesa Ver Jian
SHOW CREATE zxvmax.edw_dim_employee_cs tabela
3.10 Dimensão SQL explicar:
tmp01 (1) todas as tabelas de dados ODS, (2) uma chave proxy gerado aqui apenas para satisfazer a estrutura da tabela, mas também a tmp03 regenerada
tmp02 (1) o valor efectivo de N; (2) uma alteração no nome da coluna em gradiente; (3) de mesa ods foi deletada
tmp03 (1) toda a bandeira válido é não N, última actualização ID de registro em branco é definido para o tempo atual não é; (2) o registro após a gravação muda lentamente adicionado (aqui regenerar todas as chaves de proxy, gerado mudança lenta e chave natural novo recorde);
Tmp02 + tmp03 dados inseridos na tabela de lógica. Wangliang Wei
3.10 Incremental fato zipper SQL explicar:
Zip passado a mesa todos os dias a partir ods para o conjunto de dados de N, poupando o dia do ODS para a quantidade total de dados é definido para Y, a hora de início para o tempo actual
TMP 1 ( todos os dados 1) ODS Tabela; (2) o tempo corrente como a hora de início, o tempo final é vazia
TMP 2 (2) a EDW qualquer momento final de dados de tabela original para a hora de início de tmp1, ODS o tempo final para NULL (dados correspondentes a todos os ODS activas, o original conjunto de dados válidos para inválido)
tmp3 (3) da mesa e original tempo TMP 2 fim em uma bandeira válido é não nulo é N, TMP 2 o tempo final é definido como NULL Y
3.11 Integração de Dados incrementais SQL explicar:
Parte I: Revisão da
Parte II: novo
Parte III: nenhuma mudança
3.12 Integração de Dados partição deriva incrementais não manipula SQL explicar:
Um primeiro os dados de actualização, apenas o valor da nova partição, a actualização de dados não é coincidente com as porções divisórias originais, a partição original não é reescrita.
Parte I: Revisão da
Parte II: novo
Parte III: nula (ainda são os dados na partição original, incluindo os dados de outro deriva partição iam)
A segunda, dados atualizados, há novos valores de partição, atualizar os dados se sobrepõem parte com a partição original, em seguida, reescrever a partição original.
Parte I: Revisão da
Parte II: novo
Parte III: Há partições para encontrar dados duplicados, e os dados do ID de tabela original não é atualizada (ou seja, nenhuma mudança nos dados, mas a mudança de zoneamento flutuou para longe)
3,13 integração de dados de processamento de partição deriva periódica SQL explicar:
Parte I: Revisão da
Parte II: novo
Parte III: nenhuma mudança
3.14 anti LEFT JOIN和semi LEFT JOIN
Select * from t1 table1 deixou anti juntar table2 t2 em t1.name = t2.name --- anti LEFT JOIN intersecção é removido em uma mesa parte
Select * from t1 table1 deixou anti juntar table2 t2 em t1.name = t2.name --- semi LEFT JOIN para participar na Tabela 1 e Tabela 2 intersecção
Em suma, semi esquerda e da esquerda se juntar à Junte Anti tomado todos os campos na tabela primária, mas não na Tabela 2. Ele não pode ser escrita como:
Select t2.name de t1 table1 deixou anti juntar table2 t2 em t1.name = t2.name
3.15 código de ferramenta de conclusão TabNine
edw_engsrv_dpm_site_bom_satisfaction tarefa --python --- 251 ambiente
3.16 Ali nuvem UI de automação de teste: F2etest
3,17 Kimball teoria modelagem dimensional
3,18 PostgreSQL erro fonte de dados
Java.lang.NumberFormatException: For.input.string:”2.97664e + 06”
Execute a seguinte instrução no banco de dados, o resultado da execução não está vazia, indicando que as questões de direitos de usuário, a necessidade de aumentar autorizada
selecionar t1.table_schema como proprietário, t1.table_name, cast (obj_description (t2.relfilenode, 'pg_class') como varchar) como table_comment, coalesce (t2.reltuples, 0) table_rows, concat (t1.table_schema, '', t1 .table_name) como schema_table_name de information_schema.tables t1, t2 pg_class onde t1.table_name = t2.relname
Extraindo campos da tabela:
seleccionar t3.column_name, format_type (t2.atttypid, t2.atttypmod) como data_type, col_description (t2.attrelid, t2.attnum) como column_comment, '0' como data_length de pg_class t1, t2 pg_attribute, INFORMATION_SCHEMA.COLUMNS t3 onde t1. relname = t3.table_name e t2.attname = t3.column_name e t2.attrelid = t1.oid e t2.attnum> 0 e t3.table_schema =? e t3.table_name =?
Erro de execução Spark_pg:
selecione concat (b. "NAME", '', a. "nome_tabela") como schema_table_name, a. "dono" como proprietário, um. "nome_tabela" como table_name, 0 como table_rows de "TBLS" um, "DBS" b onde um. "DB_ID" = b. "DB_ID"
3.19 PostgreSQL consultas de banco de dados em uma lista de permissões de usuário de uma biblioteca
seleccionar * de INFORMATION_SCHEMA.role_table_grants onde bolseiro = 'postgres' e table_schema = 'postgres';
3,20 Alibaba Datax informações
https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md