3.1mongoDB ：ソート
db.getCollection（ 'test_zhouketao'）（{}）を求めるソート（{ '_ ID'：1}）。
设置增量：{$と：[{ 'daas.lastUpdateTime'：{$ GTE：「$ {BEGIN_DATE}}}、{ 'daas.lastUpdateTime'：{$ LT：「$ {END_DATE}}}]}
3.2 コンテナ内のチェックマイクロサービスのログコマンド
ドッキングウィンドウのPS | grepのアダプタ
ドッキングウィンドウのexec -it [docker_id] bashの
/ usr / local / tomcatに/ログ
/データ/ admatmp
SOURCE_PATH dst_path /：[docker_id]ドッキングウィンドウのCP：ドッキングウィンドウには、サーバーのルートディレクトリのコマンドにファイルをコピーします
タスクを公開チェックのオンラインは失敗は、tail -f ZTE-ITP-dcp-はgrep 'edw_test_quote_adma_0805' | adapter.log
3.3 サーバー上で実行さ sparksql environmentコマンド
スパーク環境サーバアドレス（テスト環境試験タスク）10.5.21.133、ルート/ Zte_133_it、環境コマンドにsparksql：1）sparksql; 2）使用zxvmax; 3）は表ods_alm_testを作成表示します
3.4 サーバー上で実行さHDFS environmentコマンド
指揮下HDFS環境（テスト環境テストタスク）10.5.21.133は、パスを表示：HDFS DFS -ls /
3.5カフカのログサンプル
ZTE-ITP-DCP-adapter_app INFO 10237221 10237221 - 192.169.213.147 10.31.6.126のApache-HttpClientを/ 4.5.2（Javaの/ 1.8.0_191）d.zte.com.cn / ZTE-ITP-DCP-アダプタ/タスク/割り当て{} 192.169.123.116 POST 2019年8月29日午前12時32分五十七秒0800 OK- - - - - HTTP / 1.1 - - - - - ZTE-ITP-DCP-データモデリングZTE-ITP-DCP-アダプタTaskCommitService - - - - ZTE-ITP-DCP-datamodeling192.169.65.235 ^ 1566915850240 ^ 218278から8913088503369124154 -5415999034902090158 { "X-EMP-いいえ"： "10237221"} - ZTE-ITP-DCP-アダプタ{ "virtualTaskSet"：[{ "virtualTaskName "：" edw_intrmgmt_qm " "ERRCODE"： "0131"、 "errInfo"： "テーブル（zxvmax.edw_intrmgmt_qm_optical_binding_relation）が見つかりません"、 "タスクセット"：[{ "タスク名"： "edw_intrmgmt_qm_power_ic_delivery_info_qy_temp2"、 "ID"：0、" ERRCODE "：" 0131"、 "errInfo"： "テーブル（zxvmax.edw_intrmgmt_qm_optical_binding_relation）が見つかりません"}]}]、 "taskPreCheckRsp"： ""} HTTP-NIO-8080-EXEC-10 ZTE-ITP-DCP-アダプタ/ 358 com.zte.itp .dcp.adapter.task.service.TaskCommitService
com.zte.itp.dcp.adapter.callback.service.CallbackServiceImpl [79] - | task_assign_result_msg、MSG：：{ "PROCESSID"： "e3135bbbc38c4fb495928e9ee55e1564"、 "taskAssignResults"：[{ "isSuccess"： "真"、 "のtaskId"： "367017264220766208"、 "タスクリスト"：[{ "errInfo" カフカのMSG、キーを送ります： ""、 "insID"： "4601"、 "isSuccess"： "真"、 "タスク名"： "ods_alm_liuyue_test_0905_4_liuyue_res1_ztetmp（2019年12月2日午前7時15分00秒）"}、{ "errInfo"： ""、」 insID "：" 4602" 、 "isSuccess"： "真"、 "タスク名"： "ods_alm_liuyue_test_0905_4_zte02"}]、 "taskVerCode"： "V1.0.6"}]}
3.6のOracle データベースの設定刻み条件
LAST_UPDATED_DATE> = TO_DATE（$ [lastexcutedate]、 'YYYY-MM-DD HH24：MI：SS'）
sync_date> = TO_DATE（SUBSTR（$ [lastexcutedate] -5,1,10）、 'YYYY-MM-DD'）とsync_date <SYSDATEとTO_CHAR（sync_date、 'YYYY-MM-DD'）> = '2020から01 -20'
3.6.1 MySQLの時間関数変更手段
STR_TO_DATE選択（UPDATE_DATEを、 '％Y-％M-％D％H：％I：％S'）my_date、DATE_FORMATとして（CREATEDATE、 '％Y-％M-％D％H：％I：％S'） liuyue_test_hourから。
UPDATE_DATE> = STR_TO_DATE（SUBSTR（$ [lastexcutedate] -5,1,10）、 '％Y-％M-％D％H：％I：％S'）とUPDATE_DATE <SYSDATE（）およびDATE_FORMAT（UPDATE_DATE、」 ％Y-％M-％D '）> =' 2020' 年1月20日
3.7 ADMAのタスクは、クエリーログを実行することができませんでした
bundleresult
3.8 内側および外側テーブル
ない外部の修飾された内部テーブル（管理テーブル）、修飾された外部およびストレージパスハイブデータウェアハウス：（HDFS /名前空間/火花/ ） 外側テーブル（の外部表）。
違い：
1）内部管理テーブルのデータ自体ハイブをすることによって、データがHDFS外部のテーブルで管理されています。
2）内部テーブルデータ格納位置はhive.metastore.warehouse.dir（デフォルト：/ユーザ/ハイブ/倉庫）、自身で設定された外側のテーブルデータの格納位置。
3）削除は、直接内部テーブルのメタデータ（メタデータ）を削除し、データを格納し、HDFSと削除されることはありません上の唯一のメタデータファイル、外部表の削除削除します。
4）は、外側テーブル構造とパーティションテーブルが変更された際に、内部テーブルは、直接同期メタデータを修復する必要が修正される（MSCK REPAIRのテーブルtable_nameを変更します。）
3.9 ビュー建table文
テーブルzxvmax.edw_dim_employee_csを作成して表示し
3.10 寸法 SQLを説明します。
tmp01（1）すべてのデータテーブルODS;（2）だけテーブル構造を満たすために、ここで生成されたプロキシキーだけでなく、再生TMP03
tmp02 Nの（1）の実効値（2）勾配カラム名に変更;（3）ODSテーブルは削除されています
変化にゆっくりと添加したレコード（ここではすべてのプロキシのキーを再生成し、生成さを記録した後（2）; TMP03（1）全ての有効フラグがNではない、最後の更新空白のレコードIDが現在の時刻に設定されているではありません遅い変化と自然キー新しいレコード）。
Tmp02 + TMP03データは、論理テーブルに挿入されます。Wangliang魏
ジッパー3.10インクリメンタル事実SQLを説明します。
テーブル過去のジップから毎日 ODSデータセットへのNに、データの完全な量にODSから一日保存すると、現在の時間のためにY、開始時間に設定されています
TMP1 （全データ1）表ODS;（2）開始時刻として現在時刻を、終了時刻が空であります
TMP2（2）EDW TMP1の開始時に任意の元のテーブルデータ終了時刻は、NULLに終了時刻をODS（無効にすべてのアクティブなODSに対応するデータを、元の有効なデータ・セット）
TMP3（3）元のテーブルと有効フラグでTMP2終了時刻が終了時刻がNULL Yに設定されているTMP2ないNULLは、Nであります
3.11 データ統合増分 SQLを説明します。
パートI：のレビュー
パートII：新
パートIII：変更なし
3.12 データ統合増分ドリフトパーティションが処理されない SQLを説明します。
新しいパーティションの値だけ最初の更新データを、更新データは、元のパーティションの部分と一致しない、元のパーティションは書き換えられません。
パートI：のレビュー
パートII：新
パートIII：ヌル（データは他のドリフト行ったパーティションからのデータを含む、元のパーティションのままです）
データは、新しいパーティションの値がある、データを更新する更新された第2は、元のパーティションを書き換え、その後、元のパーティションに部分を重ねてきました。
パートI：のレビュー
パートII：新
パートIII：そこ重複データを見つけるためのパーティションがあり、オリジナルのテーブルIDのデータが更新されていないされていない（データ、すなわち何の変化もが、ゾーニングの変更は離れて浮い）
3.13 処理するデータ統合増分ドリフトパーティション SQLを説明します。
パートI：のレビュー
パートII：新
パートIII：変更なし
3.14 左抗参加和左半に参加します
TABLE1 T1のSELECT * FROMは、抗参加左table2のT2のt1.name = t2.name ---左反交差点は、部品表で除去される参加
TABLE1 T1のSELECT * FROM抗table2のT2にt1.name = t2.name ---左半表1に参加するために参加し、表2交差点参加左
要するに、左と左半は参加アンチがプライマリ・テーブル内のすべてのフィールドを取らはなく、表2に参加します。それは次のように記述することはできません。
抗table2のT2のt1.name = t2.nameに参加左TABLE1 t1から選択t2.name
3.15 コード補完ツール TabNine
タスク--python edw_engsrv_dpm_site_bom_satisfaction --- 251環境
3.16 アリ雲のUI テスト自動化：F2etest
3.17キンボール次元モデリング理論
3.18 PostgreSQLのデータ・ソース・エラー
Java.lang.numberFormatException：For.input.string：」2.97664e + 06”
データベースで次の文を実行し、実行結果が空でない、ユーザー権利の問題ことを示す、認可を増加させる必要性
所有者、t1.table_name、table_commentとしてキャスト（VARCHARとしてobj_descriptionと（t2.relfilenode、 'のpg_class'））、合体（t2.reltuples、0）TABLE_ROWS、連結（t1.table_schema、 ''、T1としてt1.table_schemaを選択.table_name）INFORMATION_SCHEMA.TABLES T1、T2のpg_classここt1.table_name = t2.relnameからschema_table_nameとして
テーブルからフィールドを抽出します：
ここで、T1のpg_class T1、T2のpg_attribute、information_schema.COLUMNS T3からDATA_LENGTHとしてDATA_TYPE、col_description（）関数column_commentとして（t2.attrelid、t2.attnum）、 '0' としてt3.column_name、FORMAT_TYPE（t2.atttypid、t2.atttypmod）を選択します。 relname = t3.table_nameとt2.attname = t3.column_nameとt2.attrelid = t1.oidとt2.attnum> 0とt3.table_schema =？そしてt3.table_name =？
Spark_pg実行エラー：
"TBLS"、 "DBS" からTABLE_ROWSように、テーブル名として、所有者としてschema_table_name、。 "所有者" として（ '' "tbl_nameをを" B。 "NAME"、）。 "tbl_nameをを" 連結を選択0 B。 "DB_ID" = B。 "DB_ID"
3.19 PostgreSQLのライブラリのユーザー権限リストにあるデータベースクエリ
INFORMATION_SCHEMA.role_table_grantsから選択*どこ付与者= 'postgresの' とTABLE_SCHEMA = 'postgresの';
3.20 AlibabaのDATAXの情報
https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md