古いデータをきれいにするプロジェクトを推進するために、

1.背景

  初期データクリーニングした後、データの過程で作業を行うと、減衰していきます。洗浄方法の作業を行うには、再びデータ、その後の崩壊の初期クリーニング(データに代わってタスクを正常に行う可能です)した後も、検出されたデータを使用することができます。一部のデータは、彼らが仕事、古いデータクリーニングサイクル機能の設計のためのこの分析の結果を行うことができたときに後の冷却時間、冷却時間を有することができると考えましたさ。

2、デザイン

2.1、すべての履歴テーブルを維持するためにデータの10日間、例えば:2019年8月31日のデータに2019年8月20日に2019年8月11日と2019年8月21日を表すhis_cookie_t2019082、his_cookie_t2019083。

テーブルキー内のすべての10件の以上のすべての履歴データが削除重複cookie_clean_t最初の洗浄セグメント・テーブルに挿入されるため2.2。

2.3、cookie_succ_tを満たすために、データ・ストレージの通常の洗浄;

2.4、第一の洗浄データ(cookie_succ_t)準拠システム、及び通常動作データ(cookie_used_t)洗浄マッチング(cookie_succ_t)を繰り返す取引に関連するデータを削除します。

タスクを実行するために一列に割り当てられた2.5データ(cookie_succ_t)。

2.6、ロボットが正常にタスクのRedisに保存されているUUIDデータを行います。

2.7、挿入Redisのデータ(cookie_used_t)繰り返し使用の通常の動作にシステムからデータを抽出しました。

おすすめ

転載: www.cnblogs.com/xx0829/p/11566834.html