「ナゲッツ・セーリングプログラム」に参加しています
バックグラウンド
数日前、仕事の都合で、チーム リーダーがデータ クリーニング タスクを手配してくれました。
タスク: テーブル A のデータをテーブル B にウォッシュします。
私の最初の反応は、「洗う」とは何ですか?データロンダリングとは?私はマネーロンダリングについて知っています。
でも慌てても仕方ないので、チームリーダーに聞いてみました。
私: チーム リーダー、データをテーブル A からテーブル B に洗い流すとはどういう意味ですか?
チームリーダーは無力な様子で、手で顔を覆い、鉄は鋼ではないことを嫌い、それを調整しました.彼はまだ辛抱強く私に言いました.テーブル A とテーブル B 意味は同じですが、値が異なる場合があります。テーブル A からテーブル B にデータを取得する過程で、データを正しくする必要があります。
私の限られた理解に基づいて、私は当時、いわゆる「洗浄データ」をよく理解していませんでした.AテーブルのフィールドはBテーブルのフィールドと一致しませんでした.Aのフィールドは明らかにBの畑と名前が付けられた畑もありましたが、Bとは違いますが、表情は同じですが、どうやって洗うのですか?
そこで必死にデータの洗い方を検索!
ここでは、テーブル A とテーブル B をそれぞれ示す例を示しますが、もちろん、フィールドの一部のみをリストしているだけであり、フィールドの数は非常に多いと仮定しています。
A 表
テーブル フィールド:name, province_id, city_id, area_id, tech_id, crop_id, field_id, create_time, update_time, xxx, yyy, zzz, ...
テーブル A にはテーブル B よりも多くのフィールドがあります。テーブル A のデータをテーブル B に洗い流し、必要なフィールドのみを処理し、不要なフィールドは無視する必要があります。
テーブル A には 20,000 を超えるレコードがあり、自分で挿入したテーブル B には 200 を超えるレコードがあります。
もちろん、A テーブルが与えられた後、エンティティ モデルも与えられます (JavaBean、エンティティ、多くの名前、ベルとホイッスル)
public class A {
private String name;
private Long provinceId;
private Long cityId;
private Long areaId;
private Long techId;
private Long cropId;
private Date createTime;
private Date updateTime;
...
}
复制代码
フォームB
B テーブル フィールド:name, province_id, city_id, area_id, mature_id, crop_id, create_time, update_time
シーンを復元する
以下では、テスト環境でデータベースの 2 つのテーブルをシミュレートします。上記はテーブル A (20,000 レコード以上、ここでは 7 のみをシミュレート) であり、次のテーブル B (200 レコード以上) です。
データ洗浄のアイデア
まず、テーブル B の意味に一致するテーブル A のフィールドを見つけてから、テーブル A のすべてのデータをテーブル B に挿入します。
そのため、次のフィールドを見つけました。
name, province_id, city_id, area_id, tech_id, crop_id, update_time
その後、新しく挿入されたデータは B テーブルで処理されます。つまり、データはウォッシュされます。
写 SQL 操作
主要的 SQL 语句是:
INSERT INTO 目标表(字段1, 字段2, ...) SELECT 字段1, 字段2, ... FROM 来源表 WHERE 条件;
复制代码
于是,便这样操作:
INSERT INTO b(name, province_id, city_id, area_id, mature_id, crop_id, update_time)
SELECT name, province_id, city_id, area_id, tech_id, crop_id, update_time FROM a;
复制代码
操作是正常的,成功将 A 中 2 万多条记录全部插入到了 B 中。
但是!我漏了一个字段,就是 create_time
。
于是,想着对这个字段进行更新,将 A 中这个字段更新到 B 中。
于是写了一条SQL语句。
UPDATE b(create_time) SET create_time = (SELECT create_time FROM a);
> 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '(create_time) SET create_time = (SELECT create_time FROM a)' at line 1
复制代码
噢,看来不能这样更新啊!(一个大嘴巴子过去,写错了还没发现)
换种写法:
UPDATE b AS tb, (SELECT create_time FROM a) AS ta SET tb.create_time = ta.create_time;
复制代码
可以,噩梦开始了!
更新了非常久,看着十几秒的SQL执行到六七百秒还没执行完,心里着实很慌!眼看着数据库可能会崩,我不得不向我的组长求救了!
这时问题出现了,有人数据库连接不上了,可见这严重性,已经影响到其他人的使用了!
于是我组长来帮我处理了,想着 kill 掉我的 navicat
,但是 kill 掉还是没效果,毕竟这个 SQL 已经在执行了。
我:能不能重启这个 MySQL 服务?
组长一波连环炮过来了
组长:重启?你知道这个 MySQL 有多少人在用吗?又不只是我们在用,你重启其他人怎么搞?
我哑口无言,心里非常忐忑,想着闯祸了,GG,就看着他操作。没过多久,经过他的一顿操作,终于解决了这个问题。我的心里的一块悬着的大石终于放下了,还好解决了。组长牛逼,救世主!
我:如何解决的?
组长:将这个事务回滚解决的,你更新的 SQL 怎么写的?(努力回想)
于是写出了上面写的 SQL:
UPDATE b AS tb, (SELECT create_time FROM a) AS ta SET tb.create_time = ta.create_time;
复制代码
组长:你为什么这样写?不应该把子查询写在 SET tb.create_time
后面吗?
我:对啊,我一开始就是把这个子查询写在它后面的,但是提示我语法错误,我就换了一种写法。
组长:那你写写你说提示错误的 SQL。
于是我又丢出来一个 SQL:
UPDATE b SET create_time = (SELECT create_time FROM a);
复制代码
实际上,这条 SQL 也是不行的,子查询返回的结果不止一行,而当前 SET 是更新某一行的。
正确的写法是:
UPDATE b AS tb
SET create_time = (SELECT create_time FROM a AS ta WHERE tb.id = ta.id AND tb.name = ta.name)
复制代码
最后组长深思,你 B 表已经有 2 万多条记录了,A 表也有 2 万多条记录,你这样更新,每一次都需要子查询查出 A 表的 2 万多条记录,B 也有 2 万多条记录,这样成笛卡尔积了,你知道什么是笛卡尔积吧?2 万 × 2 万 = 4 亿的记录行了,难怪这么久。
让我重新操作,那么现在我会在原先的SQL加上WHERE条件,这样写:
UPDATE b AS tb, (SELECT create_time, name FROM a) AS ta
SET tb.create_time = ta.create_time
WHERE tb.id = ta.id AND tb.name = ta.name;
复制代码
总结
情况:漏了某一个字段 X,需要将 A 表的这个字段列值更新到 B 表
条件:A 中的 id 字段的值等于 B表中的 id 字段的值 且 A 中的 name 字段的值等于 B 中 name 字段的值(条件为什么这样写?)。
条件这样写主要是因为 表和表之间的关联关系 可能有多个字段,此处只选二个字段,多个依此类推。
操作:
- 一张表的数据插入到另一张表,可以这样写:
INSERT INTO 目标表(字段1, 字段2, ...) SELECT 字段1, 字段2, ... FROM 来源表 WHERE 条件;
复制代码
- 批量更新一张表的某个字段到另一张表,那么 SQL 可以类似这样写:
# 写法一
UPDATE b AS tb
SET create_time = (SELECT create_time FROM a AS ta WHERE tb.id = ta.id AND tb.name = ta.name)
# 写法二
UPDATE b AS tb, (SELECT create_time, name FROM a) AS ta
SET tb.create_time = ta.create_time
WHERE tb.id = ta.id AND tb.name = ta.name;
复制代码
所谓洗数据:在我的理解中,就是把旧数据,按照新数据的规则把旧数据不正确的值修改正确,同时把这些旧数据插入到新数据中,成为新数据。举个例子,A 表中的 province_id,值为 10 代表 广东,而 B 表中的 province_id ,值为 19 代表 广东,把 A 表中的数据插入到 B 表的过程中,把值为 10 修改为 19,这样插入的数据才能在 B 表中正确表示 广东,这个过程就是「洗数据」,当然,也可以在插入后再修改,不管过程是怎样,最终能把数据的值修改正确,就是洗数据!
教训:
- 数据量大的表,少在测试环境操作,要操作尽量保证写的 SQL 是正确的,能在本地环境操作就现在本地环境操作!
- 能用 Java 代码进行操作,优先写 Java 代码操作!
最后的最后
由本人水平所限,难免有错误以及不足之处, 屏幕前的靓仔靓女们
如有发现,恳请指出!
最后,谢谢你看到这里,谢谢你认真对待我的努力,希望这篇博客对你有所帮助!
你轻轻地点了个赞,那将在我的心里世界增添一颗明亮而耀眼的星!