本文主要实现利用Python向Mysql数据按主键去重追加写入更新数据,写入数据源为Dataframe类型,可用于爬虫等需要去重追加更新数据的场景。
本文参考网络上相关写入Mysql的代码并作出以下几点优化:
- 无需指定需要写入的列名称
- 变量名称均用``括起,解决部分特殊变量名引起的报错
- 将整个追加写入过程包装成了外部工具类,仅需简单引用即可解决数据追加写入的问题
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# 读取本地 excel 数据集到 Dataframe 中, 调用数据库工具类 DBUtils 中的insert_data 追加写入数据到数据库中
import os
import pymysql
import pandas as pd
from DBUtils import DBUtils
# 读取数据集
file_path = os.getcwd() + '/'
data = pd.read_excel(file_path + "data.xlsx")
data.fillna("", inplace=True) # 替换NaN,否则数据写入时会报错,也可替换成其他
# 连接数据库,定义变量
db = pymysql.connect(host='192.168.1.1', user='root', password='1234', port=3306, db='database_name')
cursor = db.cursor()
table = "table_name" # 写入表名
# 写入数据
DBUtils.insert_data(DBUtils(db, cursor, data, table))
#!/usr/bin/env python
# -*- coding:utf-8 -*-
class DBUtils:
"""
数据库工具类
"""
""":param
db: 数据库连接: db = pymysql.connect(host='192.168.1.1', user='root', password='1234', port=3306, db='database_name')
cursor: 数据库游标: cursor = db.cursor()
data: 需写入数据: Dataframe
table: 写入表名
"""
def __init__(self, db, cursor, data, table):
self.db = db
self.cursor = cursor
self.data = data
self.table = table
# 按主键去重追加更新
def insert_data(self):
keys = ', '.join('`' + self.data.keys() + '`')
values = ', '.join(['%s'] * len(self.data.columns))
# 根据表的唯一主键去重追加更新
sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=self.table,
keys=keys,
values=values)
update = ','.join(["`{key}` = %s".format(key=key) for key in self.data])
sql += update
for i in range(len(self.data)):
try:
self.cursor.execute(sql, tuple(self.data.loc[i]) * 2)
print('正在写入第%d条数据' % (i + 1))
self.db.commit()
except Exception as e:
print("数据写入失败,原因为:" + e)
self.db.rollback()
self.cursor.close()
self.db.close()
print('数据已全部写入完成!')
注意:用此种写入方式写入速度较慢,不建议用于数据量较大的场景。