DataFrame <--> sql

尝试了各种把Excel，csv格式导入数据库，却总是出现各种各样的额错误，后来发现python的pymasql库不支持

"pd.io.sql.to_sql(data, "file_name", con=engine, index=False, if_exists='replace')"方法。

接下来用sqlalchemy库做sql -> DataFrame的处理：

read_sql：

参见pandas.read_sql的文档，read_sql主要有如下几个参数：

sql：SQL命令字符串
con：连接sql数据库的engine，一般可以用SQLalchemy或者pymysql之类的包建立
index_col：选择某一列作为index
coerce_float：非常有用，将数字形式的字符串直接以float型读入
parse_dates：将某一列日期型字符串转换为datetime型数据，与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换，也可以用字典的格式提供列名和转换的日期格式，比如{column_name: format string}（format string："%Y:%m:%H:%M:%S"）。
columns：要选取的列。一般没啥用，因为在sql命令里面一般就指定要选择的列了
chunksize：如果提供了一个整数值，那么就会返回一个generator，每次输出的行数就是提供的值的大小。
params：见pandas.read_sql的文档

代码如下：

import pymysql
import sqlalchemy
from sqlalchemy import create_engine

#用sqlalchemy构建数据库链接engine
connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE)  #1
engine = create_engine(connect_info)

#sql 命令
sql_cmd = "SELECT * FROM table WHERE ***"
df = pd.read_sql(sql=sql_cmd, con=engine)

#用DBAPI构建数据库链接engine
con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
df = pd.read_sql(sql_cmd, con)

to_sql:

参见pandas.to_sql函数，主要有以下几个参数：

name：输出的表名
con：与read_sql中相同
if_exits：三个模式：fail，若表存在，则不输出；replace：若表存在，覆盖原来表里的数据；append：若表存在，将数据写到原表的后面。默认为fail
index：是否将df的index单独写到一列中
index_label：指定列作为df的index输出，此时index为True
chunksize：同read_sql
dtype：指定列的输出到数据库中的数据类型。字典形式储存：{column_name: sql_dtype}。
常见的数据类型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等，具体数据类型可以参考这里

代码如下：

#把df_raw_all/df_sq_in/df_db_in写入mysql
from sqlalchemy import create_engine
mysqlInfo = {
    "host": '10.101.11.198',
    "user": 'root',
    "password": '123456',
#    "database": 'user_dev',
    "database": 'item_dev',
    "port": 3306,
    "charset": 'utf8'
}
engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % mysqlInfo, encoding='utf-8')
#engine = create_engine('mysql+pymysql://amrw:qubPbNoITJ4tDzjw@localhost1:3306/etcpdw_dev')
pd.io.sql.to_sql(df_raw_bj, "own_business", con=engine, index=False, if_exists='replace')

利用python把pandas的DataFrame格式写入数据库和读出数据库数据

DataFrame <--> sql

read_sql：

猜你喜欢