Python数据开发实战-连接clickhouse读取数据返回dataframe格式（附源码和实现效果）

实现功能

Python数据开发实战-连接clickhouse的两种方式

实现代码

# 方法一：基于clickhouse_connect
import clickhouse_connect

client = clickhouse_connect.get_client(host="你的服务器地址", port='你的port', database='你的db',user="你的用户名" ,password="你的password")
sql = 'select * from data_mgmt.gha_activity_2023_02'
#res = client.command(sql)
res = client.query(sql)
print(res.result_set)


# 方法二：基于sqlalchemy
from sqlalchemy import create_engine
import pandas as pd
from clickhouse_sqlalchemy import make_session

conf = {
    "server_host": '你的服务器地址',
    "port": '输入你的port',
    "user": '你的用户名',
    "password": '输入你的password',
    "db": '输入你的db'
}
connection = 'clickhouse://{user}:{password}@{server_host}:{port}/{db}'.format(**conf)
engine = create_engine(connection)
sql = 'select * from data_mgmt.gha_activity_2023_02'

# 2.1
df=pd.read_sql_query(sql,engine)

# 2.2
session = make_session(engine)
cursor = session.execute(sql)
try:
    fields = cursor._metadata.keys
    df = pd.DataFrame([dict(zip(fields, item)) for item in cursor.fetchall()])
finally:
    cursor.close()
    session.close()

实现效果

本人读研期间发表5篇SCI数据挖掘相关论文，现在某研究院从事数据挖掘相关科研工作，对数据挖掘有一定认知和理解，会结合自身科研实践经历不定期分享关于python机器学习、深度学习、数据挖掘基础知识与案例。

致力于只做原创，以最简单的方式理解和学习，关注V订阅号：数据杂坛，联系我获取更多技能和源码。