データ分析は、データベースから切り離せない、どのように接続MySQLデータベースへのpythonを使用して、CRUD操作を実行するには？
我々はまた、データベースに大量のデータをインポートする必要が発生し、どのように効率的に大規模なデータをインポートするためのPythonを使用するには？
この記事では、一つ一つを説明し、コードと例となります。
I.背景
私はアナコンダのノートブック、環境Python3.6での接続実験だった、もちろん、Pythonシェルの内部で動作させることができます。
MySQLのデータベースのPythonライブラリのための最も一般的で最も安定した接続がPyMySQLです。
そのため、この資料はPyMySQL MySQLデータベース、CRUD操作を接続し、大量のデータを記憶する使用を論じています。
参考PyMySQL公式ドキュメントと保存されたデータの「pythonのデータ収集」を参照してください。
原稿を読むためにようこそ、誰もが、私はより徹底的に理解になると考えています。
第二に、基本的な操作
1、インストールPyMySQLライブラリー
最も簡単な方法：
コマンドラインでpip install pymysql
または：
ダウンロードファイルWHLインストールは、インストールプロセス自体が百度。
2、MySQLデータベースをインストール
MySQLとMariaDB、私は後者MariaDBを使用します。二つのカテゴリーMySQLデータベースがあります。
ほとんどのプロパティの両方を使用すると、違いを感じていないものを、互換性があります。
ダウンロードに与える：MySQLの、MariaDBは、インストールプロセスは、次のステップへのすべての方法は非常にシンプルですが、あなたのパスワードを覚えておくこと。
小さなエピソードがあり、MySQLとMariaDBは姉妹との関係、の同じ人（Widenius氏）によって作成された両方に相当します。オラクルによるMySQLのの買収後、氏Widenius氏はその後、不快に感じる完全にMySQLを置き換えることができ、MariaDBを上演しました。ダニエルはわがままです。
3、SQLの基本的な構文
ここでは、テーブル、クエリ、データの挿入や他の機能、SQL言語の基本的な文の簡単な概要を作成するには、次のSQLを使用します。
-
Viewデータベース：
SHOW DATABASES； -
データベースを作成します。
CREATE DATEBASE 数据库名称； -
使用データベース：
USE 数据库名称； -
データシートを見ます：
SHOW TABLES； -
データテーブルを作成します。
CREATE TABLE 表名称（列名1 （数据类型1），列名2 （数据类型2））； -
データを挿入します。
INSERT INTO 表名称（列名1，列名2） VALUES（数据1，数据2）； -
データを表示：
SELECT * FROM 表名称； -
データを更新します。
UPDATE 表名称 SET 列名1=新数据1，列名2=新数据2 WHERE 某列=某数据；
図4に示すように、データベースに接続します
あまりにも、必要なファイルやライブラリをインストールした後、その後、謎が困難ああでなくても、データベースへの接続を開始！
#首先导入PyMySQL库
import pymysql
#连接数据库，创建连接对象connection
#连接对象作用是：连接数据库、发送数据库信息、处理回滚操作（查询中断时，数据库回到最初状态）、创建新的光标对象
connection = pymysql.connect(host = 'localhost' #host属性
user = 'root' #用户名
password = '******' #此处填登录数据库的密码
db = 'mysql' #数据库名
)
このコードの実装が接続されています！
5、CRUD操作
まず、どのようなデータベースで見てみましょう：
#创建光标对象，一个连接可以有很多光标，一个光标跟踪一种数据状态。
#光标对象作用是：、创建、删除、写入、查询等等
cur = connection.cursor()
#查看有哪些数据库，通过cur.fetchall()获取查询所有结果
print(cur.fetchall())
すべてのデータベースをプリントアウト：
(('information_schema',),
('law',),
('mysql',),
('performance_schema',),
('test',))
テスト・データベース内のテーブルを作成します。
#使用数据库test
cur.execute('USE test')
#在test数据库里创建表student，有name列和age列
cur.execute('CREATE TABLE student(name VARCHAR(20),age TINYINT(3))')
データテーブルに生徒データを挿入します。
sql = 'INSERT INTO student (name,age) VALUES (%s,%s)'
cur.execute(sql,('XiaoMing',23))
データシート生徒のコンテンツを表示します。
cur.execute('SELECT * FROM student')
print(cur.fetchone())
:( '暁明'、23）印刷
ビンゴ！私達はちょうどデータを挿入しました
最後に、カーソルとの接続をオフにすることを忘れないでください：
#关闭连接对象，否则会导致连接泄漏，消耗数据库资源
connection.close()
#关闭光标
cur.close()
OK、全体のプロセスとほぼ同じ。
もちろん、非常に基本的な操作は、メソッドを使用して、あるより必要とPyMySQL公式文書を行くために探して。
第三に、大きなデータファイルのインポート
例えばcsvファイル、データベースにCSVファイルに2つの方法があります。
1は、データのCSVファイルの少量のため、insertメソッドを介して導入SQLは、ここでは詳述されていません。
図2は、負荷データを導入する方法により、高速、大容量のデータファイルに適した本論文の焦点です。
サンプルCSVファイルを次のように
全体的な作業は3つの段階に分かれています。
図1に示すように、PythonのMySQLデータベースに接続されています。
図2は、CSVファイル形式フィールドに基づいてテーブルを作成します。
図3に示すように、CSVファイルをインポートする負荷データコンテンツを利用する方法。
導入SQL負荷データの構文：
LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES
csv_file_pathこれは、ファイルの絶対パスを意味する
table_nameテーブルの名前を意味する
FIELDS TERMINATED BY ','カンマ区切りを指す
LINES TERMINATED BY '\\r\\n'指ラップ
IGNORE 1 LINESテーブルように、第1行、フィールド名の最初の行をスキップ
すべてのコードは以下の通りであります：
#导入pymysql方法
import pymysql
#连接数据库
config = {'host':'',
'port':3306,
'user':'username',
'passwd':'password',
'charset':'utf8mb4',
'local_infile':1
}
conn = pymysql.connect(**config)
cur = conn.cursor()
#load_csv函数，参数分别为csv文件路径，表名称，数据库名称
def load_csv(csv_file_path,table_name,database='evdata'):
#打开csv文件
file = open(csv_file_path, 'r',encoding='utf-8')
#读取csv文件第一行字段名，创建表
reader = file.readline()
b = reader.split(',')
colum = ''
for a in b:
colum = colum + a + ' varchar(255),'
colum = colum[:-1]
#编写sql，create_sql负责创建表，data_sql负责导入数据
create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'
data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name)
#使用数据库
cur.execute('use %s' % database)
#设置编码格式
cur.execute('SET NAMES utf8;')
cur.execute('SET character_set_connection=utf8;')
#执行create_sql，创建表
cur.execute(create_sql)
#执行data_sql，导入数据
cur.execute(data_sql)
conn.commit()
#关闭连接
conn.close()
cur.close()
