python 异步MySQL存库
对于异步框架而言，这些延迟是无法接受的。因此, Twisted 提供了 twisted.enterprise.adbapi, 遵循DB-API 2.0协议的一个异步封装。
adbapi 在单独的线程里面进行阻塞数据库操作, 当操作完成的时候仍然通过这个线程来进行回调。同事，原始线程能继续进行正常的工作，服务其他请求。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
# 用twisted库将数据进行异步插入到数据库
import
pymysql
from
twisted.enterprise
import
adbapi
from
twisted.internet
import
reactor
class
MysqlTwistedPipeline(
object
):
def
__init__(
self
, dbpool):
self
.dbpool
=
dbpool
@classmethod
def
from_settings(
cls
, settings):
# 需要在setting中设置数据库配置参数
dbparms
=
dict
(
host
=
settings[
'MYSQL_HOST'
],
db
=
settings[
'MYSQL_DBNAME'
],
user
=
settings[
'MYSQL_USER'
],
passwd
=
settings[
'MYSQL_PASSWORD'
],
charset
=
'utf8'
,
cursorclass
=
pymysql.cursors.DictCursor,
use_unicode
=
True
,
)
# 连接ConnectionPool（使用MySQLdb连接，或者pymysql）
dbpool
=
adbapi.ConnectionPool(
"MySQLdb"
,
*
*
dbparms)
# **让参数变成可变化参数
return
cls
(dbpool)
# 返回实例化对象
def
process_item(
self
, item, spider):
# 使用twisted将MySQL插入变成异步执行
query
=
self
.dbpool.runInteraction(
self
.do_insert, item)
# 添加异常处理
query.addCallback(
self
.handle_error)
def
handle_error(
self
, failure):
# 处理异步插入时的异常
print
(failure)
def
do_insert(
self
, cursor, item):
# 执行具体的插入
insert_sql
=
"""
insert into jobbole_artitle(name, base_url, date, comment)
VALUES (%s, %s, %s, %s)
"""
cursor.execute(insert_sql, (item[
'name'
], item[
'base_url'
], item[
'date'
], item[
'coment'
],))
|
对于异步框架而言，这些延迟是无法接受的。因此, Twisted 提供了 twisted.enterprise.adbapi, 遵循DB-API 2.0协议的一个异步封装。
adbapi 在单独的线程里面进行阻塞数据库操作, 当操作完成的时候仍然通过这个线程来进行回调。同事，原始线程能继续进行正常的工作，服务其他请求。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
# 用twisted库将数据进行异步插入到数据库
import
pymysql
from
twisted.enterprise
import
adbapi
from
twisted.internet
import
reactor
class
MysqlTwistedPipeline(
object
):
def
__init__(
self
, dbpool):
self
.dbpool
=
dbpool
@classmethod
def
from_settings(
cls
, settings):
# 需要在setting中设置数据库配置参数
dbparms
=
dict
(
host
=
settings[
'MYSQL_HOST'
],
db
=
settings[
'MYSQL_DBNAME'
],
user
=
settings[
'MYSQL_USER'
],
passwd
=
settings[
'MYSQL_PASSWORD'
],
charset
=
'utf8'
,
cursorclass
=
pymysql.cursors.DictCursor,
use_unicode
=
True
,
)
# 连接ConnectionPool（使用MySQLdb连接，或者pymysql）
dbpool
=
adbapi.ConnectionPool(
"MySQLdb"
,
*
*
dbparms)
# **让参数变成可变化参数
return
cls
(dbpool)
# 返回实例化对象
def
process_item(
self
, item, spider):
# 使用twisted将MySQL插入变成异步执行
query
=
self
.dbpool.runInteraction(
self
.do_insert, item)
# 添加异常处理
query.addCallback(
self
.handle_error)
def
handle_error(
self
, failure):
# 处理异步插入时的异常
print
(failure)
def
do_insert(
self
, cursor, item):
# 执行具体的插入
insert_sql
=
"""
insert into jobbole_artitle(name, base_url, date, comment)
VALUES (%s, %s, %s, %s)
"""
cursor.execute(insert_sql, (item[
'name'
], item[
'base_url'
], item[
'date'
], item[
'coment'
],))
|