我是使用mysql数据库来管理爬取的数据,所以pymsql这个库是必不可少的,可以通过pip或pycharm下载。
下面最基本的知识,了解了,就足够对应大多数情况了。
import pymysql #这个库用于和mysql数据库交互,可以通过pip下载
db = pymysql.connect("localhost", "username", "password", "db_name") #连接数据库
cursor = db.cursor() #想操作数据库的必须调用的函数,一个光标对象
cursor.execute("DROP TABLE IF EXISTS type_links") #执行操作数据库的语句,都要用这个执行函数,参数就是命令语句,与终端操作mysql的语句一样
sql = """CREATE TABLE type_links (
link char(50) NOT NULL,
PRIMARY KEY (link)
)""" #也可将语句放在一个字符串中,再调用
cursor.execute(sql)
db.commit() # 同步数据,如果没有这个函数那么程序对数据库的操作,数据不会同步到数据库中,比如没有此函数,程序将数据插入数据库没有报错,但在数据库终端查询时,会发现数据表没有发生改变。再或者每次执行插入语句时,没有调用此函数,那么一旦程序运行过程中报错,之前插入成功的数据也不会保存到数据库中。所以建议每次对表进行修改,插入或删除操作后都调用一次此函数
db.close()
因为语句与mysql客户端是一样的所以,任何操作命令只要以字符串的形式作为参数给execute()这个函数就可以执行了。