import urllib.request
import urllib
import re
import pymysql
conn=pymysql.connect(host=‘localhost’,
user=‘root’,
password=‘123’,
db=‘test’,
charset=‘utf8’
)
cursor = conn.cursor()
cursor.execute(“DROP TABLE IF EXISTS anjuke”)
sql = “”“CREATE TABLE anjuke(anjuke varchar (250))”""
cursor.execute(sql)
from bs4 import BeautifulSoup
for i in range(1,5):
url = ‘https://beijing.anjuke.com/tycoon/p’+str(i)+’/’
user_agent = ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)’
headers = {‘User-Agent’:user_agent}
request = urllib.request.Request(url,headers = headers)
response = urllib.request.urlopen(request)
content = response.read().decode(‘utf-8’)
soup = BeautifulSoup(content,‘html.parser’)
soup = BeautifulSoup(content, ‘html.parser’)
title = soup.find_all(‘div’, class_=‘jjr-itemmod’)
for a in title:
part1 = a.text.replace(‘’,’-’)
part2 = part1.replace(’ ‘, ‘’)
part3 = part2.replace(’\n’, ‘’)
print(part3)
cursor.execute(“INSERT INTO anjuke(anjuke) VALUES (’%s’);” % (part3))
conn.commit()
conn.close()
学习总结
在这个任务中真的是学习到了很多东西，虽然这个任务不是很难（把之前的所有爬取的东西，写入数据库，有很多这里就不一一列举了，就举一个安居客的吧！！！）
1.首先安装MySQL（这里之前安装错了，然后再重新安装，就装不上了，足足花了我三天的时间。最后才知道原来是卸载后有数据残留，到安装的最后一步starting server总是报错）
解决方法：找到c盘中的appdata（注意这是个隐藏文件），打开之后搜索mysql，删除所有关于mysql的文件，重新启动电脑，重新安装，选择custom更改安装路径，然后就OK了
2.然后就是MySQL的操作了
很简单：创增删改查关嘛