python爬虫（一）简单爬取文字写入txt

最近开始自学python爬虫，通过观看韦老师的教学视频。刚学会了用一些简单代码爬取一些网页上的文字，本人python代码亲测可用。我们选择爬取豆瓣网上（https://read.douban.com/provider/all）的出版社名字。

首先导入相应模块。并利用urllib.request.rulopen打开豆瓣网，并把读取到的数据赋值给data。

import urllib.request
import re
data=urllib.request.urlopen("https://read.douban.com/provider/all").read()

然后将读取到的数据解码。

data=data.decode("utf-8")

打开豆瓣网的源代码找到出版社出现位置。

构建正则表达式。

pat='="name">(.*?)<'
mydata=re.compile(pat).findall(data)

最后将爬取到的出版社存入到.txt文件下。最后不要忘记关闭文件。

file=open("E:/spider/fh.txt","w")
for i in range (len(mydata)):
    file.write(mydata[i]+"\n")
file.close()

完整代码如下。

import urllib.request
import re
data=urllib.request.urlopen("https://read.douban.com/provider/all").read()
data=data.decode("utf-8")
pat='="name">(.*?)<'   
mydata=re.compile(pat).findall(data)
print(mydata)
file=open("E:/fh.txt","w")  
for i in range (len(mydata)):
    file.write(mydata[i]+"\n")
file.close()