网络数据爬虫-遇到打开记事本没有数据

查根源

可能是没有爬取到数据

 1.在控制台尝试打印爬取到的数据
 如果有数据显示，那就可能是另外一种情况

可能是文件没有及时关闭

在爬取后要及时关闭文件，使用fp.close()语句

案例展示

#这是一个爬取58同城二手房的爬虫代码
import requests
from lxml import etree
url = 'https://cs.58.com/ershoufang/'
headers = {
    
    
    'User-Agent': '这里填自己的身份标识'
}
#爬取页面源码
page_text = requests.get(url=url,headers=headers).text
# print(page_text)  #可以检测是否爬取到数据
#数据解析
tree = etree.HTML(page_text)
# print(tree)
divlist = tree.xpath('//section[@class="list"]/div')
# print(divlist)
fp = open('./58.txt','w',encoding='utf-8')
for li in divlist:
    title = li.xpath('./a/div[2]/div/div/h3/text()')[0]
    fp.write(title+'\n')
    print(title + '    ----输入成功!!!')
fp.close()  #及时关闭文件
print("ok")

身份标识如何查找

1. 在浏览器随便找一个页面，右击鼠标选中检查
2. 再点击网络，往下翻就可以看见