猫哥教你写爬虫 031--爬虫基础-html

回顾

浏览器原理

爬虫工作原理

可以requests.get() 来获取网上的数据

HTML回顾

HTML的学习依序分为三个层次，应该是读懂、修改、编写

只有读懂了HTML，才能看得懂网页结构，才有可能运用Python的其他模块去解析数据和提取数据

什么是html

HTML（Hyper Text Markup Language）是用来描述网页的一种语言，也叫超文本标记语言

HTML之于网页就好比建筑图纸之于建筑

html, css, js的关系

HTML标签

网页头和网页体

属性

id和class

id 是一对一的关系, class是一对多的关系

小作业: 获取网页源代码...

localprod.pandateacher.com/python-manu…

小总结

import requests #调用requests库
from bs4 import BeautifulSoup
# 获取数据
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
# res.status_code 状态码
# res.content 二进制
# res.text html代码
# res.encoding 编码
# 解析数据
# soup 是beautifulsoup对象
soup = BeautifulSoup(res.text,'html.parser')
# soup.find(标签名,属性=属性值)
# soup.find_all(标签名, 属性=属性值)
# 提取数据 list 里面是tag对象
item = soup.find_all('div',class_='books')
for i in item:
    # i.find().find().find() # tag对象, 可以一级一级找下去
    # i.find_all()
    # i 是tag对象, 也可以使用find和find_all, 得到结果还是tag对象
    # i.find().find().find().find()
    print(i.find('a',class_='title').text) # 获取标签内容
    print(i.find('a',class_='title')['href']) # 获取标签属性(href)
    print(i.find('p',class_='info').text) # 获取标签内容
复制代码

快速跳转:

转载于:https://juejin.im/post/5cfc4ada6fb9a07ef63fcfd0

猫哥教你写爬虫 031--爬虫基础-html

回顾

浏览器原理

爬虫工作原理

可以requests.get() 来获取网上的数据

HTML回顾

HTML的学习依序分为三个层次，应该是读懂、修改、编写

只有读懂了HTML，才能看得懂网页结构，才有可能运用Python的其他模块去解析数据和提取数据

什么是html

HTML（Hyper Text Markup Language）是用来描述网页的一种语言，也叫超文本标记语言

HTML之于网页就好比建筑图纸之于建筑

html, css, js的关系

HTML标签

网页头和网页体

属性

id和class

id 是一对一的关系, class是一对多的关系

小作业: 获取网页源代码...

localprod.pandateacher.com/python-manu…

小总结

快速跳转:

猜你喜欢