第二部分：解析HTML页面+提取数据

第三部分：处理数据

一、思路

分解步骤，化繁为简

爬虫分为五步走：

发起HTTP请求：爬虫使用HTTP协议向目标网址发送请求，请求获取特定的HTML页面。这可以通过使用编程语言中的HTTP库（例如Python中的requests库）来实现。
接收HTTP响应：目标服务器接收到请求后，将返回一个HTTP响应。该响应包含了所请求的HTML页面内容。
解析HTML页面：爬虫需要解析HTML页面以提取所需的数据。这可以通过使用HTML解析库（例如Python中的Beautiful Soup库或lxml库）来实现。
提取数据：一旦HTML页面被解析，爬虫可以根据特定的选择器或XPath表达式来提取所需的数据。这些选择器或表达式可以帮助定位和提取HTML页面中的元素，如标题、链接、文本等。
处理数据：在提取数据后，爬虫可以对数据进行进一步处理、清洗或存储，以便后续分析或展示。

二、工具

解析数据的工具：如xpath、Beautiful Soup、正则表达式等很多

1、安装Beautiful Soup

是 Python 的一个第三方库，可以用来解析网页数据

pip3 install beautifulsoup4

官方文档：https://beautifulsoup.readthedocs.io/zh_CN/latest/

2、安装 lxml

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式

pip3 install lxml

三、代码处理

第一部分：发起请求+接收响应（不过多讲）

import requests

if __name__ == '__main__':
    url1="https://beautifulsoup.readthedocs.io/zh_CN/latest/"
    req=requests.get(url=url1)
    req.encoding='utf-8'
    print(req.text)

第二部分：解析HTML页面+提取数据

我们关心的数据都在标签里面

div 标签的属性有class、id

属性值分别为：section、id7

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    url = "https://beautifulsoup.readthedocs.io/zh_CN/latest/"
    req = requests.get(url)
    req.encoding = 'utf-8'
    html = req.text  # 将获取到的网页内容保存到变量html中
    bs = BeautifulSoup(html, 'lxml')
    text = bs.find('div',id="id7")
    print(text)

第三部分：处理数据

（1）做到所有最小单位的数据所在的上一级标签

（2）找到每个最小单位的数据所处的同一级标签

（3）分析最小单位标签内的详细信息所在标签

（4）完整代码：

（为了方便大家一步一步来，很多地方没最优化）


import re
import requests
from bs4 import BeautifulSoup

def get_TYC_info():
    headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}
    html = get_page(TYC_url)
    soup = BeautifulSoup(html, 'lxml')
    GS_list = soup.find('div', attrs={'class': 'index_list-wrap___axcs'})
    GS_items = GS_list.find_all('div', attrs={'class': 'index_search-box__7YVh6'})
    for item in GS_items:
        title = item.a.text.replace(item.a.span.text, "")
        link = item.a['href']
        company_type = item.find('div', attrs={'class': 'index_tag-list__wePh_'}).find_all('div', attrs={'class': 'index_tag-common__edIee'})[0].text
        money = item.find('div', attrs={'class': 'index_info-col__UVcZb index_narrow__QeZfV'}).span.text

        print(title.strip())
        print(link)
        print(company_type)
        print(money)

def get_page(url):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}
        response = requests.get(url, headers=headers, timeout=10)
        return response.text
    except:
        return ""


if __name__ == '__main__':
    TYC_url = "https://www.tianyancha.com/search?key=&base=hub&city=wuhan&cacheCode=00420100V2020&sessionNo=1688108233.45545222"
    get_TYC_info()

结果如图：

（5）逐行解释

1、导入了需要使用的模块：re用于正则表达式操作，requests用于发送HTTP请求，BeautifulSoup用于解析HTML。

import re

import requests

from bs4 import BeautifulSoup

2、自定义一个函数get_TYC_info()，用于获取天眼查（TYC）的信息

def get_TYC_info():

3、定义了请求头（headers），以模拟浏览器发送请求。

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}

4、调用自定义的get_page()函数，将TYC_url作为参数传递给它，并将返回的HTML内容赋值给变量html

html = get_page(TYC_url)

5、使用BeautifulSoup模块解析HTML，创建一个BeautifulSoup对象soup，参数'lxml'表示使用lxml解析器。

soup = BeautifulSoup(html, 'lxml')

6、从解析后的HTML中找到class属性为index_list-wrap___axcs的div元素，并将其赋值给变量GS_list

GS_list = soup.find('div', attrs={'class': 'index_list-wrap___axcs'})

7、从GS_list中找到class属性为index_search-box__7YVh6的所有div元素，并将它们存储在列表GS_items中

GS_items = GS_list.find_all('div', attrs={'class': 'index_search-box__7YVh6'})

8、遍历GS_items列表，对于每个元素，提取标题、链接、公司类型和金额信息，并打印输出。其中，title通过替换掉item.a下的span标签内的文本为空字符串来获得。link是item.a标签的href属性值。company_type通过在item内进行查找，找到class属性为index_tag-list__wePh_的div元素，然后在这个div元素下的所有class属性为index_tag-common__edIee的div元素中获取第一个元素的文本内容。money通过在item内进行查找，找到class属性为index_info-col__UVcZb index_narrow__QeZfV的div元素，然后获取其中的span标签的文本内容。

for item in GS_items: title = item.a.text.replace(item.a.span.text, "") 
    link = item.a['href']
    company_type = item.find('div', attrs={'class': 'index_tag-list__wePh_'}).find_all('div', attrs={'class': 'index_tag-common__edIee'})[0].text 
    money = item.find('div', attrs={'class': 'index_info-col__UVcZb index_narrow__QeZfV'}).span.text print(title.strip()) 

    print(link) 
    print(company_type) 
    print(money)

9、自定义了一个名为get_page()的函数，用于发送HTTP请求并返回响应的HTML内容。

def get_page(url):

10、在get_page()函数内部，首先定义了请求头（headers），然后使用requests模块发送GET请求，传递URL和请求头，并设置超时时间为10秒。如果请求成功，返回响应的HTML内容；如果出现异常，则返回

    try:
        headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}
        response = requests.get(url, headers=headers, timeout=10)
        return response.text
    except:
        return ""

11、入口程序

if __name__ == '__main__':
    TYC_url = "https://www.tianyancha.com/search?key=&base=hub&city=wuhan&cacheCode=00420100V2020&sessionNo=1688108233.45545222"
    get_TYC_info()

网络安全小圈子

README.md · 书半生/网络安全知识体系-实战中心 - 码云 - 开源中国 (gitee.com)https://gitee.com/shubansheng/Treasure_knowledge/blob/master/README.md

GitHub - BLACKxZONE/Treasure_knowledgehttps://github.com/BLACKxZONE/Treasure_knowledge

【网络安全带你练爬虫-100练】第2练：爬取指定位置数据

一、思路

二、工具

三、代码处理

第一部分：发起请求+接收响应（不过多讲）

第二部分：解析HTML页面+提取数据

第三部分：处理数据

网络安全小圈子

おすすめ