系列文章目录

前言

很多小白都是听说python可以很好的编写爬虫脚本慕名而来，我也是，终于学到爬虫部分了，前面的html语言，客户端和服务器的交互等基础就不赘述了，直接进入主题。

一、使用get方法请求数据

开发网络爬虫需要第三方模块requests，我们需要安装，语法如下：

Pip install requests

安装完成后，使用其中的get方法就可以返回结果，其功能等同于我们在浏览器输入网址，然后服务器返回一个页面给我们一样。

requests库的get方法是用于向服务器发送GET请求的。它的完整参数如下：

url:请求的URL地址。

params:查询字符串，用于传递参数。

headers:请求头信息。

cookies:Cookie信息。

proxies:代理服务器地址。

timeout:超时时间。

verify:是否验证SSL证书。

下面我们看一个小例子：

import requests
url = 'http://www.baidu.com'
try:
    req = requests.get(url)
    print(req.text)
except:
print('查询失败')

代码还是很简单的，返回的结果是：

<!DOCTYPE html>

<html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

返回的内容比较多，我删除了中间的一些代码，这个就是网站的源码。我可以看出，只要给get方法传递一个url地址就行。

二、爬取酷狗音乐排行榜

下面就进入真正的实战了，爬取酷狗音乐排行榜数据，网址是酷狗TOP500_排行榜_乐库频道_酷狗网,可以看到网页上对歌曲进行了排名。

我们右击鼠标打开检查选项，可以找到歌曲信息在Html中的位置，可以看出歌曲名称和演唱者都在<li>元素的title属性中，如果我们通过get方法获取了网页的全部内容，就可以使用正则表达式提取出我们需要的信息。

下面是实战代码

import requests
import re
url = 'https://www.kugou.com/yy/rank/home/1-8888.html'
try:
    req = requests.get(url)
    songs = re.findall(r'<li.*?title="(.*?)".*?>',req.text)
    for song in songs:
        print(song)
except:
    print('查询失败')

程序运行成功，但不是我们想要的结果，返回的是空，也就是说没有匹配到结果，为此，我增加了代码print(req.text)，看看我们获取到的返回结果是什么。

<!DOCTYPE html>

<html>

<head>

<meta charset="utf-8">

<meta http-equiv="X-UA-Compatible" content="IE=edge">

<meta name="viewport" content="width=device-width, initial-scale=1">

<title>403 Forbidden</title>

<style type="text/css">body{margin:5% auto 0 auto;padding:0 18px}.P{margin:0 22%}.O{margin-top:20px}.N{margin-top:10px}.M{margin:10px 0 30px 0}.L{margin-bottom:60px}.K{font-size:25px;color:#F90}.J{font-size:14px}.I{font-size:20px}.H{font-size:18px}.G{font-size:16px}.F{width:230px;float:left}.E{margin-top:5px}.D{margin:8px 0 0 -20px}.C{color:#3CF;cursor:pointer}.B{color:#909090;margin-top:15px}.A{line-height:30px}.hide_me{display:none}</style>

</head>

<body>

<div id="p" class="P">

<div class="K">403</div>

<div class="O I">Forbidden</div>

<p class="J A L">Error Times: Fri, 23 Jun 2023 06:40:43 GMT

<br>

<span class="F">IP: 60.174.21.124</span>Node information: CS-000-01uyG161

<br>URL: https://www.kugou.com/yy/rank/home/1-8888.html

<br>Request-Id: 64953e6b_CS-000-01uyG161_35678-151

<br>

<br>Check:

<span class="C G" onclick="s(0)">Details</span></p>

</div>

<div id="d" class="hide_me P H">

<div class="K">ERROR</div>

<p class="O I">The Requested URL could not be retrieved</p>

<div class="O">

<div>While trying to retrieve the URL:</div>

<pre class="B G">https://www.kugou.com/yy/rank/home/1-8888.html</pre></div>

<div class="M">

<span>The following error was encountered:</span>

<ul class="E">

<li class="D G">Invalid Request</li></ul>

</div>

<p class="M">The access control configuration prevents your request at this time.

<p></p>Please contact your service provider if you feel this is incorrect.</p>

<a class="N C" href="#" onclick="s(1)">return</a></div>

<script type="text/javascript">function e(i) {

return document.getElementById(i);

}

function d(i, t) {

e(i).style.display = (t ? 'block': 'none');

}

function s(e) {

d('p', e);

d('d', !e);

}</script>

</body>

</html>

可以看到，并没有歌手和歌曲内容，应该是搜狗网站进行了一些反爬。于是我们在get里面加上headers={'user-agent':'chrome'}，来模拟浏览器访问，代码如下：

import re
url = 'https://www.kugou.com/yy/rank/home/1-8888.html'
try:
    req = requests.get(url,headers={'user-agent':'chrome'})
    # print(req.text)
    songs = re.findall(r'<li.*?title="(.*?)"',req.text)
    for song in songs:
        print(song)
except:
print('查询失败')

这次成功返回我们要的结果：

苏星婕 - 听悲伤的情歌

指尖笑 - 不问ciaga

郭顶 - 凄美地

一只白羊 - 等不到的你

任夏 - 悲伤的爱情

张靓颖、王赫野 - 是你 (Live)

Mae Stephens - If We Ever Broke Up (Explicit)

Kui Kui - 宝贝在干嘛

张紫豪 - 可不可以

周杰伦 - 说好的幸福呢

周杰伦 - 晴天

汪苏泷、吉克隽逸 - Letting Go (Live)

承桓 - 我会等

蔡健雅 - Letting Go

任夏 - 失眠情歌 (Live合唱版)

苏星婕 - 吹着晚风想起你

周杰伦 - 我落泪情绪零碎

云狗蛋 - 天若有情

程响 - 可能

A-Lin - 天若有情

RE-D、是二哈ya、masta - 肯定

G.E.M. 邓紫棋 - 喜欢你

我们来详细分析下：

用get方法获取网页内容。这个内容和最开始介绍的内容一样，get方法向服务器发送请求，服务器返回数据。

增加headers参数。我们第一次没有得到想要的结果，是网站增加了限制，目的就是用来验证请求是不是正常浏览器发出的，第一次我们的请求明显被服务器发现不正常了，于是我们增加了headers参数，内容为{'user-agent':'chrome'}，意思就是浏览器类型为谷歌浏览器，这下骗过了服务器。

使用正则匹配我们想要的结果。使用正则我们需要先导入re模块，原始网页内容为<li class=" " title="苏星婕 - 听悲伤的情歌" data-index="0" data-eid="8id4200b">，那么我们只需要匹配以<li开头，内含有title=""的语句就行，那就可以这样写正则表达式<li.*?title="(.*?)"，.*?代表除换行以外的其他元素，表达式的返回结果是子表达式的内容，正好是歌手加歌曲。

总结

requests库是一个Python的第三方库，用于发送HTTP请求。它提供了简单易用的API,可以方便地实现各种HTTP请求操作，如GET、POST、PUT、DELETE等。

requests库的主要特点如下：

1. 简单易用：requests库的API设计简洁明了，易于上手使用。
2. 灵活性高：requests库支持多种HTTP请求方法和参数设置，可以根据需要进行灵活配置。
3. 性能优异：requests库采用了高效的HTTP协议解析器和连接池技术，可以提高请求的响应速度和稳定性。
4. 支持多种数据格式：requests库可以处理JSON、XML、HTML等多种数据格式，并提供了丰富的解析器和转换器。
5. 跨平台兼容性好：requests库可以在Windows、Linux、Mac OS等多个操作系统上运行，并且支持Python 2.x和Python 3.x版本。

总之，requests库是一个非常实用的HTTP请求工具，可以帮助开发者快速实现各种网络请求操作。

编程小白的自学笔记九（python爬虫入门+代码详解）

系列文章目录

前言

一、使用get方法请求数据

二、爬取酷狗音乐排行榜

总结

猜你喜欢