入坑爬虫(二)编写第一个python小爬虫

准备工作

1. 编程语言: python3(本人用的是3.6版本)
2. IDE(集成开发环境): 萌新推荐使用pycharm或python自带的IDLE.
3. 操作系统: Windows(考虑到多数小伙伴都是windows系统,后面的爬虫也都是在windows环境下操作)
4. 安装python的第三方库: requests
   
   1. 以管理员身份运行cmd
   2. 在终端中输入: pip install request

第一个小爬虫

我们先写一个从网站上下载视频或图片的简单小爬虫.

import os
import requests

# 此处填写要获取的链接地址
url = 'http://img.hb.aicdn.com/225a5f3f75d1d4c59532704782eebd25d323fd801e57a-VlY5c4_fw658'
root = 'D://pics//'

try:
# 判断路径下是否有这个文件夹,如果没有就创建文件夹
    if not os.path.exists(root):
        os.mkdir(root)
    path_filename = root + url.split('/')[-1] + '.png'  # 根据文件类型和链接可以选择修改后缀或不添加后缀
    # 使用requests,发送get请求.
    r = requests.get(url)
    if not os.path.exists(path_filename):
        with open(path_filename, 'wb')as f:
            # 图片视频等是二进制数据组成,所以我们用r.content将返回的数据转为bytes类型.
            f.write(r.content)
            f.close()
            print('文件保存成功')
    else:
        print('文件已存在')
except:
    print('下载失败')

我们也可以尝试获取多个视频或图片,只需要将url设置成列表,然后遍历它就可以实现.

• 将上述代码中的url设置成列表类型: url_list = [” 资源链接 “,” 资源链接 “,” 资源链接 “]
• 然后使用for循环遍历获取每个url,再用requests.get方法发送请求
• 如果有兴趣的小伙伴们可以动手尝试一下

下一章节我们会讲述一些requests库的基本语法.