爬虫学习记录 ----持续更新

本博文主要记录一些在学习爬虫过程遇到的一些小技巧

============================================================================

3、获取网页的文本的编码格式

import  requests

url = 'https://movie.douban.com/top250?start=25&filter='
r = requests.get(url)
print(r.encoding)

运行结果如下：

utf-8

============================================================================

2、传递URL参数（此内容转摘自 https://blog.csdn.net/kangyan__/article/details/78506243 ）

例如， httpbin.org/get?key=val

• 想传递 key1=value1和 key2=value2到 httpbin.org/get
  代码如下：

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)

运行结果如下：

http://httpbin.org/get?key1=value1&key2=value2

• 还可以将一个列表作为值传入：

import requests

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)

运行结果如下：

http://httpbin.org/get?key1=value1&key2=value2&key2=value3

============================================================================

1、用chrome查看审查元素

以"豆瓣电影 Top 250"网页为例，网址：https://movie.douban.com/top250
用chrome打开网址，有两种方式打开审查元素：
①按“F12”键，点"Elements",点左上角的箭头，箭头变蓝后点击左侧页面的网页内容，Elements就会跳转至相应的位置
②快捷组合键“Ctrl+Shift+c”可直接开启审查元素功能，如下图：

再次按“F12”即可关闭审查元素页面。