个人笔记,无其他意图
基础知识点的学习
列表推导式
帮助我们快速生成包含一堆数据的列表
- 举例
[i+10 for i in range(10)] # --->[10, 11, 12, ..., 19]
["10月{}日".format(i) for i in range(1,10)]
'''
上述命令结果--->["10月1日", "10月2日", ..., "10月9日"]
'''
# format:字符串格式化的一种方法
"stubborn{}vegeta".format(1/'1'/[1]/{1}) #/表示或者
"stubborn{}vegeta{}".format(1,2)
字典推导式
帮助我们快速生成包含一堆数据的字典
- 举例
{i+10:i for i in range(10)} #--->{10:0, 11:1, ..., 19:9}
{"a{}.format(i)":10 for i in range(3)} #--->{"a0":10, "a1":10, ...}
三元运算符
参照下例,如果if
后面的条件成立,就把if
前面的值赋给a
,否则把else
后面的值赋给a
a = 10 if 4>3 else 20 #a=10
a = 10 if 4<3 else 20 #a=20
写爬虫的讨论
url
- 知道url地址的规律和总的页码数,构造url地址的列表
- start_url
发送请求,获取响应
- requests
返回数据
- 返回json字符串:json模块
- 返回的是html字符串:lxml模块配合xpath提取数据