这里 不是记录爬虫的编写步骤,而是记录,写爬虫中可能遇到的问题
1,私有方法也是实例方法,参数里面都必须有self
2,正则表达式,\w表示单词字符,\W表示取反,所以这两个字符可以匹配成为任意字符[\w\W]这是匹配任意字符,\s表示匹配一个空白字符,而\S表示匹配任意一个非空白的字符 [\s\S]是可以匹配任意一个字符
上图是其他匹配字符串的正则表达式
上图是对列表排序的函数的使用
小了解:beautifulsoup
,提供更简单方法提供内容,不用写复杂的正则表达式。scrap是爬虫框架;爬虫容易被封ip,所以我们需要(代理IP库,就是ip池);
如何用字典实现switch语句
列表推导式,可以对列表里面的每一个元素进行操作,类似map函数
下面是对字典的一个操作
上图主要用了,列表推导式,和遍历字典的键值