今天主要学习了python爬虫的一些进阶内容，因为我对这部分内容比较感兴趣，就去b站上找了北理工的mooc视频。老师讲课深入浅出，循循渐进，十分适合新手学习爬虫，其中还包含了基本规范和道德，称作“盗亦有道”。
之前看过一些爬虫视频，一些老师上手就是开始干货，上代码爬数据。随便找一个网站就开始爬取自己想要的东西，但是我们知道这样是不对的。现在互联网立法已经建立，不再是从前为所欲为逍遥法外的时代了。网站中包含了搭建者并不想被获得的信息，但网络爬虫的肆意爬去一定会造成重要信息的泛滥和泄露，对商业经营造成不利影响。老师着重介绍了robots协议，要我们“盗亦有道”，在爬取数据的同时一定要遵守网页道德规范，不要触犯法律的底线。