python科普篇

我们今天来科普一下有关python的一点小常识。

不知道你有没有听说过网络爬虫,其实就是用python写一些语句,然后对某个网站的信息进行收集。但是,并不是所有的网站都能无门槛地让你爬取这些信息,想一些社交网站,具体哪些就不说了,他们的开发人员会设置一些限制的关卡,不让你随随便便爬取信息,这是对用户个人隐私的一种保护。当然我们没有获取他们的允许,也不能随意去爬取他们的信息。当然,这些不被允许的事每天都有很多人在做。

很多人其实会拿自己学校的教务网练手,把整个年级的成绩爬取下来之后,看看自己排多少名之类的,那么他们是怎么实现这个功能的?我们在这里只是大致的说一下几个步骤。具体我们等到后面再细说:

1、每个人在教务网上面都有一个自己的账号密码,我们登陆之后,服务器会给我们一个cookies,这个cookies相当于是进出教务网的一把钥匙,我们有这把钥匙才能进入教务网。

2、接下来就是写一个postdata模拟登陆,让教务网以为你是用账号密码进来的,其实不是,嘻嘻;

3、你得知道你要的信息的url是什么,也就是说你要的东西放在哪里,不可能全部拿下来吧,信息量太大;

4、接下来就是用beautifulsoup(一个用来处理网络数据的工具)对爬取的数据进行处理;

5、最后,去一下登录痕迹,看成绩这种事情万一被老师知道了,加平时分怎么办?

(文章图片若有侵权,请联系作者删除)

猜你喜欢

转载自www.cnblogs.com/Galaxyfengfeng/p/9119381.html
今日推荐