一个想法造一天——micropython究极爬虫

micropython能爬虫不,当然能啊,有urequests库就可以。
爬点时间、天气等简单的行,遇到复杂的,带有反爬的网站咋办?

今天琢磨了一天,实现了。
绕路走呗,绕地球走了一大圈。

想搞定PC端的爬虫,然后玩了下github action挺好,初步的会了,就是push仓库那里总是错,不知道差哪了。然后ubuntu的selenium死活不好使,一激动换windows的了,过了。。。直接http传到onenet了。

不得不说onenet的文档就是坨答辩,每次去都翻半天,就特几个get put post方法,绕绕绕,而且文档一直没更,结构逻辑特乱,新人根本找不到地方,耐着性子搞好了,最后还研究了一下可视化,app的不能用了,可视化基础版还可以,这里错怪onenet了,做好的在这
可视化爬虫 kickstarter众筹数据

最后听说用github action搞爬虫容易封号,吓得我赶紧把一小时一爬改成了一天两爬,再封我我认了。

猜你喜欢

转载自blog.csdn.net/jd3096/article/details/128761766