一切编码从爬虫开始

1.写在前面

写本系列文章的目的有一下几点

1.给后来的编码同学留下借鉴的想法,或者给我身边的人留下一部分书面的材料。

2.正文

1.为何从爬虫开始呢?

代码究其根本,是为了服务人类社会。
而现在的社会呢, 互联网上的数据占据了生活的绝大多数方面,有种说法是,‘谁掌握了信息,谁就掌握了成功’。

而为什么我说一切编码从爬虫开始呢,爬虫可以获取互联网上的绝大部分的数据。而有了这些数据,就可以继续进一步的探索(展示信息给用户,以app、网站或者其他的方式;推送特定信息给特定用户,以完成某些信息的指定推送),进一步的展示或推送的格式和形式,我会在之后的文章中一一描述。

2.获取数据
  1. 确定展示的(使用的)数据内容,即目标数据
  2. 确定目标数据来源,寻找数据内容对应的网站或app等
  3. 通过各种抓包获取到数据对应的url格式
  4. 根据上一步获取的url格式,使用各种爬虫框架编写对应的数据抓取爬虫,获取到数据内容,存储到自己想保存的地方(数据库或者缓存或者文件)。
3.展示数据,或者使用数据

1.根据获取到的数据,加以处理,以适合我们的方式,在各种地方展示(使用)
2.展示数据的形式
2.1. 最简单最直接的使用互联网展示出来,用人话说就是,以想展示的形式,根据展示的具体形式编写对应的网站代码,构建指定的网站,发布到公网上,让所有人可以通过浏览器获取到我们以特定形式展现的数据,达到我们特有的目的。
2.2. app或者其他在终端的展示工具
2.3. 以各种接口,对外或对内的网站或终端展示工具进行展示

通过这些以上这些操作,可以让互联网信息以我们指定的特有的形式,展示给我们的用户
而各位读者,可以通过本人接下来的文章中的具体的操作,对html,php,python等编程语言熟悉,或者解决您的疑惑,如果有幸能解决您的问题,就是本人的最大目的了

使用的爬虫框架以scrapy为主,之后看需要加上其他的爬虫框架或浏览器模拟工具

接下来的文章为

获取数据之爬虫_1

本人在这暂时以网络小说为目标数据,进行爬虫的具体实现与解释

猜你喜欢

转载自blog.csdn.net/weixin_42625306/article/details/86087562
今日推荐