小编今天给大家推送重磅福利,教你用python抓取相亲网站上的美女信息。
小编一年前还是单身狗一枚,自从写了这个简单的爬虫之后,美女信息源源不断啊,不出两个月就找到了自己心仪的女朋友。你心动了么?
话不多说,干货奉上~
步骤:
打开网页分析
这些空格都是我们要填写的对象信息,先提交一次查看网页的反应。
把完整的URL复制下来,可以看到是一个字符形式,从里面的那些参数的命名能够看得出来,需要提交的相关参数和受控制所对应的元素。
这些就涉及到post的知识点了,不过都是些简单的东西罢了,我举个例子:
网页上显示一个性别,那么我们填写男或者女,那么网页内的内容就是一个什么样的呢?同样有个标签代表着性别,例:sex = 性别
,同时还有男女各有一个标签,man = 1、women = 2,好了不多说了。
这些都是我们第一次操作可以从url中提取到的信息,然后再尝试能不能少提交某个参数得到其它不同的反馈,把ddl_Area删除得到修改后的URL,同样能够获取相关数据。
测试一下翻页情况:
我们开始删除的东西并没有再次出现,然后多出了一个箭头指向的信息。
接着再点到用户信息去查看我们具体的需要信息,观察URL变化,尝试能否获取有用信息。
点开几个用户,查看url后发现后面全是/数字.html,那么,我们返回到上一个页面,打开审查元素,相对应的四个数字,都在当前页面是否出现,以及出现的位置。
接着去用户页面看看需要用户的那些信息:
审查元素查看:
得到下图所示信息:
开始编写Python代码:
代码大概就四十来行,自己照着敲试试,祝各位,早日找到自己的另一半!
小编推荐 大家可以加我的python个人群,里面有新手资料,不失为是一个学习的好地方,欢迎你的到来。一起交流学习!共同进步! !
私信小编“520”免费领取(注意回复引号内部的数字“520”领取,其余字符系统无法识别!)