需求分析
夏天天气实在是太热了，热的让人不想动，只有一直呆在空调房里，才能带来一点点安慰。当然，也少不了吃雪糕
不过，现在的雪糕的价格也不便宜，比如说某爱多巧克力雪糕零售已经卖到5块钱了，我怎么记得以前才3块呢，总之呢，这个价格有点小贵。然而没想到的是，今天有一个小伙伴突然和我说，“，今天我上当了，我在便利店拿了一支中雪糕，没想到，居然要收我16块钱！我被雪糕刺客袭击了！”
中雪糕？16块钱？哦天啊，我问他，“那这个这么贵，你怎么不放回去呢？这都可以吃3个多的某爱多了啊？“
小伙伴很无奈，”拿都拿了，已经要结账了，我不好意思放回去啊……”
唉，这恐怕就是死要面死活受罪吧，怎么办呢？有没有办法帮帮小伙伴，避免下次再拿到高价雪糕了呢？当然，已经有很多大佬做了秘籍，比如说进口的雪糕比较贵，带有某种巧克力的雪糕比较贵等等，不过这些规则太复杂了，不够直接，我们应该采取一个更快的办法，直接把雪糕的价格爬取下来，这样就能看出哪种雪糕的价格比较贵了
实现分析
这个需求不是很困难，就是爬取雪糕价格嘛，只要找到一家商店，然后将雪糕的名字和价格保存下来就可以了。我也是很容易就找到了一个目标，并且通过requests发送了请求
不出意外的话是又出意外了，那就是，怎么在请求里没有看到数据呢？就像这样
可以看出，这个金钱符号的后边，应该就是价格了，可是这里却看不到价格，这可真是奇了怪了，价格哪里去了呢？明明在页面上有价格，怎么到了我们的requests里就没有价格了呢？这到底是怎么一回事呢？
好吧，那就只能找一找了，其实呢也不困难，如果我没猜错的话，我想我已经找到价格了
可以看出，价格就在这个请求里，上边有一个p就是价格，应该是price之类的吧，那这是什么呢？这是一个jquery文件，也就是说，雪糕的价格在页面里是通过jquery写进去的。在requests发送的基本请求中是看不到的
好吧，那就基本上确定了，不用想，今天又是得用selenium了。可能会有小伙伴非常不理解，不就是一个jquery文件吗，我们把这个文件爬取下来，然后解析不就行了吗，为什么非得用selenium呢？
这样想是没错，不过想根据页面确定对应的jquery文件，期间可能还需要经过一次加密参数的检验，想想也知道在这上面和它耗太费时间。如果没有什么特殊的需求的话，肯定是直接用selenium了，使用方法也很简单，打开一个浏览器，然后获取页面，通过driver.page_source获取页面的代码，就可以当作正常的requests请求获取到的响应使用了
完整代码演示
from selenium import webdriver
from lxml import etree
from base64 import b64decode
url = b64decode("aHR0cHM6Ly93d3cuamQuY29tL3BoYi8xMjIxODU1MTY0MzIxMmY1MDE5NTkuaHRtbA==").decode()
driver = webdriver.Chrome()
driver.get(url)
html = etree.HTML(driver.page_source)
driver.quit()
i_name = html.xpath("//div[@class='detail']/a/text()")
i_price = html.xpath("//span[@class='price-rmb']/text()")
i_comment = html.xpath("//div[@class='evaluate-detail']/a/text()")
text = ""
for i in range(len(i_name)):
text += "名称：" + i_name[i] + "
"
text += "价格：" + i_price[i] + "元
"
text += "热评：" + i_comment[i] + "
"
print(text)
程序的运行结果如下所示
总的来说，如果你遇到了一个需要动态渲染的页面，或者说是需要执行js的页面，如果没有特殊的需求的话，比如说需要执行速度快，或者你愿意付出很高的成本去升级程序，否则的话，建议还是直接使用动态渲染的应用会比较好，例如selenium的使用
另外，还可以看出这个程序由于选择的页面一般，所以并不能够直接算出雪糕的单价，因为很难提取出雪糕的数量，如果要解决这一问题，最好换一个更好一些的商品页面
先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级java工程师，想要升技能，往往是需要自己摸索成长或是报班学习，但对于培训机构动则近万元的学费，着实压力不小。自己不成体系的自学效率很低又漫长，而且容易碰到天花板技术停止不前。因此我收集了一份《java开发全套学习资料》送给大家，初衷也很简单，就是希望帮助到想自学又不知道该从何学起的朋友，同时减轻大家的负担。添加下方名片，即可获取全套学习资料哦