利用Python打造了淘宝商品信息定向爬虫！老板给五千！我该收吗？

程序的结构设计

进群：960410445  即可获取数十套PDF！

步骤1：提交商品搜索请求，循环获取页面

步骤2：对于每个页面，提取商品名称和价格信息

步骤3：将信息输出到屏幕上

eval（）:eval函数能够将我们获取的字符串最外层的双引号或者单引号去掉

>>> a=1
>>> eval("a+1")
2
>>> print("a+1")
a+1
import requests
import re
def getHTMLText(url):
 try:
 r=requests.get(url,timeout=30)
 r.raise_for_status()
 r.encoding=r.apparent_encoding
 return r.text
 except:
 return ""
def parsePage(ilt,html):
 try:
 plt=re.findall(r'"view_price":"[d.]*"',html)
 tlt=re.findall(r'"raw_title":".*?"',html)
 for i in range(len(plt)):
 price=eval(plt[i].split(':')[1])
 title=eval(tlt[i].split(':')[1])
 ilt.append([price,title])
 except:
 print("")
 
def printGoodsList(ilt):
 tplt="{:4}	{:8}	{:16}"
 print(tplt.format("序号","价格","商品名称"))
 count=0
 for g in ilt:
 count=count+1
 print(tplt.format(count,g[0],g[1]))
def main():
 goods='裙子'
 depth=2
 start_url='https://s.taobao.com/search?q='+goods
 infoList=[]
 for i in range(depth):
 try:
 url=start_url+'&s='+str(44*i)
 html=getHTMLText(url)
 parsePage(infoList,html)
 except:
 continue
 printGoodsList(infoList)
main()

私信小编 007 有惊喜哦！