爬虫：淘宝商品信息定向爬虫

版权声明：关注微信公众号：摸鱼科技资讯，联系我们 https://blog.csdn.net/qq_36949176/article/details/84451354

功能描述

目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格。

理解：淘宝的搜索接口

           翻页的处理

技术路线：requests-re

准备，安排！

我们先搜索：裙子，查看浏览器返回的链接信息

起始页：

https://s.taobao.com/search?q=裙子
&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index
&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306

第2页：

https://s.taobao.com/search?q=裙子
&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index
&spm=a21bo.2017.201856-taobao-item.1
&ie=utf8&initiative_id=tbindexz_20170306&bcoffset=3&ntoffset=3&p4ppushleft=1%2C48&s=44

第3页：

https://s.taobao.com/search?q=裙子
&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index
&spm=a21bo.2017.201856-taobao-item.1
&ie=utf8&initiative_id=tbindexz_20170306&bcoffset=0&ntoffset=6
&p4ppushleft=1%2C48&s=88

我们比较这几个淘宝的页面不同，发现第二页第三页最后s=44 s=88不同，因此我们得出猜测，s为第二页第三页起始商品的编号。

https://s.taobao.com/search?q=裙子  //搜索接口，q=关键字

程序的结构设计

步骤1：提交商品搜索请求，循环获取页面

步骤2：对于每个页面，提取商品名称和价格信息

步骤3：将信息输出到屏幕上

eval（）:eval函数能够将我们获取的字符串最外层的双引号或者单引号去掉

>>> a=1
>>> eval("a+1")
2
>>> print("a+1")
a+1

import requests
import re
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""
def parsePage(ilt,html):
    try:
        plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price=eval(plt[i].split(':')[1])
            title=eval(tlt[i].split(':')[1])
            ilt.append([price,title])
    except:
        print("")
    
def printGoodsList(ilt):
    tplt="{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count=0
    for g in ilt:
        count=count+1
        print(tplt.format(count,g[0],g[1]))
def main():
    goods='裙子'
    depth=2
    start_url='https://s.taobao.com/search?q='+goods
    infoList=[]
    for i in range(depth):
        try:
            url=start_url+'&s='+str(44*i)
            html=getHTMLText(url)
            parsePage(infoList,html)

        except:
            continue
    printGoodsList(infoList)

main()