用excel存储爬取下来的数据的一种思路

由于刚学习爬虫,所以爬虫程序写的比较少,自己在这里做个笔记,关于爬取下来的一堆数据应该怎么存储。
我这里用到的方法是用列表类型保存数据,由于python的列表类型可以存储不同的数据类型,所以可以说十分万金油了
代码如下

            if len(inq) != 0:
                inq = inq[0].replace("。", "")
                data.append(inq)  # 添加概述
            else:
                data.append(" ")

            bd = re.findall(findBd,item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉文本里的换行符
            bd=re.sub('/','',bd)
            data.append(bd.strip())   #去掉前后的空格

            datalist.append(data)   #把处理好的一部电影信息放进datalist

可以直接调用append()方法不停地加入数据,正好是[ [ ],[ ],[ ],[ ] ]这样的数据结构,非常方便保存到excel表里面,其实也便于保存到数据库里面

保存的操作代码如下:

def saveData(datalist,savepath):
    book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建workbokk对象
    sheet = book.add_sheet('豆瓣电影top250')
    col = ('电影详情链接',"图片链接","影片中文名","影片外文名","评分","评价数","概述","相关信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])   #列名
    for i in range(0,250):
        print("第",i,"条")
        data = datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])   #数据
    book.save(savepath)   #保存文档

おすすめ

転載: blog.csdn.net/weixin_45774350/article/details/109032027