【python Excel】如何使用python将大量数据导出到Excel中的小技巧之一

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/jin6872115/article/details/81532343

来自

如何使用python将大量数据导出到Excel中的小技巧

   (1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?本文主要解决以上两个问题。

     

   (2)具体步骤如下:

   1.第一步,安装openpyxl,

       使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。

       写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。

         pip install openpyxl==2.2.6

   2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。

 (3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:

  1.  python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,
  2. 但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。
  3. 因此面对需要导出大量数据到excel的情况,你将有如下三种选择,1)换一种存储格式,如保存为CSV文件  2)使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理  3) win32 COM (Windows only)

当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。

ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~

【20180713 add ps,以下代码在 openpyxl 的__version__ = '2.2.6' 和   openpyxl 的__version__ = '2.4.8' 测试通过 ,考虑到openpyxl的最新版本是__version__ = '2.5.4' , 如需最新版本python操作excel的例子,请参照另一篇博客,地址:点击打开链接

# coding:utf-8
'''
# 希望对大家有帮助哈,请多提问题
create by yaoyz
date: 2017/01/24
'''
import xlrd
import xlwt
# workbook相关
from openpyxl.workbook import Workbook
# ExcelWriter,封装了很强大的excel写的功能
from openpyxl.writer.excel import ExcelWriter
# 一个eggache的数字转为列字母的方法
from openpyxl.utils import get_column_letter
from openpyxl.reader.excel import load_workbook
 
 
class HandleExcel():
    '''Excel相关操作类'''
    def __init__(self):
        self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']
    """
        function:
            读出txt文件中的每一条记录,把它保存在list中
        Param:
            filename:  要读出的文件名
        Return:
            res_list: 返回的记录的list
    """
    def read_from_file(self,filename):
        res_list=[]
        file_obj=open(filename,"r")
        for line in file_obj.readlines():
            res_list.append(line)
        file_obj.close()
        return res_list
    """
        function:
            读出*.xlsx中的每一条记录,把它保存在data_dic中返回
        Param:
            excel_name:  要读出的文件名
        Return:
            data_dic: 返回的记录的dict
    """
    def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):
        # 读取excel2007文件
        wb = load_workbook(filename=excel_name)
        # 显示有多少张表
        print   "Worksheet range(s):" , wb.get_named_ranges()
        print   "Worksheet name(s):" , wb.get_sheet_names()
        # 取第一张表
        sheetnames = wb.get_sheet_names()
        ws = wb.get_sheet_by_name(sheetnames[0])
        # 显示表名,表行数,表列数
        print   "Work Sheet Titile:" ,ws.title
        print   "Work Sheet Rows:" ,ws.get_highest_row()
        print   "Work Sheet Cols:" ,ws.get_highest_column()
        # 获取读入的excel表格的有多少行,有多少列
        row_num=ws.get_highest_row()
        col_num=ws.get_highest_column()
        print "row_num: ",row_num," col_num: ",col_num
        # 建立存储数据的字典
        data_dic = {}
        sign=1
        # 把数据存到字典中
        for row in ws.rows:
            temp_list=[]
            # print "row",row
            for cell in row:
                 print cell.value,
                 temp_list.append(cell.value)
            print ""
            data_dic[sign]=temp_list
            sign+=1
        print data_dic
        return data_dic
    """
        function:
            读出*.xlsx中的每一条记录,把它保存在data_dic中返回
        Param:
            records: 要保存的,一个包含每一条记录的list
            save_excel_name:  保存为的文件名
            head_row_stu_arrive_star:
        Return:
            data_dic: 返回的记录的dict
    """
    def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):
        # 新建一个workbook
        wb = Workbook()
        # 新建一个excelWriter
        ew = ExcelWriter(workbook=wb)
        # 设置文件输出路径与名称
        dest_filename = save_excel_name.decode('utf-8')
        # 第一个sheet是ws
        ws = wb.worksheets[0]
        # 设置ws的名称
        ws.title = "range names"
        # 写第一行,标题行
        for h_x in range(1,len(head_row)+1):
            h_col=get_column_letter(h_x)
            #print h_col
            ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])
        # 写第二行及其以后的那些行
        i = 2
        for record in records:
            record_list=str(record).strip().split("\t")
            for x in range(1,len(record_list)+1):
                col = get_column_letter(x)
                ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))
            i += 1
        # 写文件
        ew.save(filename=dest_filename)
    """
        function:
            测试输出Excel内容
            读出Excel文件
        Param:
            excel_name:  要读出的Excel文件名
        Return:
           无
    """
    def read_excel(self,excel_name):
        workbook=xlrd.open_workbook(excel_name)
        print workbook.sheet_names()
        # 获取所有sheet
        print workbook.sheet_names() # [u'sheet1', u'sheet2']
        sheet2_name = workbook.sheet_names()[1]
        # 根据sheet索引或者名称获取sheet内容
        sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始
        sheet2 = workbook.sheet_by_name('Sheet1')
        # sheet的名称,行数,列数
        print sheet2.name,sheet2.nrows,sheet2.ncols
        # 获取整行和整列的值(数组)
        rows = sheet2.row_values(3) # 获取第四行内容
        cols = sheet2.col_values(2) # 获取第三列内容
        print rows
        print cols
        # 获取单元格内容
        print sheet2.cell(1,0).value
        print sheet2.cell_value(1,0)
        print sheet2.row(1)[0].value
        # 获取单元格内容的数据类型
        print sheet2.cell(1,0).ctype
        # 通过名称获取
        return workbook.sheet_by_name(u'Sheet1')
    """
        function:
            设置单元格样式
        Param:
            name:  字体名字
            height:  字体高度
            bold:  是否大写
        Return:
            style: 返回设置好的格式对象
    """
    def set_style(self,name,height,bold=False):
        style = xlwt.XFStyle() # 初始化样式
        font = xlwt.Font() # 为样式创建字体
        font.name = name  # 'Times New Roman'
        font.bold = bold
        font.color_index = 4
        font.height = height
        borders= xlwt.Borders()
        borders.left= 6
        borders.right= 6
        borders.top= 6
        borders.bottom= 6
        style.font = font
        style.borders = borders
        return style
    """
        function:
            按照 设置单元格样式  把计算结果由txt转变为Excel存储
        Param:
            dataset:要保存的结果数据,list存储
        Return:
            将结果保存为 excel对象中
    """
    def write_to_excel(self, dataset,save_excel_name,head_row):
        f = xlwt.Workbook()  # 创建工作簿
        # 创建第一个sheet:
        # sheet1
        count=1
        sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True)  # 创建sheet
        # 首行标题:
        for p in  range(len(head_row)):
                sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))
        default=self.set_style('Times New Roman',200,False)   # define style out the loop will work
        for line in dataset:
            row_list=str(line).strip("\n").split("\t")
            for pp in  range(len(str(line).strip("\n").split("\t"))):
                sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)
            count+=1
        f.save(save_excel_name)  # 保存文件
 
 
    def run_main_save_to_excel_with_openpyxl(self):
        print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"
        print "1. 把txt文件读入到内存中,以list对象存储"
        dataset_list=self.read_from_file("test_excel.txt")
        '''test use openpyxl to handle EXCEL 2007'''
        print "2. 把文件写入到Excel表格中"
        head_row_label=self.head_row_labels
        save_name="test_openpyxl.xlsx"
        self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
        print "3.  执行完毕,由txt格式文件保存为Excel文件的任务"
    def run_main_save_to_excel_with_xlwt(self):
        print " 4. 把txt文件读入到内存中,以list对象存储"
        dataset_list=self.read_from_file("test_excel.txt")
        '''test use xlwt to handle EXCEL 97-2003'''
        print " 5. 把文件写入到Excel表格中"
        head_row_label=self.head_row_labels
        save_name="test_xlwt.xls"
        self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
        print "6.  执行完毕,由txt格式文件保存为Excel文件的任务"
if __name__ == '__main__':
    print "create handle Excel Object"
    obj_handle_excel=HandleExcel()
    # 分别使用openpyxl和xlwt将数据写入文件
    obj_handle_excel.run_main_save_to_excel_with_openpyxl()
    obj_handle_excel.run_main_save_to_excel_with_xlwt()
    '''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''
    #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls")  # 错误写法
    #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
    obj_handle_excel.read_excel("testexcel2003.xls")
    obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")

猜你喜欢

转载自blog.csdn.net/jin6872115/article/details/81532343