python之数据驱动读取ini、csv、xlsx、xml等文件的方法

Python读取ini配置文件方法：

1 创建config.ini配置文件

[DATABASE]
host = localhost
username = root
password = root
port = 3306
database = users
charset=utf8

2 创建ReadConfig工具类

import os
import codecs
import configparser

class ReadConfig:

    def __init__(self):
        configPath = os.path.join(os.getcwd(), "config.ini")
        #创建读取config.ini文件的对象
        self.cf = configparser.ConfigParser()
        #读取
        self.cf.read(configPath)

    def get_db(self, name):
        value = self.cf.get("DATABASE", name)
        return value

3 读取数据

read= ReadConfig()
host = read.get_db("host")
username = read.get_db("username")
password = read.get_db("password")
port = read.get_db("port")
database = read.get_db("database")

charset=read.get_db("charset")

print(host)

python读取csv方法：

1 创建.csv文件

2 读取

 import csv

 

file = open("e:/users.csv",'r')

users = csv.reader(file)

 

for u in users:

    print(u[0])

    print(u[1])

    print(u[2])

    print(u[3])

    print("===============")

Python读取xlsx方法：

xlrd 基本用法
1. 导入扩展包
import xlrd
2. 打开 excel 文件
excel = xlrd.open_workbook(u'excelFile.xls')
3. 获取工作表
通过索引顺序获取

table = excel.sheets()[0]
table = excel.sheet_by_index(0)
4. 通过工作表名获取
table = excel.sheet_by_name(u'Sheet1')
5. 获取行数和列数
获取行数
nrows = table.nrows
获取列数
ncols = table.ncols
6. 获取整行或整列的值
其中 i 为行号， j 为列号
行号、列号索引从 0 开始
row_values = table.row_values(i)
col_values = table.col_values(j)
7. 获取指定单元格数据
i 行号， j 列号
value = table.cell(i, j).value
8. 例如获取第一行、第一列的数据
value = table.cell(0, 0).value
9. 循环行遍历列表数据

先获取行数
nrows = table.nrows
遍历打印所有行数据
for i in range(0, nrows):
print table.row_values(i)

案例：

  百度搜索

实现步骤：

1 新建xlsx文件 编辑内容

  

序号	测试数据	测试结果
1	python	python介绍
2	java	java介绍
3	c	c介绍

 

 

2 编辑模块

#读取exce文件
import  xlrd

def loadData():
    # 打开文件
    test = xlrd.open_workbook("data/test.xlsx")
    # 获取工作表
    table = test.sheet_by_index(0)
    data = []#列表中放列表数据
    for i in range(1, table.nrows):
        data.append(table.row_values(i))
    return data

3 实现案例

from  selenium import webdriver
from datadriver.bdemo import loadData
import time

fox = webdriver.Firefox()
fox.maximize_window()
fox.get("http://www.baidu.com")
data= loadData()
search =  fox.find_element_by_id("kw")
searchButton = fox.find_element_by_id("su")
#循环获取数据
for d in data:
    search.clear()
    search.send_keys(d[1])
    time.sleep(1）

fox.quit()

Python读取xml文件方法：

Python3 XML解析

 

什么是XML？

XML 指可扩展标记语言（eXtensible Markup Language），标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。 你可以通过本站学习XML教程

XML 被设计用来传输和存储数据。

XML是一套定义语义标记的规则，这些标记将文档分成许多部件并对这些部件加以标识。

它也是元标记语言，即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。

 

python对XML的解析

常见的XML编程接口有DOM和SAX，这两种接口处理XML文件的方式不同，当然使用场合也不同。

python有三种方法解析XML，SAX，DOM，以及ElementTree:

1.SAX (simple API for XML )

python 标准库包含SAX解析器，SAX用事件驱动模型，通过在解析XML的过程中触发一个个的事件并调用用户定义的回调函数来处理XML文件。

2.DOM(Document Object Model)

将XML数据在内存中解析成一个树，通过对树的操作来操作XML。

本章节使用到的XML实例文件movies.xml内容如下：

<collection shelf="New Arrivals"><movie title="Enemy Behind">

   <type>War, Thriller</type>

   <format>DVD</format>

   <year>2003</year>

   <rating>PG</rating>

   <stars>10</stars>

   <description>Talk about a US-Japan war</description></movie><movie title="Transformers">

   <type>Anime, Science Fiction</type>

   <format>DVD</format>

   <year>1989</year>

   <rating>R</rating>

   <stars>8</stars>

   <description>A schientific fiction</description></movie>

   <movie title="Trigun">

   <type>Anime, Action</type>

   <format>DVD</format>

   <episodes>4</episodes>

   <rating>PG</rating>

   <stars>10</stars>

   <description>Vash the Stampede!</description></movie><movie title="Ishtar">

   <type>Comedy</type>

   <format>VHS</format>

   <rating>PG</rating>

   <stars>2</stars>

   <description>Viewable boredom</description></movie></collection>

 

python使用SAX解析xml

SAX是一种基于事件驱动的API。

利用SAX解析XML文档牵涉到两个部分:解析器和事件处理器。

解析器负责读取XML文档,并向事件处理器发送事件,如元素开始跟元素结束事件;

而事件处理器则负责对事件作出相应,对传递的XML数据进行处理。

<psax适于处理下面的问题：< p="" style="color: rgb(51, 51, 51); font-family: "Helvetica Neue", Helvetica, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Noto Sans CJK SC", "WenQuanYi Micro Hei", Arial, sans-serif; font-size: 12px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);">

· 1、对大型文件进行处理；

· 2、只需要文件的部分内容，或者只需从文件中得到特定信息。

· 3、想建立自己的对象模型的时候。

在python中使用sax方式处理xml要先引入xml.sax中的parse函数，还有xml.sax.handler中的ContentHandler。

ContentHandler类方法介绍

characters(content)方法

调用时机：

从行开始，遇到标签之前，存在字符，content的值为这些字符串。

从一个标签，遇到下一个标签之前， 存在字符，content的值为这些字符串。

从一个标签，遇到行结束符之前，存在字符，content的值为这些字符串。

标签可以是开始标签，也可以是结束标签。

startDocument()方法

文档启动的时候调用。

endDocument()方法

解析器到达文档结尾时调用。

startElement(name, attrs)方法

遇到XML开始标签时调用，name是标签的名字，attrs是标签的属性值字典。

endElement(name)方法

遇到XML结束标签时调用。

 

make_parser方法

以下方法创建一个新的解析器对象并返回。

xml.sax.make_parser( [parser_list] )

参数说明:

· parser_list - 可选参数，解析器列表

 

parser方法

以下方法创建一个 SAX 解析器并解析xml文档：

xml.sax.parse( xmlfile, contenthandler[, errorhandler])

参数说明:

· xmlfile - xml文件名

· contenthandler - 必须是一个ContentHandler的对象

· errorhandler - 如果指定该参数，errorhandler必须是一个SAX ErrorHandler对象

 

parseString方法

parseString方法创建一个XML解析器并解析xml字符串：

xml.sax.parseString(xmlstring, contenthandler[, errorhandler])

参数说明:

· xmlstring - xml字符串

· contenthandler - 必须是一个ContentHandler的对象

· errorhandler - 如果指定该参数，errorhandler必须是一个SAX ErrorHandler对象

 

Python 解析XML实例

#!/usr/bin/python3

import xml.sax

class MovieHandler( xml.sax.ContentHandler ):

   def __init__(self):

      self.CurrentData = ""

      self.type = ""

      self.format = ""

      self.year = ""

      self.rating = ""

      self.stars = ""

      self.description = ""

 

   # 元素开始调用

   def startElement(self, tag, attributes):

      self.CurrentData = tag

      if tag == "movie":

         print ("*****Movie*****")

         title = attributes["title"]

         print ("Title:", title)

 

   # 元素结束调用

   def endElement(self, tag):

      if self.CurrentData == "type":

         print ("Type:", self.type)

      elif self.CurrentData == "format":

         print ("Format:", self.format)

      elif self.CurrentData == "year":

         print ("Year:", self.year)

      elif self.CurrentData == "rating":

         print ("Rating:", self.rating)

      elif self.CurrentData == "stars":

         print ("Stars:", self.stars)

      elif self.CurrentData == "description":

         print ("Description:", self.description)

      self.CurrentData = ""

 

   # 读取字符时调用

   def characters(self, content):

      if self.CurrentData == "type":

         self.type = content

      elif self.CurrentData == "format":

         self.format = content

      elif self.CurrentData == "year":

         self.year = content

      elif self.CurrentData == "rating":

         self.rating = content

      elif self.CurrentData == "stars":

         self.stars = content

      elif self.CurrentData == "description":

         self.description = content

  if ( __name__ == "__main__"):

   

   # 创建一个 XMLReader

   parser = xml.sax.make_parser()

   # turn off namepsaces

   parser.setFeature(xml.sax.handler.feature_namespaces, 0)

 

   # 重写 ContextHandler

   Handler = MovieHandler()

   parser.setContentHandler( Handler )

   

   parser.parse("movies.xml")

以上代码执行结果如下：

*****Movie*****Title: Enemy BehindType: War, ThrillerFormat: DVDYear: 2003Rating: PGStars: 10Description: Talk about a US-Japan war*****Movie*****Title: TransformersType: Anime, Science FictionFormat: DVDYear: 1989Rating: RStars: 8Description: A schientific fiction*****Movie*****Title: TrigunType: Anime, ActionFormat: DVDRating: PGStars: 10Description: Vash the Stampede!*****Movie*****Title: IshtarType: ComedyFormat: VHSRating: PGStars: 2Description: Viewable boredom

完整的 SAX API 文档请查阅Python SAX APIs

 

使用xml.dom解析xml

文件对象模型（Document Object Model，简称DOM），是W3C组织推荐的处理可扩展置标语言的标准编程接口。

一个 DOM 的解析器在解析一个 XML 文档时，一次性读取整个文档，把文档中所有元素保存在内存中的一个树结构里，之后你可以利用DOM 提供的不同的函数来读取或修改文档的内容和结构，也可以把修改过的内容写入xml文件。

python中用xml.dom.minidom来解析xml文件，实例如下：

#!/usr/bin/python3

from xml.dom.minidom import parseimport xml.dom.minidom

# 使用minidom解析器打开 XML 文档DOMTree = xml.dom.minidom.parse("movies.xml")

collection = DOMTree.documentElementif collection.hasAttribute("shelf"):

   print ("Root element : %s" % collection.getAttribute("shelf"))

# 在集合中获取所有电影

movies = collection.getElementsByTagName("movie")

# 打印每部电影的详细信息for movie in movies:

   print ("*****Movie*****")

   if movie.hasAttribute("title"):

      print ("Title: %s" % movie.getAttribute("title"))

 

   type = movie.getElementsByTagName('type')[0]

   print ("Type: %s" % type.childNodes[0].data)

   format = movie.getElementsByTagName('format')[0]

   print ("Format: %s" % format.childNodes[0].data)

   rating = movie.getElementsByTagName('rating')[0]

   print ("Rating: %s" % rating.childNodes[0].data)

   description = movie.getElementsByTagName('description')[0]

   print ("Description: %s" % description.childNodes[0].data)

以上程序执行结果如下：

Root element : New Arrivals*****Movie*****Title: Enemy BehindType: War, ThrillerFormat: DVDRating: PGDescription: Talk about a US-Japan war*****Movie*****Title: TransformersType: Anime, Science FictionFormat: DVDRating: RDescription: A schientific fiction*****Movie*****Title: TrigunType: Anime, ActionFormat: DVDRating: PGDescription: Vash the Stampede!*****Movie*****Title: IshtarType: ComedyFormat: VHSRating: PGDescription: Viewable boredom