文件批量处理:收到一个文件夹的多份类似文件(如不同月份),怎么将其自动合并起来呢?
首先读取文件夹,读取的文件为dataframe格式,选择append依次添加在第一个文件后
import datetime
path = "D:/file/" # 文件夹,根据实际调整
files= os.listdir(path)
for i in range(len(files)):
file = files[i]
print(file)
starttime = datetime.datetime.now()
s = pd.read_html(path+file,header= 0) # 文件格式及读取方式,根据实际调整,head=0指将第一行作为标题
data = s[0]
data["表格名"]= file # 增加数据所处的表格是哪个文件
endtime = datetime.datetime.now()
print (endtime - starttime) # 计算读取所花费的时间
print(file,"数量",len(data)) #计算各文件的数据长度
if i == 0:
result = data
else:
result = result.append(data) # 将文件进行合并
result1.to_csv(path+'2019summary.csv',index = False, encoding='utf8') # 输出合并的文件