为时三天的数据处理，终于完结，还记得上一周被王老师一次又一次的折返，心态崩了呀，每次给老师发处理后的数据，都心跳加速，但每次的返工又在意料之中（自己实在是菜的一批），差点就退出了，也不知道是天注定，还是怎么，在上午问杨老师是否有时间时，老师刚好不在学校，退队的想法也就搁置了几个小时，正是这几个小时，我又看到了希望，也正是这几个小时，王老师下达的任务又来了，我没有机会提出退队，因此便有了接下来的三天（周三~周五/3.15~3.17）。【真的对不住杨老师了，两周没碰杨老师的项目了】
王老师令人窒息的文字和对话：
正是因为第二次处理数据，我学到了很多，我明白了封装成函数的重要性，明白了统一命名规则和逻辑清晰的重要性，明白了一步一检的重要性，记录一下这次的代码吧。
import pandas as pd
#---------------------------------->【0.1】输出运行结果到文件中==》防止电脑掉电
log_file_path=r"D:\大学\王老师实验室\03项目\code\runResultsLogging.txt"
def printToLogFile(file_path,content):
"""
输出运行结果到文件中==》防止电脑掉电
:param file_path: log文件路径
:param content: 内容
:return:
"""
content=str(content)
f=open(file_path,mode='a+')
f.write(content)
f.close()
#---------------------------------->【0.2】读文本文件
def readTxtFile(file_path):
"""
读文本文件内容
:param file_path: 文件路径
:return: 内容
"""
f=open(file_path,mode='r')
content=f.read()
f.close()
return content
#---------------------------------->【0.3】获取当前时间
def getCurTime():
import datetime
return datetime.datetime.now()
#---------------------------------->【0.4】获取指定目录下的所有文件==》为了批量操作
def getFilesName(file_dir):
"""
获取指定目录下的所有文件名称
:param fileDir:指定目录
:return:目录下的所有文件完整路径
"""
import os
for root,dirs,files in os.walk(file_dir):
return files
# print(getFilesName(r"D:\大学\王老师实验室\03项目\data\02\03_csvDataFile"))
#---------------------------------->【1.1】xlsx、tsv转为csv
import pandas as pd
import os
# 原始文件位置
source_path = r"D:\大学\王老师实验室\03项目\data\02\02_processed"
# 保存位置
save_path = r"D:\大学\王老师实验室\03项目\data\02\03_csvDataFile"
if not os.path.exists(save_path):
os.mkdir(save_path)
pathDir = os.listdir(source_path)
Name = []
End = []
# 获得文件的名称和后缀
def getName(workdir):
for filename in os.listdir(workdir):
split_file = os.path.splitext(filename)
# print(split_file[0])
Name.append(split_file[0])
End.append(split_file[1])
return Name, End
name, end = getName(source_path)
# print(name,end)
n=0
for i in range(len(name)):
oldPath=source_path+'\\'+name[i]+end[i]
newPath=save_path+'\\'+name[i]+'.csv'
n+=1
print(n)
if end[i]=='.tsv':
df = pd.read_csv(oldPath,sep='\t')
df.to_csv(newPath, index=False)
elif end[i]=='.xlsx':
df = pd.read_excel(oldPath)
df.to_csv(newPath, index=False)
#---------------------------------->【1.2】检验文件是否转换完全
import os
# 原始文件位置
source_path = r"D:\大学\王老师实验室\03项目\data\02\02_processed"
# 保存位置
save_path = r"D:\大学\王老师实验室\03项目\data\02\03_csvDataFile"
souce_pathDir = os.listdir(source_path)
save_pathDir=os.listdir(save_path)
print("源目录文件个数：",len(souce_pathDir))#23
print("转换后目录文件个数：",len(save_pathDir))#23
#---------------------------------->【2.1】修改Description值：提取GN后面的值（没有GN的空字符串代替）
old_dir=r"D:\大学\王老师实验室\03项目\data\02\03_csvDataFile"
new_dir=r"D:\大学\王老师实验室\03项目\data\02\04_handledDataFile"
def modifyColValue(file_path):
import pandas as pd
file_name=file_path.split('\\')[-1]#文件名
new_file_path=new_dir+"\\"+file_name#将要保存的文件路径
f_data=pd.read_csv(file_path)#所有数据
n=0
for i in range(len(f_data)):
n+=1
desp=f_data['Description'][i]
#正则表达式匹配GN=后面的字符
import re
pattern=r"GN=(\S+)\s"#\S:表示非空字符，\s:表示空字符，+:表示出现次数>=1
gn = re.findall(pattern, desp)#匹配到的基因名字
gn=gn[0] if gn else ''
# print(n,gn,sep=':')
#修改Description
f_data['Description'][i] = gn
print(n)
print(f_data.shape)
f_data.to_csv(new_file_path,index=False)
#修改Data1开头的文件
modifyColValue(old_dir+"\Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv")
modifyColValue(old_dir+"\Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv")
#---------------------------------->【2.2】删除数据文件中的空行数据
def deleteBlankLines(file_path):
df=pd.read_csv(file_path)
print('删除空值：',file_path.split('\\')[-1])
print('删除前行数：',len(df))
#删除第一列为空值所在的行
df.dropna(subset=[df.columns[1]], inplace=True)#1:表示第1列
#保存修改后的csv文件
df.to_csv(file_path, index=False)
df = pd.read_csv(file_path)
print('删除后行数：', len(df))
#---------------------------------->【2.3】合并相同基因的行
def mergeSameRows(file_path):
import pandas as pd
df=pd.read_csv(file_path)
#填充空值为0
df.fillna(0,inplace=True)
#合并相同的行
df=df.groupby("Genes").sum()
new_name=file_path.split('.csv')[0]+"副本"+".csv"
df.to_csv(new_name, index=True)
file_dir=r"D:\大学\王老师实验室\03项目\data\02\04_handledDataFile"#处理完数据存储的目录路径
file_names=getFilesName(file_dir)
for file_name in file_names:
file_full_path=file_dir+"\\"+file_name
deleteBlankLines(file_full_path)
mergeSameRows(file_full_path)
#---------------------------------->【2.4】验证合并的正确性
file_dir=r"D:\大学\王老师实验室\03项目\data\02\04_handledDataFile"
def checkMerge(old_path,new_path):
"""
:param old_path: 老文件路径
:param new_path: 新文件路径
:return:
"""
import pandas as pd
# ①验证原来不同基因个数和后来不同基因个数是否相同
old_data=pd.read_csv(old_path)
new_data=pd.read_csv(new_path)
old_gene=old_data["Genes"]
new_gene=new_data["Genes"]
print('原数据的行和列：',old_data.shape,'; 处理后数据的行和列：',new_data.shape)
print('原来不同基因个数：',len(set(old_gene)))
print('处理后不同基因个数：', len(set(new_gene)))
#②通过验证每列和是否相同，从而验证其正确性
print("每列和是否相同：",all(abs(old_data.iloc[:,1:].sum()-new_data.iloc[:,1:].sum())<1e-4))
all_path=getFilesName(file_dir)
old_path=all_path[::2]
new_path=all_path[1::2]
for i,j in zip(old_path,new_path):
print("开始检查文件：",i)
checkMerge(file_dir+'\\'+i,file_dir+'\\'+j)
print('-'*50)
#---------------------------------->【3.1】观察列名相同部分和不同部分，从而加以区分
file_dir=r"D:\大学\王老师实验室\03项目\data\02\04_handledDataFile"
long_file_names=[
'Data2_File1_DIA_U937_RIGI_0_9.pg_matrix副本.csv',
'Data2_File2_DIA_U937_RIGI_0_9_missedcleavage.pg_matrix副本.csv',
'Data3_File2_Data2_DIA_50_NB4_50_U937_3_AML_celllines副本.csv',
'Data4_File6_DIA_NB4_ATRA_0_9_and_AML_cells_phoshpo副本.csv',
'Data4_File7_DIA_NB4_ATRA_0_9_and_AML_cells_KGG副本.csv',
'Data5_File1_NB4_TRIM25_ISG15_USP18_knockdown副本.csv',
'Data7_File1_siHATRIM27_overexpression_knockdown副本.csv',
'Data9_File1_HL60_ATRA_report.pg_matrix副本.csv'
]
def printColumnNames(file_path):
import pandas as pd
df=pd.read_csv(file_path)
print(file_path.split('\\')[-1],'列名如下：')
for i in list(df):
print(i)
print('-'*50)
for i in range(len(long_file_names)):
print('<---',i,'--->')
printColumnNames(file_dir + '\\' + long_file_names[i])
#---------------------------------->【3.2】处理列名较长的八个文件
new_file_dir=r"D:\大学\王老师实验室\03项目\data\02\05_handledDataFile2"
def shortenLongColumn(file_path):
"""
缩短列名，根据 反斜线后”.raw”前的字符串
:param file_path:文件完整路径
:return:
"""
import pandas as pd
df=pd.read_csv(file_path)
old_col_names=list(df)[1:]#因为第一列名是Genes，勿需处理
new_col_names=[i.split('\\')[-1].split('.raw')[0] for i in old_col_names]
df.columns = ["Genes"]+new_col_names
new_file_path=new_file_dir+'\\'+file_path.split('\\')[-1]
df.to_csv(new_file_path,index=False)
print(file_path.split('\\')[-1],'文件列名为：')
print(df.columns)
print('-'*50)
for i in long_file_names:
shortenLongColumn(file_dir+'\\'+i)
#---------------------------------->【3.3】检验列名是否修改正确
def checkColumnName(old_file_path,new_file_path):
import pandas as pd
old_df=pd.read_csv(old_file_path)
new_df=pd.read_csv(new_file_path)
print('开始检查文件：',old_file_path.split('\\')[-1])
print('老文件列：',len(list(old_df)),'; 新文件列：',len(list(new_df)))
print('-'*50)
for i in long_file_names:
checkColumnName(file_dir+'\\'+i,new_file_dir+'\\'+i)
#---------------------------------->【3.4】将未处理的文件移动到新的目录下（此处已完全预处理结束）
files=getFilesName(file_dir)
need_move_files=[f for f in files if "副本" in f and f not in long_file_names]#需要移动的文件
print("需要移动的文件个数：",len(need_move_files))#23-8=15
print("需要移动的文件为：")
print(need_move_files)
def moveFile(old_file_path,new_file_path):
import pandas as pd
old_df=pd.read_csv(old_file_path)
old_df.to_csv(new_file_path,index=False)
for i in need_move_files:
moveFile(file_dir+'\\'+i,new_file_dir+'\\'+i)
#新目录下的文件个数
print('【检查移动是否成功】新目录下的文件个数:',len(getFilesName(new_file_dir)))
#---------------------------------->【4.1】删除Datax_Filey文件的一行均为0的行
file_dir=r"D:\大学\王老师实验室\03项目\data\02\06_handledDataFile3"
files=getFilesName(file_dir)
def deleteAllZeroRow(file_path):
import pandas as pd
df=pd.read_csv(file_path)
print("删除文件中的值全为0的行：",file_path.split('\\')[-1])
print("原行数：",df.shape[0])
df=df.loc[(df.iloc[:,1:] != 0).any(axis=1)]#留下非0行
# df = df.drop(df[df.sum(axis=1)!=0].index)#留下全0行 ==》用于验证
df.to_csv(file_path,index=False)
df=pd.read_csv(file_path)
print("处理后行数：",df.shape[0])
print('-'*50)
for i in range(len(files)):
print(i)
deleteAllZeroRow(file_dir+'\\'+files[i])
deleteAllZeroRow(r"D:\大学\王老师实验室\03项目\data\02\Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本.csv")
deleteAllZeroRow(r"D:\大学\王老师实验室\03项目\data\02\Data1_File2_DDA_PTM_NB4_A0_9_Abundance副本.csv")
'''
Data1_File1:5353 4847
Data9:7556 7556
Data10: 7333 7333
'''
printToLogFile(log_file_path,getCurTime())
printToLogFile(log_file_path,'\r\n')
#---------------------------------->【4.2】更新Human_protein_ID.csv
def search_for_gene_size(gene):
import requests
from lxml import etree
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}
url = "https://www.genecards.org/cgi-bin/carddisp.pl?gene="
url += gene
res = requests.get(url, headers=header)
tree = etree.HTML(res.text)
i=0
while(1):
try:
protein_size = tree.xpath('//*[@id="proteins-attributes"]/div/dl[1]/dd[1]/text()')[0]
except IndexError as e:
# print('*')
protein_size = tree.xpath('//*[@id="proteins-attributes"]/div/dl[1]/dd[1]/text()')
i+=1
if len(protein_size)!=0 or i>=10:
break
protein_size = ''.join([x for x in protein_size if x.isdigit()])
print(gene,protein_size,sep=' : ')
print('-'*10)
return protein_size
# search_for_gene_size("hCG_2002731")
source_dir = r"D:\大学\王老师实验室\03项目\data\02\06_handledDataFile3"
target_path =r"D:\大学\王老师实验室\03项目\data\02\Human_protein_ID - 副本.csv"
def updateHumanProteinFile(source_path,target_path):
import pandas as pd
# Read csv file
source_pd = pd.read_csv(source_path)
print("源文件行数：",len(source_pd))
printToLogFile(log_file_path, "源文件行数："+str(len(source_pd)))
target_pd = pd.read_csv(target_path)
print("目标文件行数：", len(target_pd))
printToLogFile(log_file_path, "目标文件行数：" + str(len(target_pd)))
for i in range(len(source_pd)):
flag = 1
# Split according to gene
temp = source_pd['Genes'][i].split(';')
for j in range(len(temp)):
for k in range(len(target_pd['gene'])):
if temp[j] == target_pd['gene'][k]:
flag = 0
break
if flag == 1:#没在目标文件，加入
print(temp[0],sep='\t')
printToLogFile(log_file_path, temp[0]+'\t')
# 加在最后
protein_size=search_for_gene_size(temp[0])
if protein_size:#没找到size的不加入
a = {'ID':' ','gene': [temp[0]],'protein_size':protein_size,'annotation':temp[0]}
df = pd.DataFrame(a)
# mode = 'a'为追加数据，index为每行的索引序号，header为标题
df.to_csv(target_path, mode='a', index=False, header=False)
target_pd = pd.read_csv(target_path)
print("修改后目标文件行数：", len(target_pd))
printToLogFile(log_file_path, "修改后目标文件行数："+str(len(target_pd)))
files_name=getFilesName(source_dir)
for i in files_name:
print('查找文件：',i)
printToLogFile(log_file_path, '查找文件：'+i)
updateHumanProteinFile(source_dir+'\\'+i,target_path)
deleteBlankLines(target_path)#全部添加完后删除size为空的行
#---------------------------------->【5.1】产生_size_ppm.csv文件
source_dir = r"D:\大学\王老师实验室\03项目\data\02\06_handledDataFile4"
target_dir = r"D:\大学\王老师实验室\03项目\data\02\07_ppmDataFile"
refer_file_path = r'D:\大学\王老师实验室\03项目\data\02\Human_protein_ID - 副本.csv' # Human_protein文件
def outputPpmFiles(source_path):
"""
这是一个最终产生—_size_ppm.csv的文件。
:param source_path: 源文件路径
:return:
"""
import pandas as pd
souce_df = pd.read_csv(source_path)
refer_df = pd.read_csv(refer_file_path)
merge_df = pd.merge(refer_df, souce_df, how='inner', left_on='gene', right_on='gene')
print('列数：',len(merge_df.columns))
printToLogFile(log_file_path, '列数：'+str(len(merge_df.columns)))
print('行数：',len(merge_df.index))
printToLogFile(log_file_path, '行数：' + str(len(merge_df.index)))
print(merge_df.columns)
printToLogFile(log_file_path, merge_df.columns)
#删除特定列 ID、gene、annotation
merge_df=merge_df.drop(columns=['ID','gene','annotation'])
print('列数：', len(merge_df.columns))
printToLogFile(log_file_path, '列数：' + str(len(merge_df.columns)))
print('行数：', len(merge_df.index))
printToLogFile(log_file_path, '行数：' + str(len(merge_df.index)))
print(merge_df.columns)
printToLogFile(log_file_path, merge_df.columns)
#两列相乘
for i in range(2,len(merge_df.columns)):
merge_df.iloc[:,i]=0.01*(merge_df.iloc[:,i]*merge_df['protein_size'])
merge_df.iloc[:, i]=(merge_df.iloc[:,i]/sum(merge_df.iloc[:,i]))*1e6
merge_df = merge_df.drop(columns=['protein_size'])
ppm_name=source_path.split('\\')[-1].split('.csv')[0]+"_size_ppm.csv"
merge_df.to_csv(target_dir+'\\'+ppm_name,index=False)
source_file_name=getFilesName(source_dir)
for f in source_file_name:
outputPpmFiles(source_dir+'\\'+f)
# #---------------------------------->【5.2】检查_size_ppm文件行数少的原因
#可能原因：①源文件没有GN=的（空值）；②有重复的GN；③有GN，但是一行全为0的；④Genes爬虫爬不到的；
source_dir=r"D:\大学\王老师实验室\03项目\data\02\03_csvDataFile"
target_dir=r"D:\大学\王老师实验室\03项目\data\02\07_ppmDataFile"
#测试文件
test_source_path=source_dir+'\\'+'Data2_File1_DIA_U937_RIGI_0_9.pg_matrix.csv'
test_target_path=target_dir+'\\'+'Data2_File1_DIA_U937_RIGI_0_9.pg_matrix副本_size_ppm.csv'
#【5.2.1】源文件和目标文件行数差异
def get_DiffRowSourceTarget(source_path,target_path):
"""
获得原文件和目标文件的行数差异
:param source_path: str 原文件地址
:param target_path: str 目标文件地址
:return: int
"""
source_df=pd.read_csv(source_path)
target_df = pd.read_csv(target_path)
source_row=len(source_df)
target_row=len(target_df)
diff_row=source_row-target_row
print('原文件：',source_path.split('\\')[-1],'， 行数：',source_row)
print('目标文件：', target_path.split('\\')[-1], '， 行数：', target_row)
print('目标文件比原文件少的行数：',diff_row)
print('-'*50)
return diff_row
# get_DiffRowSourceTarget(test_source_path,test_target_path)
#【5.2.2】源文件没有GN=的行数 ==>只有Data1_File1和Data1_File2检查
def getNoGNRow(file_path):
"""
获得源文件没有基因的行数。
:param file_path: str 文件地址
:return: int
"""
df=pd.read_csv(file_path)
df_description=df['Description']
print('文件：',file_path.split('\\')[-1])
no_gn_col=len([1 for i in df_description if 'GN=' not in i])
print('没有基因的行数：',no_gn_col)
print('-'*50)
return no_gn_col
# getNoGNRow(test_source_path)
def getBlankGene(file_path):
"""用于求除了Data1文件的的空行"""
df=pd.read_csv(file_path)
ge=df['Genes']
print('文件：', file_path.split('\\')[-1])
no_gn_col=ge.isnull().sum()
print('没有基因的行数：',no_gn_col)
print('-'*50)
return no_gn_col
# 测试getBlankGene()函数
f_03_dir=r"D:\大学\王老师实验室\03项目\data\02\03_csvDataFile"
f_03_files_name=getFilesName(f_03_dir)
for i in f_03_files_name:
if 'Data1' not in i:
getBlankGene(f_03_dir+'\\'+i)
#【5.2.3】获取具有重复基因的行数
def getRepetitionGNRow(file_path):
"""
获取具有重复基因的行数
:param file_path: str 文件路径
:return: int
"""
df=pd.read_csv(file_path)
all_genes=df['gene']
no_repe_genes=set(all_genes)
diff_col=len(all_genes)-len(no_repe_genes)
print('文件：',file_path.split('\\')[-1])
print('具有重复基因的行数：',diff_col)
print('-' * 50)
return diff_col
# getRepetitionGNRow(r"D:\大学\王老师实验室\03项目\data\02\04_handledDataFile\Data2_File1_DIA_U937_RIGI_0_9.pg_matrix.csv")
#【5.2.4】获取值全为0的行数
def getValueZeroRow(file_path):
"""
获取值全为0的行数
:param file_path: str 文件路径
:return: int
"""
df=pd.read_csv(file_path)
zero_df = df.loc[(df.iloc[:, 1:] == 0).all(axis=1)]#获取全0行
zero_row=len(zero_df)#行数
print('文件：',file_path.split('\\')[-1])
print('全0行有：',zero_row)
print('-'*50)
return zero_row
# getValueZeroRow(r'D:\大学\王老师实验室\03项目\data\02\04_handledDataFile\Data2_File1_DIA_U937_RIGI_0_9.pg_matrix副本.csv')
#【5.2.5】基因在爬虫中找不到的行数
def getHumanGenes(file_path):
"""
获取Human_protein_ID文件中的基因列表。
:param file_path:
:return:list
"""
df=pd.read_csv(file_path)
all_gene=df['gene']
return all_gene
human_gene=set(getHumanGenes(r'D:\大学\王老师实验室\03项目\data\02\Human_protein_ID - 副本.csv'))
def getNoFoundGNSize(file_path):
"""
获得在网站中搜索不到的基因或没有size值的
:param file_path:str 文件路径
:return:int
"""
df=pd.read_csv(file_path)
df_genes=df["gene"]
unfound_count=0#未发现的基因个数
print('文件：',file_path.split('\\')[-1])
print('未发现的基因有：')
for g in df_genes:
if g not in human_gene:#不在里面再搜索
s=search_for_gene_size(g)
if not s:
# print(g,end='\t')
unfound_count+=1
print('总个数为：',unfound_count)
print('-'*50)
return unfound_count
# getNoFoundGNSize(r'D:\大学\王老师实验室\03项目\data\02\06_handledDataFile4\Data2_File1_DIA_U937_RIGI_0_9.pg_matrix副本.csv')
# #【5.2.6】终极检查ppm
#因为前俩文件不同，所以单独检查
def checkTwoFiles():
f1=source_dir+'\\'+'Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv'
ff1=target_dir+'\\'+'Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本_size_ppm.csv'
a=get_DiffRowSourceTarget(f1,ff1)
b=getNoGNRow(f1)
c=getRepetitionGNRow(r'D:\大学\王老师实验室\03项目\data\02\04_handledDataFile\Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv')
d=getValueZeroRow(r'D:\大学\王老师实验室\03项目\data\02\04_handledDataFile\Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本.csv')
e=getNoFoundGNSize(r'D:\大学\王老师实验室\03项目\data\02\06_handledDataFile4\Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本.csv')
print('Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv文件是否正确：',a==(b+c+d+e))
print('Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv文件少的行数：', a - (b+c + d + e))
printToLogFile(log_file_path, 'Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv是否正确：' + str(a == (b+c + d + e)) + '\r\n')
printToLogFile(log_file_path, 'Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv文件少的行数：' + str(a - (b+c + d + e)) + '\r\n')
printToLogFile(log_file_path, '-' * 50 + '\r\n')
print('-'*100)
print('-'*100)
f2 = source_dir + '\\' + 'Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv'
ff2 = target_dir + '\\' + 'Data1_File2_DDA_PTM_NB4_A0_9_Abundance副本_size_ppm.csv'
a=get_DiffRowSourceTarget(f2, ff2)
b=getNoGNRow(f2)
c=getRepetitionGNRow(r'D:\大学\王老师实验室\03项目\data\02\04_handledDataFile\Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv')
d=getValueZeroRow(r'D:\大学\王老师实验室\03项目\data\02\04_handledDataFile\Data1_File2_DDA_PTM_NB4_A0_9_Abundance副本.csv')
e=getNoFoundGNSize(r'D:\大学\王老师实验室\03项目\data\02\06_handledDataFile4\Data1_File2_DDA_PTM_NB4_A0_9_Abundance副本.csv')
print('Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv文件是否正确：', a == (b + c + d + e))
print('Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv文件少的行数：', a - (b+c + d + e))
printToLogFile(log_file_path,'Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv是否正确：' + str(a == (b+c + d + e)) + '\r\n')
printToLogFile(log_file_path, 'Data1_File2_DDA_PTM_NB4_A0_9_Abundance.csv文件少的行数：' + str(a - (b+c + d + e)) + '\r\n')
printToLogFile(log_file_path, '-' * 50 + '\r\n')
print('-' * 100)
print('-' * 100)
checkTwoFiles()
#检查其他的文件
def checkOtherFiles():
souce_other_files_name=[i for i in getFilesName(source_dir) if 'Data1_' not in i]#除去前俩文件
target_other_files_name=[i for i in getFilesName(target_dir) if 'Data1_' not in i]#除去前俩文件
f_04_dir=r"D:\大学\王老师实验室\03项目\data\02\04_handledDataFile"
f_04_other_files_name=[i for i in getFilesName(f_04_dir) if ('副本' not in i)and('Data1_' not in i)]
f_04_other_files_fuben_name = [i for i in getFilesName(f_04_dir) if ('副本.csv' in i) and ('Data1_' not in i)]
f_06_4_dir=r"D:\大学\王老师实验室\03项目\data\02\06_handledDataFile4"
f_06_4_other_files_name=[i for i in getFilesName(f_06_4_dir) if 'Data1_' not in i]
for i in range(len(souce_other_files_name)):
# print(souce_other_files_name[i])
# print(target_other_files_name[i])
# print(f_04_other_files_name[i])
# print(f_04_other_files_fuben_name[i])
# print(f_06_4_other_files_name[i])
# print('-'*50)
f1=source_dir+'\\'+souce_other_files_name[i]
ff1=target_dir+'\\'+target_other_files_name[i]
a=get_DiffRowSourceTarget(f1,ff1)
b=getBlankGene(f1)
c=getRepetitionGNRow(f_04_dir+'\\'+f_04_other_files_name[i])
d=getValueZeroRow(f_04_dir+'\\'+f_04_other_files_fuben_name[i])
e=getNoFoundGNSize(f_06_4_dir+'\\'+f_06_4_other_files_name[i])
print(souce_other_files_name[i],'是否正确：', a == (b+c + d + e))
print(souce_other_files_name[i],'文件少的行数：',a - (b+c + d + e))
printToLogFile(log_file_path,souce_other_files_name[i]+'是否正确：'+str(a == (b+c + d + e))+'\r\n')
printToLogFile(log_file_path,souce_other_files_name[i]+'文件少的行数：'+str(a - (b+c + d + e))+'\r\n')
printToLogFile(log_file_path, '-'*50+'\r\n')
print('-' * 100)
print('-' * 100)
checkOtherFiles()
'''
原文件： Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv ， 行数： 6341
目标文件： Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本_size_ppm.csv ， 行数： 4785
目标文件比原文件少的行数： 1556
--------------------------------------------------
文件： Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv
没有基因的行数： 823 ==>正确
--------------------------------------------------
文件： Data1_File1_DDA_noPTM_NB4_A0_9_Abundance.csv
具有重复基因的行数： 165 ==>正确
--------------------------------------------------
文件： Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本.csv
全0行有： 506 ==>正确
--------------------------------------------------
文件： Data1_File1_DDA_noPTM_NB4_A0_9_Abundance副本.csv
未发现的基因有：
总个数为： 62 ==>正确
'''
#【】修改文件列名Genes->gene
def modifyColName(file_path):
df=pd.read_csv(file_path)
df.rename(columns={'Genes':'gene'},inplace=True)
df.to_csv(file_path,index=False)
file_dir=r"D:\大学\王老师实验室\03项目\data\02\05_handledDataFile2"
files_path=[i for i in getFilesName(file_dir) if '.csv' in i]
for i in files_path:
modifyColName(file_dir+'\\'+i)
#【】处理分号基因
def handleFenhaoGene(file_path):
print('处理分号基因文件：',file_path.split('\\')[-1])
df=pd.read_csv(file_path)
g=df['gene']
for i in range(len(g)):
if g[i] not in human_gene:#包括单个基因和分号基因
if ';' in g[i]:#分号基因
g_ls=g[i].split(';')#获得列表
print(g[i])
tag=0
for j in g_ls:
if j in human_gene:#在,改原文件gene名字
print(j,'基因在human,但不是第一个，修改')
df['gene'][i] = j#谁在改为谁
tag=1
break
if tag==0:#不在，把第一个加入human
g_first=g_ls[0]#第一个
print(g_first,'基因不在huamn,为第一个，修改')
df['gene'][i] = g_first#没在，改为第一个
p_size=search_for_gene_size(g_first)
if p_size:#没找到size不加入
a = {'ID': ' ', 'gene': [g_first], 'protein_size': p_size, 'annotation': g_first}
df = pd.DataFrame(a)
df.to_csv(r'D:\大学\王老师实验室\03项目\data\02\Human_protein_ID - 副本.csv', mode='a', index=False, header=False)
df.to_csv(file_path,index=False)#因为修改了分号基因的gene，所以需要重新写入
print('-'*50)
file_dir = r"D:\大学\王老师实验室\03项目\data\02\06_handledDataFile4"
files_path = [i for i in getFilesName(file_dir) if '.csv' in i]
for i in files_path:
handleFenhaoGene(file_dir + '\\' + i)虽然，我知道一定还是会有错误，所以我发给老师的时候，说话严谨了很多，也给自己找好的后路，其实我依然有预感，这次数据还是错的。
想到这里，我又慌了！！！！！！！！！！！！！
啊啊啊啊啊啊！~~~~~~~~~~~~~~~