PythonはCSVファイルを読み取り、重複データを削除します

xlrdモジュールとpandasモジュールをインストールします

pip3 install xlrd
pip install pandas

Pythonファイルインポートパンダモジュール

import pandas as pd

ファイルを読み取り、重複排除する必要のある列名に従ってデータを重複排除します

import csv                   #导入pandas包


data = pd.read_csv("E:/test.csv")             #读取csv文件
   
dateMap = []

for i in range(len(data)):
    dateMap.append(data["门店编号"][i])
    
print("去重复前数量："+len(data).__str__())
formatList = list(set(dateMap))
formatList.sort(key=dateMap.index)

print("去重复后数量："+len(formatList).__str__() )

コンソール出力は