python3实现将本地文件夹全部内容上传到FTP

需求:

1、将本地文件夹的内容上传到FTP指定目录下,包括子目录及文件,要求支持中文文件名。

2、如果FTP上文件存在,对比大小不一致则覆盖上传,如果一致则不用上传。

3、要有日志功能方便查看

4、尽量以函数的方式实现

思路:

1、先上传一级目录,子目录使用递归的方式层层上传。FTP上如果目录不存在则新建。

2、上传单个文件时进行文件大小对比。如果大小不一致则覆盖上传。

3、完成后统计上传文件的类型和数量,并打印上传结果。

本程序的改进:

此程序是我参考了网上多个实现方式,花了半个月时间改进过来的。对以前的功能进行了大幅完善。

1、解决了复制文件夹时目录顺序错乱的问题。
2、解决了不支持复制中文文件名的文件的问题。
3、优化了日志系统,将日志改为了中文,增加了显示上传结果,日志文件为单个文件,大小循环限制为5M。
4、大量的代码优化

代码实现如下:

# power by luo_tao 20211111
import os
from ftplib import FTP
import traceback
import logging
import sys
from logging.handlers import RotatingFileHandler


# 如需要支持中文名文件传输,需要将ftplib.py文件中的  encoding = "latin-1"  改为   encoding = "utf-8"
class FTP1(FTP):     # 继承FTP类,修改解码参数,解决不识别文件名中文的问题
    encoding = "utf-8"


# 比对本地文件和上传文件的大小
def is_same_size(ftp, local_file, remote_file, app_log):
    try:
        remote_file_size = ftp.size(remote_file)       # 获取远端文件大小
    except Exception as err:
        #app_log.debug("获取远程文件大小失败, 原因为:%s" % err)
        remote_file_size = -1     # 如果获取FTP文件失败,则返回-1
    try:
        local_file_size = os.path.getsize(local_file)     # 获取本地文件大小
    except Exception as err:
        app_log.debug("获取本地文件大小失败, 原因为:%s" % err)
        local_file_size = -1      # 如果获取本地文件失败,则返回-1
    # 三目运算符
    result = True if (remote_file_size == local_file_size) else False    # 文件大小对比
    return result, remote_file_size, local_file_size    # 返回对比结果,FTP文件和本地文件的大小


# 上传单个文件的函数,里面调用了比对本地文件和上传文件的大小的函数
def upload_file(ftp, local_file, remote_file, app_log):
    global upload_file_count
    global fail_count
    # 检查本地是否有此文件
    if not os.path.exists(local_file):     # 如果不存在本地文件,记录日志并返回False
        app_log.debug(f'上传文件:本地待上传的文件:{local_file}不存在。')
    result, remote_file_size, local_file_size = is_same_size(ftp, local_file, remote_file, app_log)  # FTP如果文件已存在,则对比大小
    if True != result:     # 如果对比大小不一致,则上传文件
        print(f'上传文件:远程文件 {remote_file} 不存在,现在开始上传...')
        app_log.debug(f'上传文件:远程文件 {remote_file} 不存在,现在开始上传...')
        global FTP_PERFECT_BUFF_SIZE    # 把全局变量传进来
        try:    # 上传文件到FTP
            with open(local_file, 'rb') as f:   # 打开本地文件
                # ftp.retrbinary('RETR %s' % remote_file, f.write, buffsize)    #下载FTP文件
                if ftp.storbinary('STOR ' + remote_file, f):   # 上传本地文件到FTP
                    result, remote_file_size, local_file_size = is_same_size(ftp, local_file, remote_file, app_log)
                # 打印上传失败或成功的日志
                app_log.debug(f'{remote_file}文件上传成功, 远程文件大小 = {remote_file_size}, 本地文件大小 = {local_file_size}')
                print(f'{remote_file}文件上传成功, 远程文件大小 = {remote_file_size}, 本地文件大小 = {local_file_size}')
                upload_file_count += 1
        except Exception as err:
            app_log.debug(f'上传文件有错误发生:{local_file}, 错误:{err}')
            print(f'上传文件有错误发生:{local_file}, 错误:{err}')
            fail_count += 1
            result = False
    else:
        print(f'{local_file}文件已存在,无需上传!')
        app_log.debug(f'{local_file}文件已存在,无需上传!')


# 上传目录的函数,里面有调用上传单个文件的函数
def upload_file_tree(local_path, remote_path, ftp, IsRecursively, app_log):
    global fail_count
    # 有远端目录的话进入目录,没有目录的话创建目录
    print(f'upload_file_tree函数开始运行!FTP远程目录为:{remote_path}')
    # 切换到FTP的目标目录,如果没有的话则创建
    try:
        ftp.cwd(remote_path)  # 进入FTP工作目录
    except Exception as e:
        print(f'FTP目录:{remote_path}文件夹不存在,错误信息:', e)
        app_log.debug(f'FTP目录:{remote_path}文件夹不存在,错误信息:{e}')
        base_dir, part_path = ftp.pwd(), remote_path.split('/')
        for subpath in part_path:
            # 针对类似  '/home/billing/scripts/zhf/send' 和 'home/billing/scripts/zhf/send' 两种格式的目录
            # 如果第一个分解后的元素是''这种空字符,说明根目录是从/开始,如果最后一个是''这种空字符,说明目录是以/结束
            # 例如 /home/billing/scripts/zhf/send/ 分解后得到 ['', 'home', 'billing', 'scripts', 'zhf', 'send', ''] 首位和尾都不是有效名称
            if '' == subpath:     # 如果是空字符,跳出此循环,执行下一个。
                continue
            base_dir = os.path.join(base_dir, subpath)  # base_dir + subpath  # 拼接子目录
            try:
                ftp.cwd(base_dir)  # 进入目录
            except Exception as e:
                print(f'创建FTP目录:{base_dir}')
                app_log.debug(f'创建FTP目录:{base_dir}')
                ftp.mkd(base_dir)  # 不存在创建当前子目录 直到创建所有
                continue
        ftp.cwd(remote_path)   # 进入FTP工作目录
    # 本地目录切换
    try:
        # 远端目录通过ftp对象已经切换到指定目录或创建的指定目录
        file_list = os.listdir(local_path)     # 列出本地文件夹第一层目录的所有文件和目录
        for file_name in file_list:
            if os.path.isdir(os.path.join(local_path, file_name)):   # 判断是文件还是目录,是目录为真
                if IsRecursively:  # 递归变量,默认为Ture
                    # 使用FTP进入远程目录,如果没有远程目录则创建它
                    try:   # 如果是目录,则尝试进入到这个目录,再退出来。
                        cwd = ftp.pwd()     # 获取FTP当前路径
                        ftp.cwd(file_name)  # 如果cwd成功 则表示该目录存在 退出到上一级
                        ftp.cwd(cwd)       # 再返回FTP之前的目录
                    except Exception as e:
                        print(f'检查FTP远程目录{file_name}不存在, 现在创建,错误信息:{e}')
                        ftp.mkd(file_name)  # 建立目录
                        print(f'在{remote_path}目录中新建子目录 {file_name} ...')
                        app_log.debug(f'在{remote_path}目录中新建子目录 {file_name} ...')
                    p_local_path = os.path.join(local_path, file_name)    # 拼接本地第一层子目录,递归时进入下一层
                    p_remote_path = os.path.join(ftp.pwd(), file_name)    # 拼接FTP第一层子目录,递归时进入下一层
                    upload_file_tree(p_local_path, p_remote_path, ftp, IsRecursively, app_log)  # 递归
                    ftp.cwd("..")     # 对于递归 ftp 每次传输完成后需要切换目录到上一级
                else:
                    app_log.debug('传输模式是非递归模式,不会创建多级目录!')
                    continue
            else:
                # 是文件 直接上传
                local_file = os.path.join(local_path, file_name)
                remote_file = os.path.join(remote_path, file_name)
                upload_file(ftp, local_file, remote_file, app_log)

    except:
        app_log.debug(f'上传文件时有一些错误发生 :{file_name},错误:{traceback.format_exc()}')
        print(f'上传文件时有一些错误发生 :{file_name},错误:{traceback.format_exc()}')
        fail_count += 1
    return


# 计算本地文件夹中文件个数
def file_count(local_path, type_dict):
    global local_file_count                 # 声明全局变量
    file_list = os.listdir(local_path)  # 列出本地文件夹第一层目录的所有文件和目录
    for file_name in file_list:
        if os.path.isdir(os.path.join(local_path, file_name)):  # 判断是文件还是目录,是目录为真
            type_dict.setdefault("文件夹", 0)      # 如果字典key不存在,则添加并设置为初始值
            type_dict["文件夹"] += 1
            p_local_path = os.path.join(local_path, file_name)  # 拼接本地第一层子目录,递归时进入下一层
            file_count(p_local_path, type_dict)
        else:
            ext = os.path.splitext(file_name)[1]  # 获取到文件的后缀
            type_dict.setdefault(ext, 0)          # 如果字典key不存在,则添加并设置为初始值
            type_dict[ext] += 1
            local_file_count += 1                     # 计算总文件数量
    return local_file_count


# 日志函数
def log_fun(log_file):
    log_formatter = logging.Formatter('%(levelname)s %(asctime)s <----> %(message)s')
    log_handler = RotatingFileHandler(log_file, mode='a', maxBytes=5*1024*1024, backupCount=0,
                                      encoding=None, delay=False)
    # 生成一个RotatingFileHandler对象,限制日志文件大小为5M
    log_handler.setFormatter(log_formatter)     # 对象载入日志格式
    log_handler.setLevel(logging.DEBUG)          # 对象载入级别
    app_log = logging.getLogger('luo_tao')     # 初始化logging模块
    app_log.setLevel(logging.DEBUG)          # 设置初始化模块级别
    app_log.addHandler(log_handler)        # 载入RotatingFileHandler对象
    return app_log

if __name__ == '__main__':
    # 标注为$$$的地方需要修改参数才能正常运行
    # 配置log日志文件
    luo_tao = sys.path[0] + '\\log.log'    # 设置log日志保存的路径
    app_log = log_fun(luo_tao)             # 生成log实例

    # 配置连接FTP的参数
    host = '10.1.1.1'    # $$$ 配置FTP服务器IP
    port = 21
    username = 'username'      # $$$ 配置FTP帐号
    password = 'password'      # $$$ 配置FTP密码
    ftp = FTP1()
    ftp.connect(host, port)
    ftp.login(username, password)

    # 定义变量
    local_path = 'c:\\abc'          # $$$ 配置本地文件夹的路径
    remote_path = '\\abc'           # $$$ 配置远端FTP的文件夹路径
    IsRecursively = True            # 是否复制子目录下文件的开关,不需要可配置为False
    type_dict = dict()              # 定义一个保存文件类型及数量的空字典
    local_file_count = 0                # 计算本地总文件数,初始为0
    upload_file_count = 0               # 计算有多少文件上传到了FTP
    fail_count = 0                     # 失败计数

    # 本地文件计数和上传文件
    file_count(local_path, type_dict)   # 运行计算本地文件夹文件数量的函数
    upload_file_tree(local_path, remote_path, ftp, IsRecursively, app_log)

    # 打印文件上传结果
    for each_type in type_dict:
        if each_type == '文件夹':
            continue
        print(f"目录[{local_path}]中文件类型为[{each_type}]的数量有:{type_dict[each_type]} 个")
        app_log.info(f"目录[{local_path}]中文件类型为[{each_type}]的数量有:{type_dict[each_type]} 个")
    print(f"目录[{local_path}]本地文件数量为:{local_file_count},本次FTP文件上传数量为:{upload_file_count}")
    app_log.info(f"目录[{local_path}]本地文件数量为:{local_file_count},本次FTP文件上传数量为:{upload_file_count}")
    if not fail_count:
        print("本地文件上传FTP全部成功!")
        app_log.info("本地文件上传FTP全部成功!")
    else:
        print("本地文件上传FTP有失败记录,请检查日志!")
        app_log.info("本地文件上传FTP有失败记录,请检查日志!")
    app_log.info('==========================================================================')



运行日志:

upload_file_tree函数开始运行!FTP远程目录为:/abc/123/789\ggg
上传文件:远程文件 /abc/123/789\ggg\111.doc 不存在,现在开始上传...
/abc/123/789\ggg\111.doc文件上传成功, 远程文件大小 = 9216, 本地文件大小 = 9216
上传文件:远程文件 \abc\2.txt 不存在,现在开始上传...
\abc\2.txt文件上传成功, 远程文件大小 = 14, 本地文件大小 = 14
上传文件:远程文件 \abc\3.txt 不存在,现在开始上传...
\abc\3.txt文件上传成功, 远程文件大小 = 34, 本地文件大小 = 34
检查FTP远程目录456不存在, 现在创建,错误信息:550 CWD failed. "/abc/456": directory not found.
在\abc目录中新建子目录 456 ...
upload_file_tree函数开始运行!FTP远程目录为:/abc\456
上传文件:远程文件 /abc\456\1.log 不存在,现在开始上传...
/abc\456\1.log文件上传成功, 远程文件大小 = 288650, 本地文件大小 = 288650
上传文件:远程文件 /abc\456\2.txt 不存在,现在开始上传...
/abc\456\2.txt文件上传成功, 远程文件大小 = 0, 本地文件大小 = 0
上传文件:远程文件 /abc\456\3.txt 不存在,现在开始上传...
/abc\456\3.txt文件上传成功, 远程文件大小 = 0, 本地文件大小 = 0
上传文件:远程文件 \abc\中天国富安全助手1.3(办公网)_0.log 不存在,现在开始上传...
\abc\中天国富安全助手1.3(办公网)_0.log文件上传成功, 远程文件大小 = 18, 本地文件大小 = 18
上传文件:远程文件 \abc\我爱你.txt 不存在,现在开始上传...
\abc\我爱你.txt文件上传成功, 远程文件大小 = 0, 本地文件大小 = 0
目录[c:\abc]中文件类型为[.log]的数量有:4 个
目录[c:\abc]中文件类型为[.txt]的数量有:13 个
目录[c:\abc]中文件类型为[.doc]的数量有:1 个
目录[c:\abc]本地文件数量为:18,本次FTP文件上传数量为:18
本地文件上传FTP全部成功!

进程已结束,退出代码为 0

Guess you like

Origin blog.csdn.net/netlt/article/details/121281608