Tutorial básico de Python: Python lograr archivos de copia multi-proceso y mostrar el ejemplo de la función porcentaje

Este documento describe ejemplos de múltiples procesos implementados en Python y archivos de copia mostrar la función de porcentaje. Compartir con usted para su referencia, de la siguiente manera:

Ver centos7 auditoría taza de la siguiente manera:

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

En este ejemplo se utiliza el archivo copiado es la forma más sencilla pero más complicado:

1, según una copia del nombre de la carpeta, crear una nueva carpeta para almacenar archivos

2, para leer la carpeta de archivos de contenido de código, que se escribe en el objeto carpeta de archivos del mismo nombre

Directamente en el código:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    # oldFolderName = input("请输入文件夹的名字：") # python3
    oldFolderName = raw_input("请输入文件夹的名字：") # python2
    # 1. 创建一个新的文件夹
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 获取old文件夹中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5)
    # 创建一个队列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 关闭进程池，不再接受请求
    pool.join() # 等待所有的子进程结束
    num = 0
    # 需要copy的文件总数
    allNum = len(fileNames)
    while num < allNum:
      # 收数据
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的进度
      time.sleep(0.1) # 容易看出来打印百分比的变化，延长百分比更新的时间
      print "\rcopy的进度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

módulos de Python shutil utilizando el siguiente módulo de operación de copia:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字：")
    print '要拷贝的源文件夹： ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字：")
    print '目标文件夹：', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径： ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径： ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径： ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5) # 创建5条进程
    queue = Manager().Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量:：', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
      pool.close() # 关闭进程池，不再接受请求
      pool.join() # 等待所有的子进程结束
      print '耗时：{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

Desde mi salida :( 1 taza nuclear de auditoría, en el proceso de utilización de múltiples procesos, el sistema operativo en tiempo de sondeo, tareas de conmutación frecuentes, lo que resulta en una pérdida de tiempo para llevar multi-proceso más largo que un solo proceso.)

[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字：hdfs
要拷贝的源文件夹：  hdfs
请输入文件夹的名字：test01
目标文件夹： test01
当前所在路径：  /mnt
源文件夹路径：  /mnt/hdfs
目标文件夹路径：  /mnt/test01
源文件夹下的文件数量:： 8165
耗时：253.655323982 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

copias simples de documentos del proceso:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字：")
    print '要拷贝的源文件夹： ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字：")
    print '目标文件夹：', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径： ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径： ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径： ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量:：', len(files)
      s_t = time.time()
      # 调用函数拷贝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗时：{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

salida:

[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字：hdfs
要拷贝的源文件夹：  hdfs
请输入文件夹的名字：test02
目标文件夹： test02
当前所在路径：  /mnt
源文件夹路径：  /mnt/hdfs
目标文件夹路径：  /mnt/test02
源文件夹下的文件数量:： 8165
耗时：122.284090996 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

Mi cpu Auditoría máquina virtual: 1

De la siguiente manera:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

Por último, se recomienda una muy amplia recolección de recursos de aprendizaje pitón, [haga clic para entrar] , he aquí mi colección antes de la experiencia de aprendizaje, el aprendizaje de la pluma

Recuerde, hay un rayo de experiencia corporativa, y se calmó a cero sobre la base de los datos reales del proyecto, podemos también por debajo del mensaje, no el

Comprender propuesta, vamos a estudiar juntos el progreso