为 Shutil 添加多线程？！

发布日期： 2024-08-27 阅读量： 作者： 网络

为 shutil 添加多线程？！

讨论shutil.copytree添加多线程

** 我在 python 上写的讨论：https://discuss.python.org/t/add-multithreading-to-shutil-copytree/62078 **

背景

shutil 是 python 中一个非常有用的模块。你可以在github中找到它：https://github.com/python/cpython/blob/master/lib/shutil.py

shuutil.copytree 是一个将文件夹复制到另一个文件夹的函数。

在这个函数中，调用_copytree函数进行复制。

_copytree 有什么作用？

忽略指定的文件/目录。
创建目标目录。
在处理符号链接时复制文件或目录。
收集并最终提出遇到的错误（例如权限问题）。
将源目录的元数据复制到目标目录。

问题

_当文件数量较多或文件大小较大时，copytree速度不是很快

在这里测试：

import os
import shutil

os.mkdir('test')
os.mkdir('test/source')

def bench_mark(func, *args):
    import time
    start = time.time()
    func(*args)
    end = time.time()
    print(f'{func.__name__} takes {end - start} seconds')
    return end - start

# write in 3000 files
def write_in_5000_files():
    for i in range(5000):
        with open(f'test/source/{i}.txt', 'w') as f:
            f.write('hello world' + os.urandom(24).hex())
            f.close()

bench_mark(write_in_5000_files)

def copy():
    shutil.copytree('test/source', 'test/destination')

bench_mark(copy)

# python # git # 内存占用

上一篇: phpcms怎么安装模块

下一篇: DedeCMS编辑器fck怎么更换成eWebEditor编辑

为 Shutil 添加多线程？！

随便看看