自己写的os.walk比自己os.walk慢得多-为什么？

Question

不幸的是，这段代码运行速度比“os.walk”慢，但为什么呢？

会不会是“为”循环导致它运行缓慢？

类似于“os.walk”的代码：（“os.walk”函数完成它的功能）

注意：我写信是为了提高自己！：

import os, time
from os.path import *

x = ""
y = []
z = []
var = 0

def walk(xew):
    global top, var, x,y,z
    if not var: var = [xew]
    for i in var:
        try:
            for ii in os.listdir(i):
                y.append(ii) if isdir(i+os.sep+ii) else z.append(ii)

            x = top = i
            var = [top+os.sep+i for i in os.listdir(top) if isdir(top+os.sep+i)]         
        except:
            continue
        yield x,y,z
        yield from walk(var)
        var.clear();y.clear();z.clear()

例如：

2秒内结束：

for x,y,z in walk(path):
    print(x)

在0.5秒内：

for x,y,z in os.walk(path):
    print(x)

Answer 1

这段代码的运行速度几乎与os一样快。步行！

import os, time
from os.path import *

def walk(top):
    x = top;y=[];z=[]
    try:
        for i in os.listdir(top):
            y.append(i) if isdir(top+os.sep+i) else z.append(i)
    except: pass
    else:
        yield x,y,z
        for q in y: yield from walk(top+os.sep+q)

Answer 2

os。walk（）不使用操作系统。listdir（）。它使用更快的操作系统。scandir（）函数，该函数为迭代器提供每个目录项的更多信息：

使用scandir（）代替listdir（）可以显著提高还需要文件类型或文件属性信息的代码的性能，因为os.如果操作系统在扫描目录时提供此信息，则DirEntry对象会公开此信息。所有os.DirEntry方法可以执行系统调用，但是is_dir（）和is_file（）通常只需要符号链接的系统调用；os。DirEntry.stat（）在Unix上总是需要一个系统调用，但在Windows上只需要一个符号链接。

os。walk（）code大量使用DirEntry。is_dir（）call，它与os一起使用。scandir（）比使用操作系统便宜得多。isdir（）（必须进行单独的os.stat（）调用）。

接下来，您的代码经常调用os.isdir（）。您实际上对路径中的每个文件条目调用它两次。您已经收集了y中的所有子目录，当重新创建var时，您不需要再次测试路径。这些额外的isdir（）调用花费了您大量的时间。

当var为空（没有其他子目录）时，您也会递归，这会导致您首先将空列表包装到另一个列表中，然后是os。listdir（）抛出一个类型错误异常，你的毛毯口袋妖怪会捕捉到除处理程序沉默之外的所有异常。

接下来，您应该去掉全局变量，并使用适当的变量名<代码>文件和目录的名称要比y和z清晰得多。因为您创建了y和z全局文件，所以您将保留给定级别的所有文件和目录名，并且对于向下的每个第一个子目录，您将重新报告这些相同的文件和目录名，就好像它们是这些子目录的成员一样。只有当到达这样一个目录树的第一个叶子（没有更多的子目录）时，。clear（）执行对y和z的调用，导致重复文件名的结果非常混乱。

您可以研究操作系统。walk（）源代码，但如果我们将其简化为只使用自顶向下遍历而不使用错误处理，那么它将归结为：

def walk(top):
    dirs = []
    nondirs = []

    with os.scandir(top) as scandir_it:
        for entry in scandir_it:
            if entry.is_dir():
                dirs.append(entry.name)
            else:
                nondirs.append(entry.name)

    yield top, dirs, nondirs

    for dirname in dirs:
        new_path = os.path.join(top, dirname) 
        yield from walk(new_path)

注意，没有使用全局变量；在这个算法中根本不需要任何额外的参数。只有一个操作系统。scandir（）调用每个目录，并重复使用dirs变量递归到子目录中。