从NFS挂载的50000个文件目录中检索目录树的更好方法

Question

我被带到一个现有的CMS和文件管理web应用程序上工作，该应用程序为商家的在线网店提供一个管理界面。管理应用程序是用PHP开发的。

当网站用户查看网店时，页面资产（主要是嵌套文件夹路径中的图像）直接从网店的HTML中引用，并直接从独立于CMS系统的web服务器提供服务。

但为了列出/搜索/允许文件导航（即文件管理部分），CMS应用程序需要能够访问文件/文件夹目录结构。

因此，我们使用LinuxNFS挂载从CMS服务器到文档文件服务器。如果任何特定商家的目录树中的文件数量不太大（

检索任何一个目录中的文件列表都非常快，但是当我们试图识别这些“文件”中的哪些实际上是目录条目时，问题就来了，这样我们就可以沿着树递归。

检查文件类型的PHP函数（或者在使用readdir或scandir检索的每个文件路径上调用is_dir，或者使用带有标志的全局GLOB_ONLYDIR）似乎对每个文件单独工作，而不是批量工作。所以现在有1000个和1000个NFS命令被发送。从我到目前为止的研究来看，这似乎是NFS的限制，而不是PHP的限制。

一个精简的类，只显示所讨论的函数：

class clImagesDocuments {

    public $dirArr;

    function getDirsRecursive( $dir ) {

        if ( !is_dir( $dir )) {
            return false;
        }

        if ( !isset( $this->dirArr )) {
            $this->dirArr = glob( $dir . "/*", GLOB_ONLYDIR );
        } else {
            $this->dirArr = array_merge( $this->dirArr, glob( $dir . "/*", GLOB_ONLYDIR ) );
            return false;
        }

        for( $i = 0; $i < sizeof( $this->dirArr ); $i ++) {
            $this->getDirsRecursive( $this->dirArr [$i] );
        }

        for( $i = 0; $i < sizeof( $this->dirArr ); $i ++) {
            $indexArr = explode( $dir, $this->dirArr [$i] );
            $tempDir[$indexArr[1]] = $this->dirArr [$i];
        }

        $this->dirArr = $tempDir;
    }
}

在文件文档服务器上本地执行相同的PHP代码来检索目录树etc要快得多（2或3个数量级），大概是因为本地文件系统正在缓存目录结构。我不得不认为我的问题是由于NFS。

我正在考虑编写一个简单的webapp，它将在文件文档web服务器上运行，并通过API提供目录结构的实时查找。

我将感谢任何想法或建议。

Answer 1

老问题，但我现在的问题。

一个解决方案：

在存储服务器上运行树https://linux.die.net/man/1/tree，在每个目录上运行-X（XML输出），或者在顶目录上运行一次，并将输出发送到“tructure.xml”文件（. at开始，所以你可以忽略它从上市）

树-x-f-q-s-D-dirfirst-x

然后让你的脚本加载这个结构，并用它来显示树结构。您可以为每个商家或一个全局商家创建此文件，然后遍历它以查找商家。

您可以每分钟通过cron运行一次，也可以创建和API来调用在存储机器上运行它。

您可以在更改文件时更新此xml。

不需要数据库。

您还可以监视存储端目录的更改，并在每次发生更改时重新创建xml。https://superuser.com/questions/181517

编辑：如何在Linux中监视完整的目录树的更改？

Answer 2

另一种解决方案——你可以用一些字符串作为所有目录的前缀，当你用文件获得列表时，你可以通过检查它们是否包含字符串来检查哪些目录实际上是目录。这样可以完全避免is_dir（）。