如何检测只有不同的文件在我的bash外壳脚本？

Question

我正在尝试比较两个存储库中的文件列表，以尝试标记哪些文件已更改。问题是，我的代码说它们都是不同的。但是检查每个哈希摘要表明许多摘要是相同的。

while IFS= read -r filename;
  do
    # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
    # inspecting the digest of each file individually         #
    # shows many files are identical and so are the digests   #
    # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
    md5 old/$filename; # a456cca87913a4788d980ba4c2f254be
    md5 new/$filename; # a456cca87913a4788d980ba4c2f254be
    # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
    # the below conditional is only supposed to echo "differs"    #
    # if the two digests are different                            #
    # but, instead, it echoes "differs" on every file comparison  #
    # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
    [[ $(md5 old/$filename) = $(md5 new/$filename) ]] || echo differs; # differs
  done < files-to-compare.txt

如何修复此bug并仅获取要报告的不同文件？

编辑

另外，请注意使用=而不是=，如

$(md5 old/$filename) == $(md5 new/$filename) ]] || echo differs; 

产生完全相同的错误输出。

编辑2

评论建议使用引号。这也不管用。

"$(md5 old/$filename)" == "$(md5 new/$filename)" ]] || echo differs; 

Answer 1

在我的Linux ubuntu上，有一个< code>md5sum命令:它打印摘要和文件名:

md5sum myFile
215e0f7b4ea9fd9ea5f31106155839fe  myFile

我的意思是您只需要从输出中提取摘要:

md5sum myFile | sed 's/^\([^[:blank:]]*\).*$/\1/g'
215e0f7b4ea9fd9ea5f31106155839fe

然后在测试中使用最后一个命令行:

...
[[ $(md5sum old/"${filename}" | sed 's/^\([^[:blank:]]*\).*$/\1/g') = $(md5sum new/"${filename}" | sed 's/^\([^[:blank:]]*\).*$/\1/g') ]] || echo differs;
...

Answer 2

您可以使用比较文件内容的< code>diff命令，而不是计算MD5校验和。它的主要用途是逐行处理文件并比较它们的差异(并生成补丁)，但它也可以很容易地用于此目的。如果两个文件之间没有差异，则返回退出< code>0，如果有差异，则返回< code>1。

while IFS= read -r filename;
  do
    if ! diff "old/$filename" "new/$filename" > /dev/null;
    then
      echo "“$filename” differs"
    fi
  done < files-to-compare.txt

如果您使用的是GNUdiff，您可以简单地使用它的-q，--brief选项，它只报告文件的不同（而不是详细说明它们的不同）：

while IFS= read -r filename;
  do
    diff -q "old/$filename" "new/$filename"
  done < files-to-compare.txt

Answer 3

这是你修改过的剧本:

while IFS= read -r filename;
    do
        # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
        # inspecting the digest of each file individually         #
        # shows many files are identical and so are the digests   #
        # It also prints MD5 (full file path) = md5_signature!    #
        # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
        md5 "old/$filename"              # please use double quotes
        md5 "new/$filename" 
        # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
        # Using -q eliminates all output from md5 except the sig      #
        # Your script now works correctly                             #
        # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #

        [[ $(md5 -q "old/$filename") == $(md5 -q "new/$filename") ]] || echo differs; # differs
    done < files.txt

问题：

1. 您输入了new/$ful lfile而不是new/$filename
2. 您应该在文件名扩展周围使用"new/$filename"（即使用双引号）
3. 使用md5-q比较不同文件上md5的输出。否则md5，默认情况下，以MD5（full_path/base_name）=2504fcc0c0a57d14aaa6b4193b5efaf94的形式打印输入文件路径。由于这些路径在两个不同的目录中保证是不同的，不同的路径名将导致字符串比较失败。

上面的注释假设您在BSD上或者很可能在macOS上使用md5。

这是一个替代解决方案，它适用于带有md5sum的Linux和带有md5的BSD。只需将文件的内容提供给任一程序的 stdin，然后只打印 md5 签名：

$ md5 <new/file.pdf
2504fcc0c0a57d14aa6b4193b5efaf94

vs如果使用文件名，则会打印路径，并打印使用的MD5哈希签名：

$ md5 new/file.pdf
MD5 (new/file.pdf) = 2504fcc0c0a57d14aa6b4193b5efaf94

Linux或GNU核心实用程序上的md5sum也是如此。