GNU与自定义脚本并行执行字符串比较

Question

下面的script.sh将字符串的一部分（来自stdinbycating a csv file）与定义的字符串进行比较，并以特定格式报告差异

#!/usr/bin/env bash

reference="ABCDEFG"
ref_transp=$(echo "$reference" | sed -e 's/\(.\)/\1\n/g')
while read line; do
  line_transp=$(echo "$line" | cut -d',' -f2 | sed -e 's/\(.\)/\1\n/g')
  output=$(paste -d ' ' <(echo "$ref_transp") <(echo "$line_transp") | grep -vnP '([A-Z]) \1' | sed -E 's/([0-9][0-9]*):([A-Z]) ([A-Z]*)/\2\1\3/' | grep '^[A-Z][0-9][0-9]*[A-Z*]$')
  echo "$(echo ${line:0:35}, $output)"
done < "${1:-/dev/stdin}"

它打算以以下格式在一个非常大的文件中的多行上执行

XYZ,ABMDEFG

当我在管道中使用它时，它工作得很好：

cat large_file | ./find_something.sh

但是，当我尝试将它与并行一起使用时，我会得到这个错误：

$  cat large_file | parallel ./find_something.sh
./find_something.sh: line 9: XYZ, ABMDEFG : No such file or directory

这是什么原因造成的？如果我想在以后将输出重定向到单个文件，那么类似的东西应该是并行的吗？

不太重要的补充说明：我对我的字符串比较方法感到非常自豪，但如果有人有一种更快的方法，可以通过比较XYZ，C3M来获得XYZ，C3M，我也很高兴听到这个消息。

我应该说，我还想保留输出中每一行的顺序，对应于输入。使用并行可以吗？

Answer 1

-k保持顺序。

#!/usr/bin/env bash

doit() {    
    reference="ABCDEFG"
    ref_transp=$(echo "$reference" | sed -e 's/\(.\)/\1\n/g')
    while read line; do
      line_transp=$(echo "$line" | cut -d',' -f2 | sed -e 's/\(.\)/\1\n/g')
      output=$(paste -d ' ' <(echo "$ref_transp") <(echo "$line_transp") | grep -vnP '([A-Z]) \1' | sed -E 's/([0-9][0-9]*):([A-Z]) ([A-Z]*)/\2\1\3/' | grep '^[A-Z][0-9][0-9]*[A-Z*]$')
      echo "$(echo ${line:0:35}, $output)"
    done
}
export -f doit

cat large_file | parallel --pipe -k doit
#or
parallel --pipepart -a large_file --block -10 -k doit

Answer 2

脚本接受来自文件的输入（默认为stdin），而parallel将输入作为参数传递，而不是通过stdin。从这个意义上说，并行更接近于xargs。

据推测，您希望large_file中的每一行都作为一个单元进行处理，可能是并行的。

这意味着您需要您的脚本一次只处理一行这样的行，并让并行多次调用您的脚本，每行一次。

因此，您的脚本应该如下所示：

#!/usr/bin/env bash

reference="ABCDEFG"
ref_transp=$(echo "$reference" | sed -e 's/\(.\)/\1\n/g')
line="$1"
line_transp=$(echo "$line" | cut -d',' -f2 | sed -e 's/\(.\)/\1\n/g')
output=$(paste -d ' ' <(echo "$ref_transp") <(echo "$line_transp") | grep -vnP '([A-Z]) \1' | sed -E 's/([0-9][0-9]*):([A-Z]) ([A-Z]*)/\2\1\3/' | grep '^[A-Z][0-9][0-9]*[A-Z*]$')
echo "$(echo ${line:0:35}, $output)"

然后您可以重定向到文件，如下所示：

cat large_file | parallel ./find_something.sh > output_file