使用cat或tail组合CSV文件时是否忽略行？

Question

我一直在使用cat合并一堆csv文件，然后使用排序删除复制文件，然后导入到MySQL。与处理大量csv文件一样肮脏的工作可能是一帆风顺的，直到我发现我的一些数据没有进入数据库。

我发现在合并文件的过程中，在某些情况下，列名（csv文件的第一行）被抛到了其他列中。结果是，当我使用排序删除重复并吐出一个新文件时，它只输出到csv文件中列名被抛入新未使用列的行。

我使用猫如下：

  cat *.csv >combined.csv

并排序为

  sort -u combined.csv -o cleaned.csv

然后我让我的方式尾巴这是有希望的：

tail -n+2 *.csv >combined.csv

然而，通过使用tail，我得到的实际文件名就在合并的每个csv文件之前的一行中

==> first-file.csv <==
red     | 1234
yellow  | 5678 
blue    | 9123
green   | 4567
orange  | 8901
black   | 2345
white   | 6789
==> second-file.csv <==
brown   | 1234
gray    | 5678 
tan     | 9123
burgundy| 4567

而不是：

red     | 1234
yellow  | 5678 
blue    | 9123
green   | 4567
orange  | 8901
black   | 2345
white   | 6789
brown   | 1234
gray    | 5678 
tan     | 9123
burgundy| 4567

在此，任何帮助都将不胜感激。我将不得不再次检查所有这些文件，所以这次我需要把它弄对。

如果需要澄清，请告诉我。我在mac上运行，在linux上进行生产，理想情况下，我希望使用cat、sort、tail或类似工具来实现这一点。

编辑：要重新创建通用数据的问题，只需将以下数据以csv格式保存在两个单独的文件中。我把它们命名为test-1。csv和test-2。csv。

color, votes, trend
"red", "1234", "1,3,3,4"
"yellow", "5678", "2,3,3,4"
"blue", "9123", "2,3,3,4"
"green", "4567", "5,3,3,4"
"orange", "8901", "2,2,3,4"
"black", "2345", "2,1,3,4"
"white", "6789", "2,5,3,4"
"brown", "1234", "2,7,3,4"
"gray", "5678", "8,2,3,4"
"tan", "9123", "9,3,3,4"
"burgundy", "4567", "2,5,1,4" 

然后运行：

tail -q -n +2 *.csv > combined.csv

Answer 1

默认情况下，每当有更多的一个输入文件时，尾部输出带有关联文件名的头。要放弃此功能，请使用-q：

-q, --quite, --silent
    never output headers giving file names

您的命令行应该如下所示：

tail -q -n +2 *.csv > combined.csv