使用命令行将文本文件拆分为较小的多文本文件

Question

我有多个文本文件，大约有100，000行，我想将它们拆分成每个5000行的较小文本文件。

我曾经：

split -l 5000 filename.txt

这将创建文件：

xaa
xab
aac
xad
xbe
aaf

没有扩展名的文件。我只是想给他们打个类似的电话：

file01.txt
file02.txt
file03.txt
file04.txt

或者，如果这不可能，我只希望他们有“.txt”扩展名。

Answer 1

@ECHO OFF
SETLOCAL
SET "sourcedir=U:\sourcedir"
SET /a fcount=100
SET /a llimit=5000
SET /a lcount=%llimit%
FOR /f "usebackqdelims=" %%a IN ("%sourcedir%\q25249516.txt") DO (
 CALL :select
 FOR /f "tokens=1*delims==" %%b IN ('set dfile') DO IF /i "%%b"=="dfile" >>"%%c" ECHO(%%a
)
GOTO :EOF
:select
SET /a lcount+=1
IF %lcount% lss %llimit% GOTO :EOF
SET /a lcount=0
SET /a fcount+=1
SET "dfile=%sourcedir%\file%fcount:~-2%.txt"
GOTO :EOF

这是一个本机windows批处理，可以完成此任务。

现在我不会说它会很快(每个5Kline输出文件不到2分钟)或者它会对批量字符敏感免疫。实际上取决于您的目标数据的特征。

我使用了一个名为q25249516.txt的文件，其中包含了100行数据用于测试。

修订版或快速版

雷姆

@ECHO OFF
SETLOCAL
SET "sourcedir=U:\sourcedir"
SET /a fcount=199
SET /a llimit=5000
SET /a lcount=%llimit%
FOR /f "usebackqdelims=" %%a IN ("%sourcedir%\q25249516.txt") DO (
 CALL :select
 >>"%sourcedir%\file$$.txt" ECHO(%%a
)
SET /a lcount=%llimit%
:select
SET /a lcount+=1
IF %lcount% lss %llimit% GOTO :EOF
SET /a lcount=0
SET /a fcount+=1
MOVE /y "%sourcedir%\file$$.txt" "%sourcedir%\file%fcount:~-2%.txt" >NUL 2>nul
GOTO :EOF

请注意，我使用了50000的llimited进行测试。如果llimited*100比文件中的行数更小，将覆盖早期的文件编号（通过将fcount设置为1999并在文件重命名行中使用~3代替~2来治愈。）

Answer 2

下面是C#中的一个示例（因为这正是我要搜索的）。我需要将一个23 GB的csv文件拆分为大约1.75亿行，才能查看这些文件。我把它分成了100万行的文件。这段代码在我的机器上用了大约5分钟：

var list = new List<string>();
var fileSuffix = 0;

using (var file = File.OpenRead(@"D:\Temp\file.csv"))
using (var reader = new StreamReader(file))
{
    while (!reader.EndOfStream)
    {
        list.Add(reader.ReadLine());

        if (list.Count >= 1000000)
        {
            File.WriteAllLines(@"D:\Temp\split" + (++fileSuffix) + ".csv", list);
            list = new List<string>();
        }
    }
}

File.WriteAllLines(@"D:\Temp\split" + (++fileSuffix) + ".csv", list);

Answer 3

我知道这个问题很久以前就被问到了，但我很惊讶没有人给出最直截了当的Unix答案：

split -l 5000 -d --additional-suffix=.txt $FileName file

• -l 5000：将文件拆分为每个 5，000 行的文件。
• -d： 数字后缀。这将使后缀默认从 00 变为 99，而不是 aa 到 zz。
• --附加后缀：允许您指定后缀，此处为扩展名
• $FileName：要拆分的html" target="_blank">文件的名称。
• 文件：要添加到结果文件的前缀。

一如既往，请查看< code>man split了解更多详细信息。

对于Mac，split的默认版本被简化。您可以使用以下命令安装GNU版本。（有关更多GNU实用工具，请参阅此问题。）

brew install coreutils

然后，您可以通过将< code>split替换为< code>gsplit来执行上述命令。有关详细信息，请查看< code>man gsplit。