使用PowerShell打开大型csv文件并导出特定列

Question

我正在使用下面的命令获取前1000行数据：

Get-Content -First 1000 'C:\Users\Inspiron\Desktop\base.csv' | Out-File 'C:\Users\Inspiron\Desktop\sample.csv'

但是，我如何调整这个命令来获取数据范围。例如,提取行700到900之间的间隔。

还有一件事，我怎么能只导出几个变量。例如，我的数据库有120列，但我只想保存变量年份（第1列）、出生日期（第4列）和起源状态（第100列）。

Answer 1

有几种方法可以解决这个问题。Building Mathews有用的答案：

$InCsv  = 'C:\Users\Inspiron\Desktop\base.csv'
$OutCsv = 'C:\Users\Inspiron\Desktop\sample.csv'
$Props  = "year","date of birth","state of origin"

$InCsv = Import-Csv $InCsv
$rangeselect = $InCsv[700..900] # You could use variables here too...

$rangeselect | 
Select-Object $Props |
Export-Csv -Path $OutCsv -NoTypeInformation

这需要选择您想要的属性并将它们重新导出到一个新的CSV文件。

注意：这不太可能，但是如果您正在处理非常大的文件，这种方法可能会有内存问题。它预先将整个文件读入内存，并将其存储在$csv变量中。如果系统是内存限制的，也可能发生这种情况，但这种情况很少见。

从技术上讲，您不需要赋值$rangeSelect变量，您可以直接在Import-Csv命令上使用范围运算符“..”，如下所示：

(Import-Csv $InCsv)[700..900] | 
Select-Object $Props |
Export-Csv -Path $OutCsv -NoTypeInformation

在这里，(..)在引用之前首先完成对所有CSV数据的读取，因此它的工作原理大致相同。

如果要在初始示例的基础上构建。其优点是只读取前1000行,很可能绕过任何内存限制：

$InCsv  = 'C:\Users\Inspiron\Desktop\base.csv'
$OutCsv = 'C:\Users\Inspiron\Desktop\sample.csv'
$Props  = "year","date of birth","state of origin"
$Skip   = 700
$First  = 200

Get-Content -First 1000 $InCsv | 
ConvertFrom-Csv |
Select-Object -Skip $Skip -First $First -Property $Props |
Export-Csv -Path $OutCsv -NoTypeInformation

这实际上是一个带有几个方便变量的单行程序。它利用了select-object中的参数。注意，它也只返回您要求的属性，因此将输出一个新的CSV文件，其中仅包含该数据。

您还可以组合这些方法，这也是因为select-object允许使用-skip、-first和-last参数来进行一些基本的初始筛选。这可能看起来像：

$InCsv  = 'C:\Users\Inspiron\Desktop\base.csv'
$OutCsv = 'C:\Users\Inspiron\Desktop\sample.csv'
$Props  = "year","date of birth","state of origin"
$Skip   = 699
$First  = 200

Import-CSv $InCsv |
Select-Object -Skip 700 -First 200 -Property $Props |
Export-Csv -Path $OutCsv -NoTypeInformation

在本例中，您可能必须使用边界。但是，它仍然是一个有效的单行程序，并且有可能得到您所要查找的内容。