当前位置: 首页 > 知识库问答 >
问题:

使用Import-Csv可以处理的csv文件的最大大小

后树
2023-03-14

我正在导入大小为24MB的csv文件,但每次它都被截断为0KB,并显示以下错误。

导入Csv:无法处理参数,因为参数“name”的值无效。更改“name”参数的值,然后再次运行该操作。

$data=导入Csv

在此对象上找不到属性“Column4”;确保它存在且可设置。

       $_. <<<< Column4 = $separated[3] + $_.Column2 + $_.Column3

CategoryInfo:InvalidOperation:(Column4:String)[],RuntimeException FullyQualifiedErrorId:PropertyNotFound

Export-Csv:无法将参数绑定到参数“InputObject”,因为它为空。

$data |导出Csv

我使用的powershell脚本适用于较小的文件大小(比如24KB)。输入csv文件的大小是否有上限。

共有2个答案

史淇
2023-03-14

错误是由于csv文件中的尾随列造成的。在将Excel文件转换为csv文件时,Excel文件的尾随列被添加到csv文件中。因此,要解决此问题,请从Excel文件中删除所有尾随列,然后将其转换为csv文件。

鲁羽
2023-03-14

我已经处理了千兆字节大小的csv文件,所以大小不是问题。

如果您成功地处理了其他具有相同代码的文件,那么我怀疑您的文件中的某些地方存在导致错误的损坏。

 类似资料:
  • 问题内容: 我需要构建一个函数来处理大型CSV文件,以便在bluebird.map()调用中使用。考虑到文件的潜在大小,我想使用流媒体。 此函数应接受一个流(一个CSV文件)和一个函数(处理该流中的块),并在读取文件到末尾(已解决)或错误(已拒绝)时返回promise。 所以,我开始: 现在,我有两个相互关联的问题: 我需要限制正在处理的实际数据量,以免造成内存压力。 作为参数传递的函数通常将是异

  • 在所有存储层(内存存储、堆外存储、磁盘存储)的 EhCache 中可以保存的值的最大大小是多少? 我的最终问题是,EhCache是否适合缓存大文件流?

  • 问题内容: 我正在使用Python脚本处理大型CSV文件(数以10M行的GB数)。 这些文件具有不同的行长,并且无法完全加载到内存中进行分析。 每行由脚本中的一个函数分别处理。分析一个文件大约需要20分钟,并且看来磁盘访问速度不是问题,而是处理/函数调用。 代码看起来像这样(非常简单)。实际的代码使用Class结构,但这是相似的: 鉴于计算需要共享的数据结构,使用多核在Python中并行运行分析的

  • 问题内容: 我目前正在尝试从Python 2.7中的.csv文件中读取数据,该文件最多包含100万行和200列(文件范围从100mb到1.6gb)。对于少于300,000行的文件,我可以(非常缓慢地)执行此操作,但是一旦超过该行,就会出现内存错误。我的代码如下所示: 在getstuff函数中使用else子句的原因是,所有符合条件的元素都将一起列在csv文件中,因此当我经过它们时,为了节省时间,我离

  • 问题内容: 我用Python打开了一个8 MB的文件,因为我想批量更改各种类型的文件名。我仔细检查并将文件加载到字符串中,然后使用字符串方法replace替换了所有内容。然后我注意到只有一半的文件被替换了。好像Python没有完全打开文件。 我必须在Python的范围内发挥某种字符串大小限制或最大文件大小限制吗? 请参阅Python搜索中的代码并替换未正确替换的代码。 我已更改为建议的代码。缓冲区

  • 我使用Dask读取2.5GB csv文件,Python给了我错误。这是我写的代码: 以下是我从Python得到的错误: dask_df=df1.read_csv('3SPACK_N150_7Ah_压力分布研究_Data_Matrix.csv')) 文件“C:\ProgramData\Anaconda3\lib\site packages\dask\dataframe\io\csv.py”,第645