当前位置: 首页 > 知识库问答 >
问题:

Redshift:导入大尺寸(~6GB)的csv文件,在名称列中使用逗号

凌华奥
2023-03-14
copy test.test_pat_temp from 's3://some_location/large_file.csv'
credentials 'aws_access_key_id=<access_key>;aws_secret_access_key=<Secret_Key>'
DELIMITER AS ','
EMPTYASNULL
BLANKSASNULL;

执行SQL命令时出错:从's3:/some_location/large_file.csv'credentials'aws_access_...复制test_qa.test_pat_temp

Amazon无效操作:加载到表'test_pat_temp'失败。有关详细信息,请检查'stl_load_errors'系统表;

执行时间:42.34s

如何处理红移导入csv文件时的逗号?我在谷歌上搜索了错误,只得到了一个通用的答案“处理所需列中的逗号”。谁能告诉我一些如何处理逗号的细节吗?

共有1个答案

连翰
2023-03-14

共有329列,其中一列为FULL_NAME,其值为“last_name,first_name”。行的值用逗号分隔。因此,一行应该是:1,2,88,“last_name,first_name”,Company,,,stack,overflow,,,等等。

我通过简单地添加REMOVEQUOTES选项导入了该文件:

从's3://some_location/large_file.csv'凭据复制test.test_pat_temp'aws_access_key_id=;aws_secret_access_key='EMPTYASNULL BLANKSASNULL removequotes;

 类似资料:
  • 我很想知道相互独立的最大位图宽度和高度是多少。我确实发现最大尺寸是32768x32768,但这只是一个完美的正方形吗?32768x32768=1073741824是我可以玩的像素总数吗?我可以在宽度和高度之间重新排列这些像素,只要总数不超过? 如果我这样做,我不会有任何错误: 将位图变暗为位图=新位图(450100000) 即使我无法在保存后打开图像(我不需要这样做),我仍然能够使用位图,但我相信

  • 我尝试使用Neo4j工具和导入csv文件。 我有个问题。我的csv文件是清晰的,但是,在neo4j浏览器。

  • 然后我试着用斜线。

  • 问题内容: 我正在尝试在pandas中读取较大的csv文件(大约6 GB),并且遇到以下内存错误: 任何帮助吗? 问题答案: 该错误表明机器没有足够的内存来一次将整个CSV读入。假设你一次也不需要整个数据集都在内存中,那么避免该问题的一种方法是分批处理CSV(通过指定chunksize参数): 该参数指定每个块的行数。(当然,最后一块可能少于行。)

  • 我们有一个名为survey.csv的csv文件,我们需要将其加载到rdd中。 我们尝试了这个: 它不起作用。有人能帮忙吗?