使用java将拼花文件从Lambda保存到S3
我有一个用例，我需要将拼花文件从Lambda保存到S3。我需要以追加模式存储Lambda函数中触发的事件。
我尝试使用Avro，但它不允许将数据以追加模式存储在同一个拼花文件中。
到目前为止，我发现只要spark允许在附加模式下将数据存储在拼花文件中…然后，我可以使用Lambda提交一个存储数据的spark作业。你认为这个可能的解决方案如何？
然而，真的不存在不使用spark的解决方案吗？预先感谢
共有1个答案
您不能将数据追加到存储在S3的任何文件中，无论其格式如何。抱歉。这只是S3和文件系统的区别之一。
-
我是Spark的新手。我尝试在本地模式(windows)下使用spark java将csv文件保存为parquet。我得到了这个错误。 原因：org.apache.spark.Spark异常：写入行时任务失败 我引用了其他线程并禁用了spark推测 set("spark.speculation "，" false ") 我还是会出错。我在csv中只使用了两个专栏进行测试。 输入： 我的代码: 请帮
-
我想从AWS SageMaker保存一个Spark数据帧到S3。在笔记本上，我跑 在笔记本上该如何正确做？多谢！
-
如何使用pyarrow向拼花地板文件添加/更新？ 我在文档中找不到任何关于附加拼花文件的内容。此外，您是否可以将pyarrow与多处理一起使用来插入/更新数据。
-
如果我写信 临时工。拼花文件夹我得到了和行号相同的文件号 我想我不太了解拼花地板，但它是自然的吗？
-
如果我错了，请纠正我。。拼花文件是自描述的，这意味着它包含正确的模式。 我想使用S3接收器融合连接器（特别是因为它正确处理了S3的精确一次语义）从我们的Kafka中读取JSON记录，然后在s3中创建拼花文件（按事件时间分区）。我们的JSON记录没有嵌入模式。 我知道它还不被支持，但我对拼花地板和AVRO也有一些问题。 由于我们的JSON记录中没有嵌入模式，这意味着连接器任务必须从它自己的JSON字
-
问题内容： 我使用以下代码将汉字保存到.txt文件中，但是当我用写字板打开它时，我看不懂它。 我能做什么 ？我知道如果将汉字剪切并粘贴到写字板中，可以将其保存到.txt文件中。如何在Java中做到这一点？ 问题答案： 这里有几个因素在起作用： 文本文件没有用于描述其编码的内在元数据（就尖括号税而言，XML受欢迎是有原因的） Windows的默认编码仍然是8位（或双字节）“ ANSI ”字符集，其值