使用NiFi从s3桶中读取拼花数据
伙计们！
我才刚开始学NiFi。不要扔石头）只是帮助或引导。我需要从s3桶读取拼花地板数据，我不知道如何设置lists3和FetchS3对象处理器来读取数据。完整路径如下所示：s3://inbox/prod/export/date=2022-01-07/user=100/2022-01-09 06:51:23 23322557 cro。我将把数据写入sql数据库——我没有问题。
我试着自己配置lists3处理器，我认为这不是很好的bucket inbox aws_access_key_id aws_secret_access_key region US EAST endpoint override URLhttp://s3.wi-fi.ru:8080
共有1个答案
我要做的是尝试在NiFi之外测试访问密钥ID和密钥，以确保它们正常工作。如果它们工作正常，那就是NiFi配置的问题。如果密钥/id不起作用，那么通过获取有效的新值并将其提供给NiFi，它可能会有更好的工作机会。
-
我刚接触骆驼，需要一些指导。我需要从S3存储桶中读取一些文件。结构是这样的。 当一个特定的excel文件被放入传入的/xls文件夹（比如file1.xls）时，我需要拾取所有文件，进行一些处理并将它们放入具有相同目录结构的已处理文件夹中。 我需要使用什么组件？我试着阅读留档，但有点难以弄清楚我需要什么组件。我知道我会使用camel-aws-s3插件，但那里没有很多例子。
-
我有一个拼花格式的大数据集（大小约1TB），分为2个层次：
-
我正在尝试使用读取aws s3存储桶中的文件 我已经能够使用节点aws-sdk下载和上传文件，但是我不知道如何简单地读取它并解析内容。 下面是我如何从s3读取文件的示例：
-
我通过执行以下操作读取S3存储桶中的文件名 现在，我需要获取文件的实际内容，类似于打开（filename）.readlines（）。最好的方法是什么？
-
问题内容： 我这样做是读取了S3存储桶中的文件名 现在，我需要获取文件的实际内容，类似于。什么是最好的方法？ 问题答案： boto3提供了一种资源模型，该资源模型使诸如迭代对象之类的任务变得更加容易。不幸的是，StreamingBody不提供或。
-
则错误如下： AttributeError：“property”对象没有属性“parquet”