当前位置: 首页 > 知识库问答 >
问题:

用骆驼从S3桶中读取文件

越朗
2023-03-14

我刚接触骆驼,需要一些指导。我需要从S3存储桶中读取一些文件。结构是这样的。

S3 Bucket 
```
Incoming  
    +xls    
           -file1.xls  
           -file2.xls  
           -file3.xls   
    +doc  
           -file1.doc  
           -file2.doc  
           -file3.doc 

Processed
    +xls
    ...
    +doc
    ...

当一个特定的excel文件被放入传入的/xls文件夹(比如file1.xls)时,我需要拾取所有文件,进行一些处理并将它们放入具有相同目录结构的已处理文件夹中。

我需要使用什么组件?我试着阅读留档,但有点难以弄清楚我需要什么组件。我知道我会使用camel-aws-s3插件,但那里没有很多例子。

共有1个答案

曹伟泽
2023-03-14

https://camel.apache.org/components/latest/aws-s3-component.html有一些关于从S3桶写入和读取的示例。在读取和写入S3之后,您可能需要一些使用Apache POI转换xsl文件的自定义处理器

 类似资料:
  • 我通过执行以下操作读取S3存储桶中的文件名 现在,我需要获取文件的实际内容,类似于打开(filename).readlines()。最好的方法是什么?

  • 我正在尝试使用读取aws s3存储桶中的文件 我已经能够使用节点aws-sdk下载和上传文件,但是我不知道如何简单地读取它并解析内容。 下面是我如何从s3读取文件的示例:

  • 问题内容: 我这样做是读取了S3存储桶中的文件名 现在,我需要获取文件的实际内容,类似于。什么是最好的方法? 问题答案: boto3提供了一种资源模型,该资源模型使诸如迭代对象之类的任务变得更加容易。不幸的是,StreamingBody不提供或。

  • 问题内容: 我正在尝试使用AWS S3存储桶中的文件进行读取 我已经能够使用节点aws-sdk下载和上传文件,但是我对如何简单地读取文件并解析内容感到困惑。 这是我从s3中读取文件的示例: 问题答案: 您有两种选择。您可以包括一个回调作为第二个参数,该参数将与任何错误消息和对象一起调用。该示例直接来自AWS文档: 或者,您可以将输出转换为流。AWS文档中还有一个示例:

  • 伙计们! 我才刚开始学NiFi。不要扔石头)只是帮助或引导。我需要从s3桶读取拼花地板数据,我不知道如何设置lists3和FetchS3对象处理器来读取数据。完整路径如下所示:s3://inbox/prod/export/date=2022-01-07/user=100/2022-01-09 06:51:23 23322557 cro。我将把数据写入sql数据库——我没有问题。 我试着自己配置li

  • 使用Boto3,python脚本从S3桶中下载文件以读取它们,并将下载文件的内容写入名为的文件。 我的问题是,一旦脚本使用AWS Lambda函数,它将如何以相同的方式工作?