当前位置: 首页 > 知识库问答 >
问题:

AWS Kinesis消防软管红移时未插入数据

黎同
2023-03-14
    null

我如何解决这个问题?

共有1个答案

子车俊材
2023-03-14

最后,我通过删除并重新创建Firehose流使其工作:-/可能是通过web控制台进行的重复编辑使其不稳定。

但以下是故障排除指南:

  • 一个很好的起点是以下过程:http://docs.aws.amazon.com/firehose/latest/dev/troleshooting.html
  • 检查数据是否到达S3
    • 必须有用于消防水管交付的IAM角色,并且消防水管服务与此角色之间具有信任关系
    • 此IAM角色必须具有S3访问策略
    • 在这里查看策略jsons:http://docs.aws.amazon.com/firehose/latest/dev/controll-access.html#using-iam-s3
      null
    select * from stl_connection_log where remotehost like '52%' order by recordtime desc;  
    
    select tablename, 
       HAS_TABLE_PRIVILEGE(tablename, 'select') as select,
       HAS_TABLE_PRIVILEGE(tablename, 'insert') as insert,
       HAS_TABLE_PRIVILEGE(tablename, 'update') as update,
       HAS_TABLE_PRIVILEGE(tablename, 'delete') as delete, 
       HAS_TABLE_PRIVILEGE(tablename, 'references') as references 
    from pg_tables where schemaname='public' order by tablename;
    

    然后可以检查是否运行了复制命令:

    select * from stl_query order by endtime desc limit 10;
    

    然后检查加载错误或服务器错误:

    select * from stl_load_errors  order by starttime desc;
    select * from stl_error where userid!=0 order by recordtime desc;
    

    如果数据或复制选项中存在格式问题,或者数据与目标列不匹配,则至少应看到复制尝试和一些加载错误。

 类似资料:
  • Json格式对我来说很好,数据被加载到redshift表中。 用于JSON的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=arn:aws:iam:::role/'MANIFEST json'auto'复制products_json; 用于CSV的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=

  • 对于我的应用程序日志,我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流,然后我们可以创建一个管道到Kinesis消防水管。如果我们指向

  • 我是Lambda的新手,正在尝试模拟一个简单的函数来执行Kinesis Fireshose的PUT。 我试着浏览AWS文档,但找不到任何确切的参考来编写一个简单的python脚本,以从API获取并通过Firehose将JSON发送到S3。下面是我试图发布到Lambda的代码,但我想按计划将其发送到Firehose,而不是文件系统。

  • 我读过很多关于在firehose中添加换行符的类似问题,但都是关于在源代码中添加换行符。问题是我没有访问源的权限,第三方正在将数据传输到我们的Kinesis实例,我无法将“\n”添加到源。 我尝试使用以下代码进行firehose数据转换: 但是,这条新线仍然丢失了。我也尝试了JSON。stringify(record.data)“\n”但是我得到了一个无效的输出结构错误。

  • 基于我对Kinesis数据流的阅读,我必须创建一个分析应用程序,然后将用于调用一个lambda。然后,我将不得不使用lambda写入S3。或者Kinesis数据流可以以某种方式直接写入lambda?我找不到任何表明相同的东西。 消防水带不按小时收费(而溪流是)。那么消防水管对我来说是更好的选择吗?