当前位置: 首页 > 知识库问答 >
问题:

AWS Kinesis消防软管-查询当前统计数据

蔺敏达
2023-03-14

有没有办法查询AWS Kinesis Firehose的当前统计数据,比如

  • 当前缓冲区中的记录数?
  • 占用了多少缓冲区?

共有1个答案

郑星辰
2023-03-14

您可以从CloudWatch for Kinesis Firehose获得相当多的指标:http://docs.aws.amazon.com/firehose/latest/dev/monitoring.html

请注意,这些度量是以分钟为基础进行聚合的。您可以比较PutRecord(批处理)、incoming.records和deliverytos3.records的数字

 类似资料:
  • 对于我的应用程序日志,我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流,然后我们可以创建一个管道到Kinesis消防水管。如果我们指向

  • 所有的查询条件不区分调用顺序,但必须在调用Get,Exist, Sum, Find,Count, Iterate, Rows这几个函数之前调用。同时需要注意的一点是,在调用的参数中,如果采用默认的SnakeMapper所有的字符字段名均为映射后的数据库的字段名,而不是field的名字。

  • 我读过很多关于在firehose中添加换行符的类似问题,但都是关于在源代码中添加换行符。问题是我没有访问源的权限,第三方正在将数据传输到我们的Kinesis实例,我无法将“\n”添加到源。 我尝试使用以下代码进行firehose数据转换: 但是,这条新线仍然丢失了。我也尝试了JSON。stringify(record.data)“\n”但是我得到了一个无效的输出结构错误。

  • Json格式对我来说很好,数据被加载到redshift表中。 用于JSON的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=arn:aws:iam:::role/'MANIFEST json'auto'复制products_json; 用于CSV的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=

  • null 我如何解决这个问题?