有没有办法查询AWS Kinesis Firehose的当前统计数据,比如
您可以从CloudWatch for Kinesis Firehose获得相当多的指标:http://docs.aws.amazon.com/firehose/latest/dev/monitoring.html
请注意,这些度量是以分钟为基础进行聚合的。您可以比较PutRecord(批处理)、incoming.records和deliverytos3.records的数字
对于我的应用程序日志,我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流,然后我们可以创建一个管道到Kinesis消防水管。如果我们指向
所有的查询条件不区分调用顺序,但必须在调用Get,Exist, Sum, Find,Count, Iterate, Rows这几个函数之前调用。同时需要注意的一点是,在调用的参数中,如果采用默认的SnakeMapper所有的字符字段名均为映射后的数据库的字段名,而不是field的名字。
我读过很多关于在firehose中添加换行符的类似问题,但都是关于在源代码中添加换行符。问题是我没有访问源的权限,第三方正在将数据传输到我们的Kinesis实例,我无法将“\n”添加到源。 我尝试使用以下代码进行firehose数据转换: 但是,这条新线仍然丢失了。我也尝试了JSON。stringify(record.data)“\n”但是我得到了一个无效的输出结构错误。
Json格式对我来说很好,数据被加载到redshift表中。 用于JSON的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=arn:aws:iam:::role/'MANIFEST json'auto'复制products_json; 用于CSV的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=
null 我如何解决这个问题?