我如何解决这个问题?
最后,我通过删除并重新创建Firehose流使其工作:-/可能是通过web控制台进行的重复编辑使其不稳定。
但以下是故障排除指南:
select * from stl_connection_log where remotehost like '52%' order by recordtime desc;
select tablename,
HAS_TABLE_PRIVILEGE(tablename, 'select') as select,
HAS_TABLE_PRIVILEGE(tablename, 'insert') as insert,
HAS_TABLE_PRIVILEGE(tablename, 'update') as update,
HAS_TABLE_PRIVILEGE(tablename, 'delete') as delete,
HAS_TABLE_PRIVILEGE(tablename, 'references') as references
from pg_tables where schemaname='public' order by tablename;
然后可以检查是否运行了复制命令:
select * from stl_query order by endtime desc limit 10;
然后检查加载错误或服务器错误:
select * from stl_load_errors order by starttime desc;
select * from stl_error where userid!=0 order by recordtime desc;
如果数据或复制选项中存在格式问题,或者数据与目标列不匹配,则至少应看到复制尝试和一些加载错误。
Json格式对我来说很好,数据被加载到redshift表中。 用于JSON的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=arn:aws:iam:::role/'MANIFEST json'auto'复制products_json; 用于CSV的复制命令: 从's3://foldername/'CREDENTIALS'aws_iam_role=
对于我的应用程序日志,我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流,然后我们可以创建一个管道到Kinesis消防水管。如果我们指向
我是Lambda的新手,正在尝试模拟一个简单的函数来执行Kinesis Fireshose的PUT。 我试着浏览AWS文档,但找不到任何确切的参考来编写一个简单的python脚本,以从API获取并通过Firehose将JSON发送到S3。下面是我试图发布到Lambda的代码,但我想按计划将其发送到Firehose,而不是文件系统。
我读过很多关于在firehose中添加换行符的类似问题,但都是关于在源代码中添加换行符。问题是我没有访问源的权限,第三方正在将数据传输到我们的Kinesis实例,我无法将“\n”添加到源。 我尝试使用以下代码进行firehose数据转换: 但是,这条新线仍然丢失了。我也尝试了JSON。stringify(record.data)“\n”但是我得到了一个无效的输出结构错误。
基于我对Kinesis数据流的阅读,我必须创建一个分析应用程序,然后将用于调用一个lambda。然后,我将不得不使用lambda写入S3。或者Kinesis数据流可以以某种方式直接写入lambda?我找不到任何表明相同的东西。 消防水带不按小时收费(而溪流是)。那么消防水管对我来说是更好的选择吗?