《吐槽》专题
-
如何优雅地阻止水槽代理人
许多网站建议在停止水槽代理时使用kill -9。 然而，当我用kill-9停止代理时，HDFS接收器文件将永远保持打开状态（如*.tmp）。
-
反序列化 Json 文件并使用水槽沉入 HDFS
我有一个假脱机目录，所有json文件都在其中，每秒钟都会有传入的文件被添加到这个目录中，我必须反序列化传入的json文件，获取requires字段并将其附加到HDFS目录中。 我所做的是我创建了一个 flume conf 文件，其中将假脱机目录中的文件作为源，并使用 1 个接收器将 json 文件直接放入 HDFS 中。 我必须在Sink之前将这个json转换成结构化格式，并将其放入HDFS。最重
-
水槽HDFS源
我想使用 flume 将数据从 hdfs 目录传输到 hdfs 中的目录，在此传输中，我想应用处理形态线。 例如：我的来源是 我的水槽是 有水槽可能吗？ 如果是，源水槽的类型是什么？
-
水槽内存香奈儿到HDFS水槽
我遇到了Flume的问题（Cloudera CDH 5.3上的1.5）： 我想做的是:每5分钟，大约20个文件被推送到假脱机目录(从远程存储中抓取)。每个文件包含多行，每行是一个日志(在JSON中)。文件大小在10KB到1MB之间。 当我启动代理时，所有文件都被成功推送到HDFS。1分钟后（这是我在flume.conf中设置的），文件被滚动（删除. tmp后缀并关闭）。 但是，当在假脱机目录中找到
-
水槽使用hdfs水槽。hdfs不可用时如何保证数据完整性？
当hdfs不可用时，是否有方法确保数据安全？场景是：kafka源，flume内存通道，hdfs接收器。如果水槽服务关闭了，它是否可以存储主题分区的偏移量，并在恢复后从正确的位置消费？
-
水槽solrSink，无错误，但不会将数据摄取到Solr
我正在使用Flume索引文本文档，我没有看到任何错误或警告消息，但数据没有被摄取到Solr日志级别，Solr和Flume都设置为TRACE，ALL agent.sources.SpoolDirSrc。spoolDir=/home/flume/source_emails agent.sources.SpoolDirSrc。basenameHeader=true agent.sources.Spool
-
水槽-单个代理的多个水槽和渠道
我试图建立flume，这样每个代理可以有多个接收器，最终有多个通道和源(现在只看多个通道)。我有一个类似这样的配置文件和一个ruby模板。我不知道如何将功能添加到模板文件中，以便每个代理可以将一个事件发送到多个通道
-
火花流集成水槽
我遵循火花流水槽集成的指导。但我最终无法获得任何事件。（https://spark.apache.org/docs/latest/streaming-flume-integration.html）谁能帮我分析一下？在烟雾中，我创建了“avro_flume.conf”的文件，如下所示： 在文件中，123.57.54.113是本地主机的ip。 最后，根本没有任何事件。 怎么了？谢谢！
-
如何为嵌入式水槽代理实现自定义水槽？
我正在构建一个 Spring 启动独立应用程序，该应用程序需要使用来自远程服务器的消息并将其写入 。我正在使用Flume嵌入式代理来可靠地记录消息。但是我收到以下错误。 引起：org.apache.flume.Flume异常：组件类型的com.security.flume.sink.Sy 根据文档仅支持。这是否意味着我们甚至不能编写自定义水槽？ 我对Flume相当陌生。我真的很感谢你在这个问题上的
-
将水槽配置为在将数据下沉到hdfs时不生成. tmp文件
我使用flume将服务器日志中的数据传输到hdfs中。但是当数据流入hdfs时，它首先创建。tmp文件。在配置中有没有一种方法？可以隐藏tmp文件，或者通过在前面附加一个.来改变其名称。我的收款代理文件看起来像- 任何帮助都将不胜感激。
-
将数据从syslog导入水槽
我试图设置一个flume代理来从syslog服务器获取数据。基本上，我在所谓的服务器(server1)上设置了一个syslog服务器来接收syslog事件，然后将所有消息转发到安装了flume代理的不同服务器(server2 ),最后所有数据将被汇聚到kafka集群。 水槽配置如下。 但是，不知何故，logsys并没有注入水槽药剂。 征求您的意见。
-
水槽NG未写入HDFS
我是使用Flume和Hadoop的新手，所以我试图尽可能设置一个最简单的(但有些帮助/现实的)例子。我在虚拟机客户端中使用HortonWorks沙盒。在完成了教程12(包括设置和使用Flume)之后，一切看起来都正常了。 所以我建立了自己的flume.conf 从apache访问日志中读取 使用内存通道 写入HDFS 够简单吧？这是我的会议文件 我见过几个人在给HDFS写信时遇到问题，大多数情况下
-
使用“使用声明”（模板可变编译时信号槽实现）展开非类型模板参数包
对更好的标题有什么建议吗？ 在Qt中，有一个很好的信号和插槽功能。然而，它会告诉您是否可以在运行时（afc）期间将特定信号连接到特定时隙。 意图： > 从模板创建一个包含“信号签名”（函数指针作为模板参数）的类，以允许将给定签名（传递参数的数量和类型）的“插槽”仅连接到具有类似签名的“已定义”信号； 必须简单易用。 现在的问题：我在ISignalSlotMap类中遇到一个“使用声明”的编译错误。模
-
复制插槽错误
我使用POSGTRESQL10。 我想将数据库“DB”中的2个表复制到数据库“Destination”中具有相同列的两个表中。 第一个复制工作。然后，当我更改一个varchar条目（不是FK）的值时，该值不会被复制，并且在postgres日志中出现以下错误： 2020-04-12 16:16:57.886 CEST[720474]日志：订阅“my_subscription”的逻辑复制应用进程已启动
-
如何在部署插槽交换后优雅地迁移打开的Websocket连接？
在我的web应用程序中，当用户登录到应用程序时，他们的浏览器打开一个到服务器的Websocket，以便更新可以下推到浏览器。 在某个时候，旧插槽将离线，这将强制关闭任何打开的WebSockets。我更希望在插槽交换后尽可能优雅地重新打开Websocket到新插槽，这样，如果我更新了Websocket相关代码，所有客户机都将尽快运行新代码。 这可能是如何工作的草图： 发生插槽交换 向旧插槽上运行的代