《吐槽面试》专题

我正在对ElasticSearch进行基准测试，以实现非常高的索引吞吐量。 我目前的目标是能够在几个小时内索引30亿（3,000,000,000)文档。为此，我目前有3台windows服务器机器，每台16GB内存和8个处理器。插入的文档有一个非常简单的映射，只包含少数数字非分析字段（被禁用）。 使用这个相对适中的钻机，我能够达到每秒大约120,000个索引请求（使用大桌子监控），我相信吞吐量可以进

我有一个类女巫负责向客户端发送数据，所有其他类在需要发送数据时都使用这个。让我们称之为“数据ender.class”。 现在客户端要求我们将吞吐量控制在每秒最多50次调用。 我需要在这个类上创建一个algoritm（如果可能的话），以保持当前秒的调用次数，如果它达到50的最大值，保持进程要么睡眠或某事，并继续而不丢失数据。也许我必须实现一个队列或比简单的睡眠更好的东西。我需要建议或遵循的方向。 为

无论从什么角度来看，它都不是。 假设我有两个消费者，它们以每秒“10”条消息的速度从给定主题中消耗数据。现在，不管它们是从单个分区还是从两个不同的分区进行消耗；我的吞吐量将保持不变，每秒20条消息。 我觉得我一定漏了一些内部工作的细节，你能帮我解释一下kafka分区（多个）是如何帮助提高固定用户数量的吞吐量的，而不是单个kafka分区。

我的项目有一个要求。我必须使用水槽收集日志数据，并且必须将数据输入到hive表中。 在这里，我需要将放置在文件夹中的文件收集到hdfs中，我正在使用Spooldir进行。在此之后，我需要处理这些文件并将输出放在hive文件夹中，以便立即查询数据。 我是否可以使用 sink 处理源文件，使放置在 hdfs 中的数据已经处理为所需的格式。？ 谢了，萨希

我正在构建一个 Spring 启动独立应用程序，该应用程序需要使用来自远程服务器的消息并将其写入 。我正在使用Flume嵌入式代理来可靠地记录消息。但是我收到以下错误。 引起：org.apache.flume.Flume异常：组件类型的com.security.flume.sink.Sy 根据文档仅支持。这是否意味着我们甚至不能编写自定义水槽？ 我对Flume相当陌生。我真的很感谢你在这个问题上的

问题内容： 我正在尝试使用lua从nginx访问redis值。当我在命令行上执行lua文件时，一切正常，我能够读取和写入redis值。但是我尝试通过访问在其中写入access_by_lua指令的位置从nginx执行相同文件时，在错误日志文件中记录了以下错误 这是什么原因，我该如何解决？ 问题答案： 您会收到此错误，因为您的代码执行了该命令。 该命令将在几个目录中搜索具有该名称的文件。如果成功，内容

我正在尝试编写一个Flink应用程序，它从Kafka读取事件，从MySQL丰富这些事件并将这些数据写入HBase。我正在中进行MySQL丰富，我现在正在尝试弄清楚如何最好地写入HBase。我想批量写入HBase，所以我目前正在考虑使用，后跟标识（仅返回），然后编写，它获取记录列表并批处理放入。 这是正确的做事方式吗？仅仅为了进行基于时间的缓冲而使用所有窗口和应用窗口感觉很奇怪。

刚开始学习Apache Flume。我遵循Flume官方入门网站上的说明： https://cwiki.apache.org/confluence/display/FLUME/Getting开始 按照上面链接上的说明操作后，几乎一切都很好。但是后来我找不到任何日志文件。我想日志文件在{flume.directory}/logs下。有办法找到水槽日志文件吗？ 这是我的log4j.properties

我正在尝试将 Websphere （IBM） MQ 与 flume 集成。我有几个来自MQ的xml文件 我正在AWS EC2实例上进行此集成，其中也安装了我的Hadoop。以下是我遵循的集成步骤。 创建队列管理器：https://www.ibm.com/support/knowledgecenter/SSFKSJ_7.5.0/com.ibm.mq.con.doc/q015210_.htm ./cr

我遵循火花流水槽集成的指导。但我最终无法获得任何事件。（https://spark.apache.org/docs/latest/streaming-flume-integration.html）谁能帮我分析一下？在烟雾中，我创建了“avro_flume.conf”的文件，如下所示： 在文件中，123.57.54.113是本地主机的ip。 最后，根本没有任何事件。 怎么了？谢谢！

我是使用Flume和Hadoop的新手，所以我试图尽可能设置一个最简单的(但有些帮助/现实的)例子。我在虚拟机客户端中使用HortonWorks沙盒。在完成了教程12(包括设置和使用Flume)之后，一切看起来都正常了。 所以我建立了自己的flume.conf 从apache访问日志中读取 使用内存通道 写入HDFS 够简单吧？这是我的会议文件 我见过几个人在给HDFS写信时遇到问题，大多数情况下

概述 滑轨496表面平滑，一侧V型，滑轨可兼容V型槽轴承，一侧M4螺纹槽可与M4梁连接。方便安装和拓展应用，是适用性很好的结构件。 参数 长度：496mm 宽度：8mm 高度：14mm 材质：6061铝 尺寸 搭建案例

概述 滑轨256表面平滑，一侧V型，滑轨可兼容V型槽轴承，一侧M4螺纹槽可与M4梁连接。方便安装和拓展应用，是适用性很好的结构件。 参数 长度：256mm 宽度：8mm 高度：14mm 材质：6061铝 尺寸 搭建案例

问题内容： 我试图显示一条带有整数的吐司消息这就是我试图做到的方式： 但这会使我的应用程序崩溃。感谢帮助！ 问题答案： 将a 或an 作为其第二个参数。 但是，表示 资源ID （例如）。 应用程序崩溃可能是因为没有找到具有该ID的资源，因为它不是以ID开头的ID，而是任意整数。 在您的情况下，请使用。

问题内容： 读了O’Reilly的书，因为我了解了这一计算原理。 当你仅从结构中获取值时，请使用通配符。 仅将值放入结构时，请使用通配符。 当你都想从一个结构中获取和放置一个结构时，请不要使用通配符。 例外情况是： 除了值null（属于每个引用类型）之外，你不能将任何东西放入用通配符声明的类型中。 你不能从用通配符声明的类型中获取任何东西，除了type的值是每个引用类型的超类型。 谁能帮助我深入探