Logstash / Elasticsearch / Kibana资源计划
如何根据负载计划资源（我怀疑是Elasticsearch实例）：
在负载下，我的意思是每分钟≈500K个事件，每个事件包含8-10个字段。
我应该转动哪些配置旋钮？我是这个堆栈的新手。
问题答案：
每分钟500,000个事件等于每秒8,333个事件，对于一个小型集群（3-5台机器）来说，这应该很容易处理。
问题在于将720M每日文档保留60天（43B文档）。如果10个字段中的每个字段均为32字节，则为13.8TB的磁盘空间（单个副本将近28TB）。
为了进行比较，我最大有5个节点（64GB的RAM，31GB的堆），其中1.2B文档占用了1.2TB的磁盘空间（使用副本则增加了一倍）。该群集无法通过每台计算机仅32GB的RAM来处理负载，但现在对64GB的内存感到满意。这是我们的10天数据。
大致来说，您期望的文件数量是群集的40倍，占用的磁盘空间是磁盘的10倍。
我前面没有确切的数字，但是我们使用doc_values的试验项目为我们节省了90％的堆空间。
如果所有这些数学都成立，并且doc_values这么好，那么就涉及到索引的实际字节而言，您可以使用类似的群集。我将征询有关拥有这么多单独文件的开销的更多信息。
我们已经完成了一些Elasticsearch调整，但是可能还有很多事情要做。
我建议您从少数64GB机器开始。您可以根据需要添加更多。引入几个（较小的）客户端节点作为索引和搜索请求的前端。
-
null curl'localhost:9200/_cluster/health？v' 检查ElasticSearch-节点状态: curl“localhost:9200/_cat/nodes？v” null null $service elasticsearch状态 ElasticSearch也可以从我的浏览器中的localhost:9200恢复，并且列表索引正确。 /etc/nginx/sit
-
我正在尝试使用logstash配置在kibana中可视化mongodb数据。下面是我的配置。我在终端中得到一些输出，它永远循环。我看不到由配置文件中提到的名称创建的任何索引，如果索引是生成的，也没有任何数据。在discover选项卡中没有匹配的结果。如何在Kibana中使配置可视化数据？ http://localhost:9200/ayesha_logs/_search？漂亮 终端日志：D,[20
-
问题内容： 我用kibana-4 我这样登录 我想绘制这样的结果的饼图（目标计数）。 这意味着每个用户只能计数一个。我能怎么做？我可以只使用Kibana的可视化选项吗？或添加一些elasticsearch输入？ 问题答案： 在字段中选择聚合-> 字段 在字段中选择聚合-> 字段
-
因此，当使用logstash中的JDBC导入器并导出到elasticsearch时，我试图对文档类型与文档id进行思考。 我终于把我的头缠在索引上了。但让我们假设我正在从传感器数据表（如温度/湿度等）中提取数据有传感器id的。。。温度/湿度（与天气相关的数据），并记录时间。（所以这是一张大桌子） 而且我希望每隔X频繁地轮询数据库。 在这个例子中，document_type和document_id是
-
介绍 Vant 是基于有赞 Zan Design System 视觉规范实现的组件库，在这里可以下载 Vant 的设计资源。 设计稿 组件设计稿（Sketch） 包含 Sketch 格式的色彩规范、字体规范、组件设计规范。 色彩规范 字体规范 组件规范 下载 图标设计稿（Sketch） 包含 Sketch 格式的图标库资源。 下载 Axure 元件库 Axure 元件库，由社区的 @axure-t
-
我读到elasticsearch Rivers/River插件不推荐使用。所以我们不能直接进行elasticsearch-kafka积分。如果我们想这样做，那么我们需要在两者之间有一个java（或任何语言）层，使用它的API将数据从kafka放到弹性搜索。 另一方面，如果我们有kafka-logstash-elasticsearch，那么我们可以去掉上面的中间层，并通过logstash来实现，只需