Poseidon

日志搜索平台
授权协议 BSD
开发语言 Google Go
所属分类 程序开发、 日志工具(Logging)
软件类型 开源软件
地区 国产
投 递 者 公西翊歌
操作系统 跨平台
开源组织 360
适用人群 未知
 软件概览

波塞冬,是希腊神话中的海神,在这里是寓意着海量数据的主宰者。

Poseidon 系统是一个日志搜索平台,可以在数百万亿条、数百PB大小的日志数据中快速分析和检索特定字符串。 360公司是一个安全公司,在追踪 APT(高级持续威胁)事件时,经常需要在海量的历史日志数据中检索某些信息, 例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算, 一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。 Poseidon 系统就是为了解决这个需求,能在几秒钟内从数百万亿条规模的数据集中找出我们需要的数据,大大提高工作效率; 同时,这些数据不需要额外存储,仍然存放在Hadoop集群中,节省了大量存储和计算资源。该系统可以应用于任何结构化或非结构化海量(从万亿到千万亿规模)数据的查询检索需求。

所用技术

  • 倒排索引:构建日志搜索引擎的核心技术

  • Hadoop:用于存放原始数据和索引数据,并用来运行Map/Reduce程序来构建索引

  • Java:构建索引时是用Java开发的Map/Reduce程序

  • Golang:检索程序是用Golang开发的

  • Redis/Memcached:用于存储 Meta 元数据信息

  • 波塞冬,是希腊神话中的海神,在这里是寓意着海量数据的主宰者。 Poseidon 系统是一个日志搜索平台,可以在数百万亿条、数百PB大小的日志数据中快速分析和检索特定字符串。 360公司是一个安全公司,在追踪 APT(高级持续威胁)事件时,经常需要在海量的历史日志数据中检索某些信息, 例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务

  • 1. 引言 Mina系列博客有: Mina概览 Mina的支付流程 Mina的zkApp Mina中的Pasta(Pallas和Vesta)曲线 Mina中的Schnorr signature Mina中的Pickles SNARK Mina中的Kimchi SNARK Mina Kimchi SNARK 代码解析 Mina Berkeley QANet测试网zkApp初体验 Sponge相关前序

  • poseidon 代理设置 一、SOCKS5 1、终端中设定修改hosts 172.16.2.91 ag-spic1.eniot.io 2、python文件中设置全局代理 SOCKS5_PROXY_HOST = '10.10.4.230' # socks 代理IP地址 SOCKS5_PROXY_PORT = 8080 # socks 代理本地端口 default_soc

  • wget https://services.gradle.org/distributions/gradle-3.5-all.zip unzip gradle-3.5-all.zip mv gradle-3.5 /usr/local vi /etc/profile 加上 GRADLE_HOME=/usr/local/gradle-3.5 export PATH=$PATH:$GRADLE_HOME/

  •  Poseidon 系统是一个日志搜索平台,可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一个安全公司,在追踪 APT(高级持续威胁)事件,经常需要在海量的历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算,一次任务所需的计算时间从数小时到数天不等

  • 波塞冬(Poseidon)是一个非常实用的D语言IDE。但是我在vista和win2008上使用,会出现一个非常奇怪的问题。那就是编译出来的程序,才124字节,编译时显示的信息是: Command >>> Building Project: demo1...... F:/poseidon/dmd/bin/dmd.exe E:/htqx/Documents/D/demo1.obj -ofdemo

 相关资料
  • 我们使用谷歌应用程序进行工作,我们希望能够跟踪用户的gmail活动,比如他们收到多少封电子邮件,回复多少封电子邮件 我曾经使用Google Admin Reports API:Users Usage Report来获取统计数据,但结果不准确,并且它不会返回详细的消息列表。 谷歌管理控制台上的电子邮件日志搜索正是我想要的,但我不确定是否有电子邮件日志搜索API可用,以便我们可以循环搜索所有用户并检索

  • Poseidon IDE 是一个 D语言的集成开发环境。

  • 无法将应用程序推送到IBM云,原因是错误404表示暂存应用程序和跟踪日志...从日志缓存检索日志失败:意外状态代码404

  • 如何从JAVA/XSJS应用程序下载所有日志文件,而无需登录SAP云平台。有API吗? 此API(https://api.sap.com/api/LogFiles/)似乎仅适用于SAP Cloud集成。

  • 在上一节中,我们考虑构建一个二叉搜索树。正如我们所学到的,二叉搜索树的性能可以降级到 $$O(n)$$ 的操作,如 get 和 put ,如果树变得不平衡。在本节中,我们将讨论一种特殊类型的二叉搜索树,它自动确保树始终保持平衡。这棵树被称为 AVL树,以其发明人命名:G.M. Adelson-Velskii 和E.M.Landis。 AVL树实现 Map 抽象数据类型就像一个常规的二叉搜索树,唯一

  • 我有一个ISODate格式的“DateAdd”Mongo集合 所以现在是当地时间1小时后 当我尝试获取2018-08-31 06:00:00之后添加的记录时,使用以下查询,我无法获取UTC中的记录 在MongoDB中搜索日期字段时,如何转换UTC日期?