Zeppelin

高性能 KV 存储平台
授权协议 Apache 2.0
开发语言 C/C++
所属分类 服务器软件、 分布式应用/网格
软件类型 开源软件
地区 国产
投 递 者 章学义
操作系统 跨平台
开源组织 360
适用人群 未知
 软件概览

Zeppelin 是由奇虎 Pika 实验室和 DBA 团队开发和维护的分布式 Key-Value 平台,设计灵感来自 Pika 和Ceph

Zeppelin 旨在提供高性能,高可靠性和高可扩展性的 KV 存储服务。基于 Zeppelin ,可以轻松构建其他服务,如 Table Store,S3 或 Redis 。

API 接口:

  • 基本的 KV 存储相关接口:Set、Get、Delete;

  • 支持 TTL ;

  • HashTag 及针对同一 HashTag 的 Batch 操作,Batch 保证原子,这一支持主要是为了支撑上层更丰富的协议。

数据分布:

  • 碎碎念 Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的notebook Zeppelin提供了数据可视化的框架 可实现你所需要的 数据采集 数据发现 数据分析 数据可视化和协作 当前最新版为 0.10.1 版本,官方提供两种安装包,一种是包含所有解析器的(1.6G),另一种是带有 spark 和网络下载解析器的包(568M) 支持的解析器 alluxio angular

  • flink在zeppelin上的使用文档,参见flink interpreter Flink on Zeppelin 基本概念 Flink on Zeppelin Architecture 左侧的Flink解释器实际上是一个Flink客户端,负责编译和管理Flink作业的生命周期,如提交、取消作业、监控作业进度等 右侧的Flink集群是执行Flink作业的地方。支持如下模式:、 MiniClust

  • 依赖安装及配置 操作系统:ubuntu 20.04 CPU架构:x86_64 安装依赖: sudo apt-get update sudo apt-get install git openjdk-8-jdk npm libfontconfig r-base-dev r-cran-evaluate 安装maven wget https://mirrors.tuna.tsinghua.edu.cn/

 相关资料
  • 主要内容:1.Kafka存储难度,2.Kafka 的存储选型分析,3.Kafka 的存储设计Kafka使用的是Logging(日志文件)这种很原始的方式来存储消息 对于存储设计有一些知识点: Append Only、Linear Scans、磁盘顺序写、页缓存、零拷贝、稀疏索引、二分查找等等。 Append Only Data Structures 的一些存储系统比如HBase, Cassandra, RocksDB 1.Kafka存储难度 Kafka 通过简化消息模型,将自己退化成了一

  • 我们在Azure Table Storage中有一个表,自从新实现以来,它目前有50,000个条目。 PartitionKey:字符串形式的日期时间值< br> RowKey:字符串形式的数值 我们使用 生成筛选条件。PartitionKey filter是这样的:

  • 我的spring boot应用程序在插入数据时性能非常慢。 我正在从一个数据库中提取大量数据,并将数据插入另一个数据库。 以下是我的实体。 我已经配置了一个JPA存储库 并使用我的对象调用Save()方法 目前的情况是,对于每个项目,执行插入操作需要6到12秒的时间。我打开了hibernate跟踪日志记录和统计功能,当我调用save函数时,hibernate执行两个查询,一个选择和一个插入。sel

  • 我必须对Azure表存储进行查询,其中我有以下设置:RowKey、PartitionKey、ThirdColumn RowKey是唯一的,Partitionkey与ThirdColumn相关联,这意味着所有值为“Y”的第三列都将具有分区键“X”。 我必须使用ThirdColumn值获取分区键为X的所有实体。这将不是Performance,因为Y既不是PartitionKey也不是RowKey。 问

  • 我有一个用例,需要以Json格式将调查结果从web应用程序上传到azure blob存储。根据调查问题判断,这些json对象将很小,甚至不会接近1MB。我一直在阅读C#中的azure blob客户端并进行实验。我实现了一个工作单元和存储库设计模式,这意味着每个CRUD操作都会导致与azure存储的连接。我是否应该考虑并行操作或批量调用以降低成本,提高性能和吞吐量?有很多关于并行操作的文章,但他们试

  • 主要内容:1 asyncPutMessage存储普通消息,1.1 checkStoreStatus检查存储状态,1.2 checkMessage检查消息,2 CommitLog#asyncPutMessage异步存储消息,2.1 处理延迟消息,2.2 获取最新mappedFile,2.3 appendMessage追加存储消息,3 存储高性能设计总结基于RocketMQ release-4.9.3,深入的介绍了Broker存储消息的源码,以及存储的高性能设计。 1 asyncPutMessage