当前位置: 首页 > 软件库 > 大数据 > 数据处理 >

openLooKeng

高性能数据虚拟化引擎
授权协议 Apache-2.0
开发语言 Java C/C++
所属分类 大数据、 数据处理
软件类型 开源软件
地区 国产
投 递 者 卫彭亮
操作系统 跨平台
开源组织 华为
适用人群 未知
 软件概览

openLooKeng 是一款高性能数据虚拟化引擎,提供统一 SQL 接口,具备跨数据源/数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力。

随着大数据技术的应用和发展,数据种类越来越多,数据分布越来越广,查询场景也越来越复杂,这使得大数据使用更加困难。为了改善大数据的易用性,数据虚拟化引擎 openLooKeng 开源项目旨在解决上述问题:

  • 统一 SQL 接口访问多种数据源
  • 免数据搬迁,在数据所在地对数据进行处理,并且支持跨数据中心、跨云处理
  • 面向交互式、批、流等融合查询的场景(第一个版本支持交互式查询场景)

此外,该项目还提供了 Coordinator AA 高可靠、可扩展的数据源 connector 框架等能力。

openLooKeng 使用了开源 SQL 引擎 Presto 来提供交互式查询分析基础能力,并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展,让数据治理、使用更简单。

  • 手动安装openLooKeng 由于需要的jdk需 > 1.8.0_151,所以请到jdk官网下载响应版本的jdk,这里我用的是 [root@ocdp198 ~]# java -version java version "1.8.0_271" 获取openLooKeng安装包 wget https://download.openlookeng.io/1.0.1/hetu-server-1.0.1

  • 暖春3月,在社区小伙伴的期待下,openLooKeng迎来了新版本V1.2.0。openLooKeng V1.2.0是在旧版本的基础上进行优化,并基于小伙伴们的体验和建议,新增一些技术,以提高引擎性能,争取为大家带来更丝滑流畅的体验。 于引擎内核来说,主要增强两个维度:融合分析场景和性能。 查询容错增强,提高引擎执行的可靠性 在批查询处理运行的过程中,当某个工作节点出现故障时,可在其他节点上恢复任

  • openLooKeng新版本1.7.0正式发布 “绿树阴浓夏日长,楼台倒影入池塘”,在这个万物丰茂,热情似火的仲夏时节, 我们迎来了openLooKeng社区两周岁生日!键盘之上,格物致知,致力于共建大数据繁荣生态,是每一位大数据圈开发者的底色,自 2020 年 6 月 30 日开源以来,openLooKeng保持着3个月的版本迭代速度,一直致力于提供极简的数据分析体验,搭载更多行业场景。 恰逢o

  • openLooKeng配置Hbase连接器 openLooKeng给大家的直观感觉是包了一层Presto(特别是看了源码的工程后,自己曾经也有这样的想法),其实不是这样的(随着研究的深入,发现不是简单的包了下Presto,还是有很多自己的东西的,点个赞给openLooKeng。 当然现在还是个小白,昨天很开心的发现了一个bug,自己修完后,发现12天前已经被fix了,哭~~),openLooKen

 相关资料
  • JBoss 数据虚拟化平台测试报告 JBoss 数据虚拟化平台测试报告内容包括: 功能性测试 性能指标报告 重要链接 JBoss 数据虚拟化认证配置 - https://access.redhat.com/articles/703663

  • 本文向大家介绍为何说虚拟DOM会提高性能?相关面试题,主要包含被问及为何说虚拟DOM会提高性能?时的应答技巧和注意事项,需要的朋友参考一下 虚拟dom相当于在js和真实dom中间加了一个缓存,利用dom diff算法避免了没有必要的dom操作,从而提高性能

  • 本文向大家介绍为什么虚拟dom会提高性能?相关面试题,主要包含被问及为什么虚拟dom会提高性能?时的应答技巧和注意事项,需要的朋友参考一下 虚拟dom相当于在js和真实dom中间加了一个缓存,利用dom diff算法避免了没有必要的dom操作,从而提髙性能。 具体实现步骤如下: 1. 用JavaScript对象结构表示DOM树的结构;然后用这个树构建一个真正的DOM树,插到文档当中 2.当状态变更

  • 虚拟化 [PV_OPS] noreplace-paravirt 禁止使用内核通用的半虚拟化接口paravirt_ops,主要用于解决某些在Virtual PC上安装或运行Linux的故障。 [VMMIO] virtio_mmio.device=size@baseaddr:irq[:id] 实例化virtio-mmio设备(CONFIG_VIRTIO_MMIO)。可以多次使用以实例化多个设备。 si

  • Docker 常用命令 docker pull redis #拉取镜像,默认 latest 版本 docker pull mysql:8.0 #拉取指定版本镜像 docker images #查看镜像 docker image ls #查看镜像 docker image ls -f dangling=true #查看虚悬镜像 docker image prune #删除虚悬镜像 doc

  • 在开发和线上阶段使用不同的系统运行环境的话, 经常会遇到各种各样的 BUG, 并且在团队开发的时候, 让所有成员都保持使用最新版本的软件和类库, 也是一件很让人头痛的事情. 如果你是在 Windows 下开发, 线上环境是 Linux (或者别的非 Windows 系统) 的话, 或者团队协同开发的时候, 建议使用虚拟机. 除了大家熟知的 VMware 和 VirtualBox 外, 还有很多工具