当前位置: 首页 > 软件库 > 开发工具 > 测试工具 >

Hibench

大数据基准测试套件
授权协议 Apache-2.0
开发语言 Java
所属分类 开发工具、 测试工具
软件类型 开源软件
地区 不详
投 递 者 籍光熙
操作系统 跨平台
开源组织 Intel
适用人群 未知
 软件概览

Hibench 是一个大数据基准测试套件,用来测试框架的速度、吞吐率与资源利用率等。

Hibench 包含一组 Hadoop、Spark 和流工作负载,包括 Sort、WordCount、TeraSort、Sleep、SQL、PageRank、Nutch 索引、Bayes、Kmeans、NWeight 与增强的 DFSIO 等。它还包含一些用于 Spark Streaming、Flink、Storm 与 Gearpump 的流工作负载。

  • 已经编译好的软件包,有snappy算法和无snappy算法的两个包 ,版本号: 7.0 https://pan.baidu.com/s/1QGms8zj1GYUYmH1YSK7R3w  提取码:3hb2  不想下载编译好的软件包的小伙伴,可以到  https://download.csdn.net/download/registerluo/10834271 下载dfsioe支持hadoop集成sn

  • 一、前言 分析HiBench 的 Hive测试用例 sql (包括scan/join/aggregation),版本 HiBench6.0 Hadoop版本:v2.7.1 Spark版本:v2.1 二、需要解决的问题 1. 跑 HiBench 的 测试用例 sql 需要 手动安装Hive吗?  不需要,HiBench 会自动下载 pom.xml文件里的Hive版本。 2. HiBench6.0 的

  • Hibench版本可能导致运行不成功 前言 下面列出我所用的Hibench,Hadoop,Spark的版本以及不成功的课题 名称 版本 Hibench bf390d2e6 Hadoop 3.1.0 Spark 3.0.0 出问题的课题 Sql/ 问题原因 Hibench在做课题的时候,只按照Hadoop和Spark的文档要求在pom.xml里面加入引用,至于是否真的可以,它不管。 对于sql类课题

  • 一、在服务器节点安装及运行Hadoop 安装和运行单节点Hadoop请参考:搭建Hadoop(v2.7.1)单节点伪模式, 集群(2 节点)及 集群(5 节点) 二、在服务器节点安装运行HiBench 下载HiBench-7.0,解压后进入HiBench-7.0,修改conf/目录下相应的配置文件: 1. 修改hadoop.conf配置文件 重点关注参数hibench.hadoop.home 和 

  • 1.准备 Hibench-7.0 https://github.com/Intel-bigdata/HiBench/archive/HiBench-7.0.tar.gz Hadoop-2.7.5 https://github.com/apache/hadoop/archive/rel/release-2.7.5.tar.gz spark-2.3.0-bin-hadoop2.7 https://ar

  • 找了个还算能用的镜像 docker pull cjy2181/hadoop-hibench  没有bc,导致没有hibench.report,可以install一下 apt-get install bc 具体测试负载可以改一下,不然可能由于原设置测试数据量太大跑不起来     docker-hub地址:https://hub.docker.com/r/cjy2181/hadoop-hibench

 相关资料
  • 11.4. 基准测试 基准测试是测量一个程序在固定工作负载下的性能。在Go语言中,基准测试函数和普通测试函数写法类似,但是以Benchmark为前缀名,并且带有一个*testing.B类型的参数;*testing.B参数除了提供和*testing.T类似的方法,还有额外一些和性能测量相关的方法。它还提供了一个整数N,用于指定操作执行的循环次数。 下面是IsPalindrome函数的基准测试,其中循

  • GoCPPLua (JIT) 策略执行的负载在model_b_test.go中进行基准测试。 测试是: 英特尔 酷睿 i7-6700HQ CPU @ 2.60GHz, 2601 Mhz, 4 核, 8 处理器 go test -bench= -benchmem 的测试结果如下 (op = 一次 Enforce() 调用, ms = 毫秒, KB = 千字节): 测试用例 规则大小 时间开销 (m

  • These benchmarks were designed to measure Javascript running time for Mithril in comparison with other popular Javascript MVC frameworks. Javascript running time is significant because the gzipped siz

  • https://github.com/17koa/koa-benchmark 比较koa和koa2和express性能 Prerequisites for OSX brew install wrk wrk原理 命令行操作 $ wrk -t8 -c1000 -d10 http://127.0.0.1:3000 Test 首次测试,需要安装依赖,会比较慢 make all 不安装依赖,重复测试

  • Rust 也支持基准测试,它可以测试代码的性能。让我们把src/lib.rs修改成这样(省略注释): #![feature(test)] extern crate test; pub fn add_two(a: i32) -> i32 { a + 2 } #[cfg(test)] mod tests { use super::*; use test::Bencher;

  • 在 _test.go 结尾的测试文件中,如下形式的函数: func BenchmarkXxx(*testing.B) 被认为是基准测试,通过 "go test" 命令,加上 -bench flag 来执行。多个基准测试按照顺序运行。 基准测试函数样例看起来如下所示: func BenchmarkHello(b *testing.B) { for i := 0; i < b.N; i++

  • 设定基准点数 如果要测量执行一组行或内存使用所花费的时间,可以使用CodeIgniter中的基准点来计算它。 CodeIgniter中有一个单独的“ Benchmarking ”类用于此目的。 该类自动加载; 你不必加载它。 它可以在控制器,视图和模型类中的任何位置使用。 您所要做的就是标记起点和终点,然后在这两个标记点之间执行elapsed_time()函数,您可以获得执行该代码所需的时间,如下

  • CodeIgniter 有一个总是有效的基准测试类,能够用来计算两个标记点的时间差. 注意:这个类会被系统自动初始化,因此不需要手动初始化. 另外,基准测试类在框架被调用的时候开始,在最终视图被output类送给浏览器之前结束,提供整个系统执行的精确计时. 目录 使用测试基准类 自定义你的测试基准类 显示总的执行时间 显示内存消耗 使用基准测试类 测试基准类可以在 控制器, 视图,或者 模型.中使