使用docker部署spark+hibench

找了个还算能用的镜像

docker pull cjy2181/hadoop-hibench

 没有bc，导致没有hibench.report，可以install一下

apt-get install bc

具体测试负载可以改一下，不然可能由于原设置测试数据量太大跑不起来

 

 

docker-hub地址：https://hub.docker.com/r/cjy2181/hadoop-hibench

Overview

1. service ssh start

2. $HADOOP_HOME/bin/hadoop namenode -format

3. $HADOOP_HOME/sbin/start-all.sh

4. $SPARK_HOME/sbin/start-all.sh

5. cd ~/Hibench

6. run benchmark

or

run shell script

$ ~/setup.sh