我试图在Amazon EMR下运行wordcount示例。
-1-首先,我使用以下命令创建一个集群:
/elastic mapreduce--创建--名称“MyTest”--活动
这将创建一个具有单个实例的集群,并返回一个jobID,例如j-12nwukabcdef
-2-第二,我使用以下命令启动作业:
/elastic mapreduce-jobflow j-12nwukabcdef-jar s3n://mybucket/jar files/wordcount。jar——主类abc。WordCount—arg s3n://mybucket/input data/
--arg s3n://mybucket/output data/
--arg-Dmapred.reduce.tasks=3
我的WordCount类属于包abc。
这执行起来没有任何问题,但我只得到一个减速机。这意味着参数“mapred.reduce.tasks=3”被忽略。
有没有办法指定我希望应用程序使用的减速机的数量?
谢谢你,尼拉吉。
您可以使用流Jar的内置选项numReduceTasks。例如,使用Ruby EMR CLI工具:
elastic-mapreduce --create --enable-debugging \
--ami-version "3.3.1" \
--log-uri s3n://someBucket/logs \
--name "someJob" \
--num-instances 6 \
--master-instance-type "m3.xlarge" --slave-instance-type "c3.8xlarge" \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/install-ganglia \
--stream \
--arg "-files" \
--arg "s3://someBucket/some_job.py,s3://someBucket/some_file.txt" \
--mapper "python27 some_job.py some_file.txt" \
--reducer cat \
--args "-numReduceTasks,8" \
--input s3://someBucket/myInput \
--output s3://someBucket/myOutput \
--step-name "main processing"
尝试通过使用--bootstrap-action选项设置减速器和映射器来启动EMR集群
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-daemons --args "-m,mapred.map.tasks=6,-m,mapred.reduce.tasks=3"
-D和mapred.reduce.tasks=3应该是单独的参数。
设置应用程序 Nest is built with features from both ES6 and ES7 (decorators, async / await). It means, that the easiest way to start adventure with it is to use Babel or TypeScript. In this tutorial I will u
你可以查看或更改 Navicat Monitor 的应用程序设置,例如端口、网站网址和 IP 地址。若要配置应用程序设置,请前往“配置”->“应用程序设置”。 这里列出了 Navicat Monitor 的应用程序设置。你可以编辑以下设置: 端口 Navicat Monitor 将侦听的端口号。 网站网址 将用于警报电子邮件内的 Navicat Monitor 网站网址。 IP 地址 如果机器已被
本文向大家介绍CentOS7设置jar应用程序开机启动的方法,包括了CentOS7设置jar应用程序开机启动的方法的使用技巧和注意事项,需要的朋友参考一下 项目部署时遇到坑 在部署zhihudemo时,没有用Jenkins这种自动化部署工具,在linux centos中部署jar包项目时遇到一个坑,通过xshell远程连接服务器,在系统中使用“java -jar”命令启动jar包时,输出日志会占据
满减送 满减送:设置满减送优惠。满减满送是给商家提供的一个店铺营销工具,通过这个营销工具可以让商家的店铺促销活动更加丰富。 第一步:添加满减送 点击添加满减送进入会看到对活动信息、优惠设置、选择活动商品的添加 一、活动信息 1、添加活动名称 2、添加生效时间:活动从什么时候开始到什么时候结束。 二、优惠设置 1、优惠方式的选择,如果选择普通优惠就不能添加新的优惠,如果选择多级优惠(每级优惠不累积叠
描述 Makeblock 42步进电机是一种简单但功能强大的步进电机,具有高输出扭矩和响应速度,但噪音低,能耗低。 它具有比42步进电机更高的扭矩。 它可以用作一些高性能机器的动力电机。 技术规格 步伐角度(度):1.8 相电流:2.8A 电线数量:4 电机长度:56mm 比例: 5.18:1 输出轴:D轴8mm 尺寸图(mm) 演示 不包括Makeblock多功能电机支架。 连接类型 您可能会对
我想强制我的Symfony 2.5应用程序的区域设置为。我希望这个区域设置用于strftime()函数。 我的: 我正在我的一个控制器中使用以下代码来调试: 当这样执行时,它显示:。 但是,当第一行未注释时,它会显示:,因此区域设置已安装在系统中并正常工作。 我如何使Symfony始终使用配置中指定的语言环境? $locale-a: