AWS Spark群集设置错误
我创建了一个AWS密钥对。
我在这里逐字逐句地遵循指示：https://aws.amazon.com/articles/4926593393724923
当我键入“aws emr创建集群——名称SparkCluster——ami版本3.2——实例类型m3.xlarge——实例计数3——ec2属性KeyName=MYKEY——应用程序名称=Hive——引导操作路径=s3://support.elasticmapreduce/spark/install spark”
将MYKEY替换为完整路径和密钥对的名称（我已经尝试了所有方法），会出现以下错误：
'调用RunJobFlow操作时发生客户端错误（InvalidSignatureExc0019）：我们计算的请求签名与您提供的签名不匹配。检查您的AWS秘密访问密钥和签名方法。详情请咨询服务留档。
此请求的规范字符串应该是POST/
内容类型：application/x-amz-json-1.1主机：elasticmapreduce.us-east-1.amazonaws.com用户代理：aws cli/1.7.5 Python/2.7.8 Darwin/14.1.0 x-amz-date:20150210T180927Z x-amz-target:elasticmapreduce.RunJobFlow
内容类型；主办用户代理；x-amz-date；x-amz-target DBB5808194FA8DEB722FDF65CCD713807257DEAC18087025CEC9A5E0D73C572'
签名字符串应为“AWS4-HMAC-SHA256 20150210T180927Z 20150210/us-east-1/elasticmapreduce/AWS4_请求C83894AD3B43C0657DAC2C3AB7F5344B956087BD18A3113873FCEEABC4AE26”`
我做错了什么？
共有1个答案
知道了。遗憾的是，上面的页面没有提到必须设置环境变量AWS_SECRET_ACCESS_KEY和AWS_ACCESS_KEY。你必须先这样做。我从一本完全不同的安装指南中了解到，您必须首先执行此操作：http://spark.apache.org/docs/1.2.0/ec2-scripts.html.
在我设置之后，亚马逊的说明起作用了。
-
本章节将介绍如何设置本地节点群集，如何使其成为私有的，以及如何使你在eth-netstat网络上的节点协同工作来监控应用程序。作为网络集成测试（与网络/blockchain同步/消息传播等相关的问题，DAPP开发人员测试多块和多用户场景）的后端，完全可供你的ethereum网络是非常有用的。 我们假设您可以通过安装指南构建geth 设置多个节点 为了在本地运行多个ethereum节点，您必须确保：
-
下面是我的核心站点。xml： 下面是hdfs-site.xml 下面是mapreduce.xml 谢了。
-
我想建立一个多kafka集群，大约有3个zookeeper实例，每个集群中有3个kafka代理，每个kafka经纪人大约有5个主题和5个分区。有什么设置指南可以参考吗？ PS:我可以找到带有多个Kafka代理的单个zookeeper实例的信息，但不能找到带有多个zookeeper实例的设置。
-
我有一个主节点，它的ip是192.168.1.101，还有一个非主节点，它的ip是192.168.1.106。两者使用相同版本的ElasticSearch-1.2.0。 但是在我启动主节点和非主节点之后，我得到了以下信息： cluster.name:mycluster node.name:“node1” node.master:true node.data:true index.number_of
-
我正试图在hadoop中设置多节点集群，如何将0个数据阳极作为活动数据阳极，而我的hdfs显示了0个字节的分配 但是nodemanager后台进程正在datanodes上运行 `
-
在服务器2上 当我用以下命令启动服务器1时：sudo service mysql start--wsrep-new-cluster它启动得很好，如果我打开mysql并检查wsrep的状态，它会说一切都启动并运行，这很好，但是当我试图在第二台服务器上启动sudo service mysql时，我在错误日志中得到以下结果： 我不知道为什么第二台服务器不能检测到集群正在启动和运行。这些机器可以很好地相互