Spark已安装，但未找到命令“hdfs”或“hadoop”
我是一个新的pyspark用户。我刚刚下载并安装了一个spark集群（“spark-2.0.2-bin-hadoop2.7.tgz”），安装后我想访问文件系统（将本地文件上传到集群）。但当我尝试在命令中键入hadoop或hdfs时，它会说“no command found”。
我要安装Hadoop/HDFS吗（我以为它是在spark中构建的，我不明白）？
提前道谢。
共有1个答案
您必须首先安装hadoop才能访问HDFS。请访问http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
从apache站点中选择最新版本的hadoop。完成hadoop设置后，转到Sparkhttp://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz下载此文件，解压缩文件。在spark-env.sh中设置java_home和hadoop_home。
-
问题内容： 我正在尝试在python代码上运行flake8 linter，但遇到了一些问题。 运行pip install给我以下响应： 但是当我尝试运行它时，出现此错误。 如果这有任何区别，我也使用Mac。 任何人都可以帮忙。 问题答案： 该脚本不在您的路径中。 首先弄清楚它的安装位置： 您应该看到安装位置（通常以结尾结尾），然后是文件列表- 其中一个可能看起来像。将相对路径应用于安装位置，您将找
-
我已经通过命令行在全球范围内安装了两个npm软件包“下载”和“enigmavirtualbox”： 和 我正试图在批处理文件中使用它们来捆绑单个文件。我的节点项目中的exe文件。对于这两个命令，命令
-
问题内容： 安装了virtualenv，激活了它，安装了pip的flask，但是，当我尝试运行脚本或查看是否可以识别时，找不到命令。 还尝试了： 问题答案： Flask 0.10没有flask命令，它是在0.11中添加的。如果具有运行你的应用程序的技巧，例如使用Flask-Script，那么你要查找的命令是： 如果无法升级到0.11，则可以安装Flask-CLI以在0.10中获取命令。
-
当我执行 不幸的是，执行任何bower命令都会返回 返回并运行返回。
-
问题内容： 我已经通过命令行在全球范围内安装了两个npm软件包“下载”和“ enigmavirtualbox” ： 和 我试图在批处理文件中使用它们，以从我的节点项目中捆绑一个.exe文件。对于这两种命令，这些命令都会产生各自的版本输出，而与当前工作目录无关。 但是，在我的批处理脚本中，找不到命令“下载”和“ enigmavirtualbox”。 运行yield 并查看该文件夹的内部，我可以看到两
-
问题内容： 通过npm 安装gulp.js后，从与安装目录相同的目录运行命令时收到错误消息。 在目录下查找时，我可以在其中看到可执行文件。 我的npm安装有问题吗？ 问题答案： 完全正常。如果要在命令行上使用它，则需要全局安装。 请参阅安装说明。 另外，不在您的中。但是它会在运行npm脚本时由npm自动添加（请参阅此博客文章以获取参考）。 因此，您可以添加到文件中： 然后，您可以运行或启动gulp