没有Hadoop的Spark：发射失败
./dev/make-distribution.sh--name“hadoop2-now-hive”--tgz“-Pyarn,hadoop-provided,Hadoop-2.7,parquet-provided”
当我运行./sbin/start-master.sh时，会出现以下异常：
Spark Command: /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java -cp /home/server/spark/conf/:/home/server/spark/jars/*:/home/server/hadoop/etc/hadoop/:/home/server/hadoop/share/hadoop/common/lib/:/home/server/hadoop/share/hadoop/common/:/home/server/hadoop/share/hadoop/mapreduce/:/home/server/hadoop/share/hadoop/mapreduce/lib/:/home/server/hadoop/share/hadoop/yarn/:/home/server/hadoop/share/hadoop/yarn/lib/ -Xmx1g org.apache.spark.deploy.master.Master --host ThinkPad-W550s-Lab --port 7077 --webui-port 8080
========================================
Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 7 more
我根据Hadoop2中hadoop jar文件在哪里的帖子编辑SPARK_DIST_CLASSPATH？
export SPARK_DIST_CLASSPATH=~/hadoop/share/hadoop/common/lib:~/hadoop/share/hadoop/common:~/hadoop/share/hadoop/mapreduce:~/hadoop/share/hadoop/mapreduce/lib:~/hadoop/share/hadoop/yarn:~/hadoop/share/hadoop/yarn/lib
共有1个答案
“Hadoop免费”构建需要修改spark_dist_classpath以包含Hadoop的包jar。
最方便的方法是在conf/spark-env.sh中添加一个条目：
export SPARK_DIST_CLASSPATH=$(/path/to/hadoop/bin/hadoop classpath)
查看https://spark.apache.org/docs/latest/hadoop-provided.html
-
我已经安装了一个总共有3台机器的hadoop集群，其中2个节点充当Datanode，1个节点充当Namenode，还有一个Datanode。我想澄清一些关于hadoop集群安装和体系结构的疑问。下面是我正在寻找答案的问题列表--- 我在集群中上传了一个大约500MB大小的数据文件，然后检查hdfs报告。我注意到我制作的namenode在hdfs中也占用了500MB大小，还有复制因子为2的datan
-
我在Mac OS上安装了hadoop和hive。我能够毫无问题地发布hadoop和Thread。我可以运行相关命令来操作hdfs上的文件。但我未能启动配置单元进程，并出现以下错误。 我是的新手，不知道我应该看哪里。如何解决上述问题？
-
概述 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数
-
本地maven运行良好。然而，詹金斯未能发射它。我注意到下面的反斜杠，但不确定它来自哪里： $java-cp C:\windows\system32\config\systemprofile.jenkins\plugins\maven-plugin\WEB-INF\lib\maven31-agent-1.5.jar；C:\tes\apache-maven-3.2.5-bin\apache-mave
-
我没有使用php的mail（）函数，而是尝试设置PHPMailer，但没有成功。为了调试的目的，我输入了“echo here”，这就是它显示的全部内容。我没有收到任何电子邮件，也没有收到任何已发送或错误消息。我被难住了，在这里研究之后，我可能会改用swift mailer。我真的很想知道我搞砸了什么。 在我的代码中，地址设置为我的电子邮件，用户名和密码设置为我创建的虚拟帐户。
-
问题内容： 当我从命令提示符运行Hadoop .jar文件时，它将引发异常，提示没有此类方法StockKey方法。 StockKey是为我自己的密钥类型定义的自定义类。 这是例外： 问题答案： 您必须在键类中提供一个空的默认构造函数。Hadoop使用反射，它无法猜测要馈送的任何参数。 因此，只需添加默认构造函数：