在Hadoop中包含第三方JAR
我是Hadoop的新手。我已将Gson API添加到我的Map减少程序中。当我运行程序获取时；
Error: java.lang.ClassNotFoundException: com.google.gson.Gson
有谁能建议我如何向Hadoop添加第三方库吗？
共有2个答案
在HADOOP_CLASSPATH中添加罐子
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
添加最后一行
export HADOOP_CLASSPATH=/root/hadoop/extrajars/java-json.jar:$HADOOP_CLASSPATH
"/root/hadoop/exexjars/java-json.jar"是linux box本身的路径，而不是HDFS上的路径
重启hadoop
命令
hadoop classpath
应该在类路径中显示jar
现在像往常一样运行MR作业
hadoop jar <MR-program jar> <MR Program class> <input dir> <output dir>
它将按预期使用中的文件。
提交作业时，请确保向HADOOP\u类路径和libjars添加任何依赖项，如以下示例所示：
使用以下命令添加当前和库目录中的所有jar依赖项：
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`echo *.jar`:`echo lib/*.jar | sed 's/ /:/g'`
请记住，通过hadoop jar启动作业时，还需要通过使用libjar传递任何依赖项的jar。我喜欢使用：
hadoop jar <jar> <class> -libjars `echo ./lib/*.jar | sed 's/ /,/g'` [args...]
注意：ed命令需要不同的分隔符；HADOOP_CLASSPATH是：分隔的，-libjars需要，分隔。
-
我正在创建插件（提供商）使用服务提供商接口的keyCloak。我已经能够建立一对夫妇。现在，我需要添加Smallrye-Graphql客户端库来查询Graphql服务器。但是，部署插件时，在类路径中找不到库。 是否仍然可以创建一个包含依赖库的jar？ 如果1不可能，可以用战争来完成吗？ 如何将库添加到类路径。优选地，那些是与插件一起添加的，而不是静态地添加到Wildfly中。我正在使用gradle
-
问题内容： 如何在Google App Engine中添加Google不提供的第三方python库？我正在尝试在Google App Engine中使用BeautifulSoup，但无法这样做。但是我的问题是我想在Google App Engine中使用的任何库。 问题答案： 为了手动包括任何其他库，你必须将它们放在其中的目录中app.yaml。因此，例如，如果你具有以下结构： 然后hello.p
-
问题内容： 我想使用jQuery和其他不是React本身的第三方库。如何在我的React项目中使用它们？我读到的是调用第三方库的好地方。 不幸的是，即使我已经正确地将脚本标记链接到index.html文件中的那些库，但由于不断收到“未定义”错误，所以我无法使用这些库。 问题答案： 您有两个选择，均由一个人为设计的示例演示，其中我使用jQuery淡出了无序列表。两种方法都各有利弊，我先强调两种方法，
-
第三方包 从一开始，如果要做一些实际Python开发，你一定会用到一些第三方包。 在Linux系统上至少有3种安装第三方包的方法。 使用系统自带的包管理系统(deb,rpm,等) 通过社区开发的各种工具，例如pip，easy_install等 从源文件安装 这三个方面，几乎完成同样的事情。即：安装依赖，编译代码（如果需要的话），将一个包含模块的包复制的标准软件包搜索位置。 第二步和第三步在所有的操
-
问题内容： 我正在编写一个使用模块SEAPI.py的sublime text 2插件，该插件本身会导入请求模块。 由于sublime text2使用它自己的嵌入式python解释器，因此看不到我的ubuntu机器上安装的请求模块（我收到以下错误：ImportError：没有名为请求的模块）。 到目前为止，我能找到的最佳解决方案是将“请求”模块（文件的整个目录）从/usr/lib/python2.7
-
本文向大家介绍在SAPUI5项目中包括第三方库，包括了在SAPUI5项目中包括第三方库的使用技巧和注意事项，需要的朋友参考一下