当前位置: 首页 > 知识库问答 >
问题:

在C中用hdfs编写文件(libhdfs)

戚俊健
2023-03-14

我试图用C编写一个接口,用libhdfs在hdfs中编写文件。所以我的目标hadoop版本是2.0.2-alpha

以下代码

 hdfsFS fs = hdfsConnect("127.0.0.1",8020);
 if (!fs)
 {
    printf("Hadoop file system returned null. \n");
    return 0;
 }

运行时出现以下错误:

Error occurred during initialization of VM
java/lang/NoClassDefFoundError: java/lang/Object

相应地更新了CLASSPATH,但仍然收到此错误。知道我这里缺少的步骤是什么吗?所有. so文件都正确链接。

共有1个答案

蓟捷
2023-03-14

您可以使用以下命令来查找hadoop所需的java类路径

$hadoop类路径

并将所有这些路径添加到环境变量CLASSPATH中

$导出类路径=$类路径:'hadoop类路径'

以下是CDH4的libhdfs示例。请注意exec中的环境设置。上海

 类似资料:
  • 我正在尝试使用Scala编写一个HDFS输出文件,收到以下错误: 线程“main”org.apache.spark.sparkException中的异常:任务不可序列化,位于org.apache.spark.util.closurecleaner$.ensureclealizable(closurecleaner.scala:315)位于org.apache.spark.util.closurec

  • 问题内容: 我想在HDFS中创建文件并在其中写入数据。我使用以下代码: 它创建文件,但不写入任何内容。我搜索了很多,但没有找到任何东西。我怎么了 我是否需要任何权限才能在HDFS中写入? 问题答案: 的替代方法,你可以在获取文件系统时传递URI

  • 我正在使用Flume从我的本地文件系统写一些CSV文件到HDFS。 我想知道HDFS水槽的最佳配置是什么,这样本地系统上的每个文件都会在HDFS以CSV格式准确复制。我希望Flume处理的每个CSV文件都是单个事件,作为单个文件刷新和写入。尽可能多地,我希望文件是完全一样的,没有标题的东西等。 我需要在这些值上加什么来模拟我想要的行为? 如果还有其他Flume代理配置变量需要更改,请提供。 如果这

  • http://www.springframework.org/schema/beans/spring-beans-2.5.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-2.5.xsd“> 这里context1.xml是由context2.xml编写

  • 在HDFS中写入日志文件的最佳方式是什么?我正在尝试配置Apache Flume,并尝试配置能够为我提供数据可靠性的源。我试图配置“exec”,后来也查看了“spooldir”,但flume.apache上的以下文档。org对我的意图表示怀疑- 执行来源: 最常请求的功能之一是像“tail -F file_name”这样的用例,其中应用程序写入磁盘上的日志文件,Flume 尾随文件,将每一行作为事

  • 本文向大家介绍如何用python在Selenium中编写文本文件?,包括了如何用python在Selenium中编写文本文件?的使用技巧和注意事项,需要的朋友参考一下 通过首先创建一个txt文件并在其中包含内容,我们可以使用python在Selenium中编写文本文件。 首先,我们需要以写模式打开文件,并以文本文件的位置路径作为参数。有多种读取方法可以执行这些操作。 write()–将字符串写在一