《HDFS》专题

我有一个写日志到HDFS的Flume-ng。 我在一个节点中做了一个代理。 但是它没有运行。 这是我的配置。 #示例2.conf：单节点水槽配置 #命名这个代理上的组件 agent1.sources=源1 agent1.sinks=sink1 agent1.channels=channel1 agent1.sources.source1.type=avro agent1.sources.sourc

我正在尝试使用下面的代码将数据帧作为文本格式文件加载到HDFS和S3中<代码>数据帧名称为最终数据。 使用上述代码，我可以成功加载数据。但文件名和我提供的不一样，也不是文本格式。已创建一个目录，其名称如我所述。 目录名称- /user/test/File/test_20170918055206.txt -bash-4.2$hdfs dfs-ls/user/test/File/test\u 2017

我正在尝试使用Dataflow运行器上的BeamJava2.22.0从kerberize HDFS读取TSV文件。我正在使用带有kerberos组件的Dataproc集群来提供kerberize HDFS。我得到的错误是： 我正在按如下方式配置管道（注意，我已经配置了java.security.krb5.realm/kdc，我认为这使得在worker上不需要krb5.conf。我的hdfstext

我有一个配置单元查询，有时会成功运行，但最长时间会出现错误“java.io.IOException:无法创建代理提供程序类org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider” 下面是我的错误日志 谁能告诉我为什么会这样？

我正在尝试使用Tensorflow服务项目为HDFS的Tensorflow模型提供服务。 我正在运行tenorflow服务docker容器标签1.10.1https://hub.docker.com/r/tensorflow/serving 我可以看到tensorflow/serving repo在 https://github.com/tensorflow/serving/blob/628702

这两门课的主要区别是什么。主要是，什么情况下我会使用其中一个而不是另一个？ 协议包http://www.sching.com/javadoc/hadoop/org/apache/hadoop/hdfs/protocol/hdfsfilestatus.html

我有一个FlinkV1.2的设置，3个JobManager，2个TaskManager。我想将hdfs用于后端状态和检查点以及zookeeper storageDir 在JobManager日志中 Hadoop作为单个节点集群安装在我在Settings中设置的VM上。为什么Flink要求配置额外的参数？（顺便说一句，官方文件中没有这些内容）

Kafka主题之一和HDFS，它们都需要单独的Kerberos身份验证（因为它们属于完全不同的集群）。 我的问题是： 可能吗（如果可能，怎么可能？）在服务器上运行的Flink集群上使用来自Flink作业的两个Kerberos keytabs（一个用于Kafka，另一个用于HDFS）？（因此Flink作业可以使用Kafka主题，同时写入HDFS) 如果不可能，当Kafka和HDFS都受Kerbero

现在我想在一个集群中用spark-submit（集群模式）运行我的应用程序。我的项目的所有依赖项的jar文件都存储在HDFS上。只要我的配置文件包含在jar文件中，一切都可以正常工作。但这对于测试目的来说是不实际的，因为我总是要重新构建JAR。 因此，我排除了项目的配置文件，并通过“driver-class-path”添加了它们。这在客户端模式下工作，但如果我现在将配置文件移动到HDFS并在集群模

抛出错误 到目前为止，我在Hadoop中只有start-dfs.sh，在Spark中并没有真正配置任何内容。我是否需要使用YARN集群管理器来运行Spark，以便Spark和Hadoop使用相同的集群管理器，从而可以访问HDFS文件？ 我尝试按照tutorialspoint https://www.tutorialspoint.com/Hadoop/hadoop_enviornment_setup

执行命令时 我收到以下错误，有人能帮我修复代码吗 线程“main”java中出现异常。lang.ClassNotFoundException：hdfs:。hdfs。java反转。网URLClassLoader 1美元。在java上运行（URLClassLoader.java:366）。网URLClassLoader 1美元。在java上运行（URLClassLoader.java:355）。安全A

当我将大数据保存到hdfs时，我正在体验OOME 我在Spark-Submit中使用这个： 当我增加框架时，现在的错误是：Java.lang.outofMemoryError：Java堆空间，所以我必须将驱动程序内存和执行程序内存增加到2G才能工作。如果累加Collection.value.length是500,000,我需要使用3G。这正常吗？ 该文件只有146MB，包含200,000行（对于2

我是大数据生态系统的新手，有点起步。 我读过几篇关于使用spark流媒体阅读Kafka主题的文章，但我想知道是否可以使用spark作业而不是流媒体阅读Kafka主题？如果是的话，你们能帮我指出一些可以让我开始学习的文章或代码片段吗。 问题的第二部分是以拼花格式向hdfs写信。一旦我读了Kafka的书，我想我会有一个rdd。将此rdd转换为数据帧，然后将数据帧写入拼花文件。这是正确的方法吗。 感谢您

我正在尝试在HDFS中使用Apache Flink 1.2创建一个保存点。我在我机器上的本地集群中运行Flink。HDFS在虚拟机中运行。我设法在Flink Streaming作业中写入HDFS，但保存点不会这样做。我的保存点路径是，我在提交任务之前在UI中指定的。 它给我以下错误消息：（路径无效） 作业内部配置： 我不知道我做错了什么。在工作中，我设法写入HDFS（没有保存点）。因此HDFS不是

我们使用Flume和S3来存储我们的事件。我认识到，只有当HDFS接收器滚动到下一个文件或Flume优雅地关闭时，事件才会传输到S3。 在我看来，这可能会导致潜在的数据丢失。Flume文档写道： ...Flume使用事务性方法来保证事件的可靠传递。。。 此处是我的配置： 我想我只是做错了什么，有什么想法吗？