《HDFS》专题
-
Hadoop/HDFS3.1.1（在Java 11上）Web UI在加载文件资源管理器时崩溃？[副本]
在之后，我可以导航到。NameNode似乎运行得很好。
-
Hadoop HDFS-错误的fs:HDFS:/0.0.0.0:9000…应为：file：///
-
如何将文件从HDFS复制到本地文件系统
如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至没有目录。我如何将它们移到本地进行进一步的验证。我通过winscp进行了尝试。
-
在HDFS上创建Solr core时出现的问题
并试图创建如下所示的核心， 但得到以下错误： 安装新的核心实例目录：/home/admin/hadooptools/solr-5.3.0/solr-cores/core1/hdfsstarted 请让我知道如何在HDFS中正确创建核心。
-
格式化Apache Flume HDFS串行器
我刚刚开始使用水槽，需要插入一些标题到hdfs水槽。 尽管格式错误并且无法控制列，但我仍然可以正常工作。 使用此配置： 写入HDFS的日志除了串行化的方面外，主要是正常的： 如何格式化日志，使其看起来像这样： 时间戳首先是主机名，然后是系统日志 msg 正文。
-
在hdfsKafka、水槽中的不同目录中登陆文件
我想将csv文件从一台服务器（Unix服务器A）发送到hdfs目录。根据哪些csv文件，我想将它们放在hdfs中的不同目录中。 我有一个11个csv文件，将由unix服务器A上的kafka制作人发送到kafka。csv文件的第一个元素将包含一个键。我想取第一个元素并使其成为kafka消息的键。此外，我想将数据的值作为kafka中的消息发送。 当它到达kafka集群时，将有一个水槽代理获取数据，并拦
-
Apache Flume HDFS接收文件写有什么保证？
如果Flume代理在HDFS文件写入过程中被杀死（比如使用Avro格式），有人能解释一下会发生什么吗？文件会被破坏，所有事件都会丢失吗？ 我了解Flume数据链的不同元素之间存在交易（来源-
-
Flume HDFS接收器仅使用netcat源存储一行数据源
我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置： 之后，我使用 netcat 将以下文件发送到源： 该文件包含以下元素: 我面临的问题是，没有任何错误，flume正在写入hdfs，但只有一行传输的文件。如果您开始使用nectat多次将文件推送到源文件，那么有时flume会将多个文件写入hdfs，包括多个行。但很少是所有行。 我试图改变hdfs参数roll大小，批量大小和其他，
-
使用水槽将本地文件源到 HDFS 接收器
我正在使用flume将本地文件源到HDFS接收器，下面是我的conf： 我使用用户“flume”来执行这个conf文件。 但它显示我找不到本地文件，权限被拒绝 如何解决这个问题？
-
使用 Apache Flume 将日志从 MapReduce 作业写入 HDFS
我正在尝试将MapReduce作业中的日志写入HDFS。我使用的是Apache Flume NG。 我的环境: Java 6 日志4j 1.2.16 Apache Hadoop 2.3.0 Apache水槽1.4.0 问题#1 我已经创建了简单的MapReduce作业作为Maven项目，并且在我的类中使用了 作业完成后，我可以在系统日志文件中看到我的日志。 我想创建自己的log4j配置并将日志写入
-
如何使用 Flume 在源代码上执行预处理并在 hdfs sink 中保留真实文件名
我刚开始使用Apache Flume，我很难理解它到底是如何工作的。为了解释我的问题，我解释了我的需要和我做了什么。 我想在 csv 文件目录（这些文件每 5 分钟构建一次）和 HDFS 集群之间配置一个流。 我发现“假脱机目录”源和HDFS接收器是我所需要的。给我这个flume.conf文件 结果是输入文件被重命名为“.”。我本地文件系统上的“complete ”,数据以一个新名字上传到HDFS
-
Flume exec到cat文件只向hdfs接收器写入一行
我是Flume的新手。我有一个大的 CSV 文本文件，其中包含记录，每个记录的长度约为 50 个字符，CR-LF 终止了这些行。我想使用Flume将这些数据摄取到HDFS中。结果是只有文件的一行被写入HDFS（如果该线索有帮助，它是文件的第二行）。 我在输出中没有看到任何错误。谢谢。详情如下。 这是我的执行命令： Flume-ng代理--conf--conf文件example.conf--name
-
水槽和HDFS集成，HDFS IO错误
我试图将FLUME与HDFS集成，我的FLUME配置文件是 我的核心站点文件是 当我尝试运行flume代理时，它正在启动，并且能够从nc命令中读取，但是在写入hdfs时，我得到了下面的异常。我尝试使用< code > Hadoop DFS admin-safe mode leave 在安全模式下启动，但仍然出现以下异常。 如果在任何属性文件中配置了错误，请告诉我，以便它可以工作。 另外，如果我为此
-
Flume不适用于HDFS
我用两个节点设置水槽。我想将数据从slave01加载到hdfs。slave01:示例配置属性 master:示例配置属性 然后我运行一个shell脚本：如下所示： 启动 flume： flume-ng agent --conf conf conf --conf-file example-conf.properties --name agent -dflume.root.logger=DEBUG，c
-
使用Flume将CSV文件写入HDFS
我正在使用Flume从我的本地文件系统写一些CSV文件到HDFS。 我想知道HDFS水槽的最佳配置是什么，这样本地系统上的每个文件都会在HDFS以CSV格式准确复制。我希望Flume处理的每个CSV文件都是单个事件，作为单个文件刷新和写入。尽可能多地，我希望文件是完全一样的，没有标题的东西等。 我需要在这些值上加什么来模拟我想要的行为？ 如果还有其他Flume代理配置变量需要更改，请提供。 如果这