《HDFS》专题
-
有哪些开源解决方案可以使用Kafka Connect将数据从Kafka移动到HDFS3？
除了Confluent HDFS库（非开源），是否有任何完全开源的库可以将消息从Kafka（使用Kafka Connect）移动到HDFS 3？ Kafka Connect HDFS 2 Sink-汇流社区许可证 Kafka Connect HDFS 3 Sink-融合企业许可证 相关：需要使用Kakfa Connect将小型JSON消息从Kafka移动到HDFS，但如果不完全免费使用Conflu
-
运行多个kafka独立hdfs连接器时出错
我们试图在给定的节点上启动多个独立的kafka hdfs连接器。 对于每个连接器，我们分别将和设置为不同的端口和路径。 也是Kafka经纪人JMX港是@ 9999。 当我启动 kafka 独立连接器时，出现错误 错误：代理引发异常：java.rmi.server。ExportException:端口已在使用：9999；嵌套异常是：java.net。BindException:地址已在使用中（绑定失
-
关于Kafka HDFS 2连接器的许可
我对 Confluent 社区许可证和 Confluent 连接器有点困惑。 根据https://www.confluent.io/confluent-community-license-faq/它只适用于一些Confluent连接器，在下图中列出了Apache 2.0许可证下的社区连接器。 然后，如果您搜索社区连接器，您可以看到支持融合的Kafka Connect HDFS连接器（在撰写此问题时
-
汇流HDFS接收器连接器：Kafka主题与普通字符串格式的HDFS在拼花格式失败与Avro模式必须是一个记录错误
我已经在我的虚拟机中安装了docker confluentinc/cp-kafka-connect：4.0.0映像。我有兴趣获取 kafka 主题，它是镶木地板格式的 hdfs 纯文本数据（字符串格式）。 我完成了以下配置。 /etc/kafka/connect-standard.properties /etc/Kafka-connect-HDFS/快速启动-hdfs.properties 在独立
-
Kafka连接器HDFS Sink 5.3.1无法生成所有JSON记录
我正在阅读一个已经创建的Kafka主题，在这个主题上，一个单独的集群正在产生一些键和值。我的最终目标是以JSON格式写HDFS，为此我已经用Kafka HDFS Sink 5.3做了一段时间的实验。我面临的问题是，我无法将该主题的所有记录摄取并写入HDFS。到目前为止，如果我的主题包含每小时数百万条记录的数据，我只能写10万条记录。 以下是我用于kafka-connect-standalone.p
-
sparkcontext.setcheckpointdir（hdfsPath）可以在不同的spark应用程序中设置相同的hdfsPath吗？
作为以下文件：
-
关于Kuberenetes数据局部性的Spark和HDFS
我试图在K8上运行Spark，并在数据局部性方面有点挣扎。我正在使用原生的spark支持，但只是看了https://databricks.com/session/hdfs-on-kubernetes-lections-learned。我已经按照那里的步骤设置了我的HDFS集群（第一个k8节点上的namenode，使用主机网络）。我想知道是否有人知道对spark驱动程序的修正已经合并到主线spark
-
用Spark Standone和HDFS实现数据局部性
我有一个工作，需要访问在HDFS上的拼花地板文件，我想最大限度地减少网络活动。到目前为止，我已经在相同的节点上启动了HDFS Datanodes和Spark Worker，但是当我启动作业时，数据位置总是在任何应该是NODE_LOCAL的地方，因为数据分布在所有节点中。 我是否应该配置任何选项来告诉Spark在数据所在的地方启动任务？
-
使用带有HDFS的spark作为文件存储系统，YARN作为资源管理器的优势是什么？
-
Spark Partition的HDFS文件如何处理？
-
如何在远程PC上的HDFS数据上运行任何转换逻辑
我在位于远程PC的HDFS中有巨大的数据（TBs或PBs）。现在，我不想将数据带到转换逻辑（这是不正确和高效的），而是想在存储数据的位置上运行python转换逻辑本身。 寻求有关可用于满足此要求的技术的有用想法。 我一直尝试的事情： 1）方法1 获取远程PC的SSH连接（其中有HDFS数据），在那里复制我的python转换逻辑，并在从HDFS获取数据后执行 2） 方法2 已将HDFS数据加载到远程
-
将Log4j输出写入HDFS
问题内容： 是否有人尝试 将 log4j 日志文件_直接 _写入 Hadoop分布式文件系统 ？ 如果是，请回答如何实现。我想我必须为此创建一个Appender。 是这样吗 我需要以特定的时间间隔将日志写入文件，并在以后的阶段查询该数据。 问题答案： 我建议将Apache Flume 用于此任务。Log4j有Flume附加程序。这样，您将日志发送到Flume，并写入HDFS。这种方法的好处是Flu
-
通过Java API从远程主机访问HDFS，进行用户身份验证
问题内容： 我需要通过Java API从远程桌面使用HDFS集群。一切正常，直到进行写访问。如果我尝试创建任何文件，则会收到访问权限异常。路径看起来不错，但异常表明我的远程桌面用户名当然不是访问所需HDFS目录所需要的。 问题是：-是否可以使用Java API中的“简单”身份验证来表示不同的用户名？-您能否在hadoop / HDFS中为Java API示例提供一些关于认证/授权方案的良好解释？
-
解析大于hdfs块大小的XmlInputFormat元素
问题内容： 我是Hadoop MapReduce的新手（准确地说是4天），并且被要求在集群上执行分布式XML解析。根据我在Internet上的（重新）搜索，使用Mahout的XmlInputFormat应该相当容易，但是我的任务是确保该系统适用于大型（〜5TB）XML文件。 据我所知，发送到映射器的文件拆分不能大于hdfs块大小（或每个作业块大小）。[如果我弄错了，请纠正我]。 我面临的问题是，某
-
Hadoop上的HDFS位置是什么？
问题内容： 在遵循一些在线教程之后，我试图在Hadoop中运行WordCount示例。但是，我不清楚，因为执行以下命令时文件将从本地文件系统复制到HDFS。 当我执行以下命令时，我在HDFS上看不到我的python-tutorial.pdf。 这让我感到困惑。我已经在core-site.xml中指定了“ myhadoop-tmp”目录。我以为该目录将成为用于存储所有输入文件的HDFS目录。 如果不