《HDFS》专题
-
Hadoop HDFS以编程方式写入操作
/home/hduser/bin/hadoop-2.9.0/share/hadoop/common/hadoop-common-2.9.0.jar/home/hduser/bin/hadoop-common-2.9.0/share/hadoop/common/hadoop-common-2.9.0-tests.jar/home/hduser/bin/hadoop-2.9.0/share/hadoo
-
hdfs dfs-mkdir，没有这样的文件或目录
嗨，我是hadoop新手，正在尝试在hdfs中创建名为twitter_data目录。我已经在softlayer上建立了我的vm，成功地安装并启动了hadoop。 为什么说没有这个文件和目录？我正在命令它做目录，它不应该只是创建一个吗？我猜这一定是许可问题，但我无法解决。请帮助我的hdfs专家。我一直在花太多的时间在看似简单的事情上。 提前道谢。
-
Hadoop文件系统Shell：bin/hdfs dfs
从Hadoop 1.2.1的文件系统Shell中，它显示： FS shell由以下人员调用：
-
hdfs中的权限组（默认情况下）是如何工作的？？为什么所有用户文件都属于超组？
我对hdfs中的权限组是如何工作的绝对感到困惑，至少在我的集群中是这样。假设我有unix用户kranach,它属于组bla。我有从CDH5设置的hadoop2集群，有一个unix组hadoop，用户hdfs、yarn和mapred belogns（但不是kranach，他与hadoop无关）。 现在，我在hdfs中的根目录具有如下权限 所以，我假设既然我，克拉纳奇，不属于超级组，就不应该允许我在/
-
hadoop存储目录使用的空间比HDFS上的总数据多
我有一个复制因子=3的三节点hadoop集群。 现在的问题是，尽管在660 GB集群上只有186GB的数据，但我的存储空间不足：HDFS显示了可用空间的巨大差异： datanode1=7.47 GB datanode2=17.7 GB 最近我的一个数据阳极坏了几天，修好后这个问题出现了。如何平衡负荷？
-
为什么hdfs在Hadoop集群中抛出LeaseExpiredException（AWS EMR）
tail-f/var/log/hadoop-hdfs/hadoop-hdfs-namenode-ip-172-30-2-148.log 2016-09-21 11:54:14,533 INFO BlockStateChange（8020上的IPC Server handler 10）：Block*InvalidateBlocks：添加blk_107374750_6677到172.30.2.189:
-
AZN可以直接从HDFS而不是从本地存储复制trasnfer文件到Azure吗？
我想我有一个相当直截了当的问题。我使用的是托管在Unix机器上的Hadoop集群。并且我需要将ORC文件从这个Hadoop集群传输到Azure BLOB存储。 如果我在承载Hadoop集群的Unix计算机上安装AzCopy，那么我是否能够在HDFS和Azure之间来回传输文件？ 有人能帮我解决这个关于AZCOPY的困惑吗？会有很大的帮助。提前道谢。
-
Kafka将HDFS接收器与Azure Blob存储连接起来
我想用Kafka HDFS接收器连接到Azure Blob存储。到目前为止，我已经做了： > 设置属性： 并在中添加了对WASB的支持： 你能帮我解决这个问题吗。有可能吗？
-
如何删除所有文件从hdfs目录与scala
对于我目前正在使用Scala和Spark进行的一个项目，我必须编写一个代码来检查我正在处理的hdfs目录是否为空，如果不是，我必须从该目录中删除所有文件。 在我将代码部署到Azur之前，我正在使用计算机中的本地目录对其进行测试。 我从以下内容开始：创建一个方法来删除这个目录中的每个文件。这就是我现在所拥有的： 有了这段代码，我可以删除单个文件（）。我希望能够这样定义我的路径（不指定任何文件名），只
-
Spark dataframe保存在hdfs位置上的单个文件中[重复]
我有dataframe，我想在hdfs位置上保存在单个文件中。 我在这里找到了解决方案，使用spark-csv编写单个CSV文件 这可能吗？ 任何帮助都很感激
-
如何从HDFS中检索Avro数据？
{“type”：“record”、“name”：“twitter_schema”、“namespace”：“com.miguno.avro”、“fields”:[{“name”：“username”、“type”：“string”、“doc”：“Twitter.com上的用户帐户名称”}、{“name”：“tweet”、“type”：“string”、“doc”：“用户的Twitter消息内容”}
-
如何将只包含头（不包含行）的数据集写入hdfs位置（csv格式），以便在下载时包含头？
我有一个数据集，它只包含头(id、名称、年龄）和0行。我想将它作为csv文件写入hdfs位置，使用
-
使用HDFS存储HBase数据时出错
当我将hbase-site.xml中的hbase.rootdir配置设置为本地文件系统（如file:/hbase_root_dir_path）时，hbase工作正常，但当我将其更改为hdfs:/localhost:9000/hbase时，hbase开始时也正常。但过了一小段时间（通常是几秒钟），它就不起作用了。我发现HMaster用jps命令停止了。当然，我无法打开localhost:60010网
-
如何从spark Executor中读取HDFS文件？
我有一个大的(>500M行）CSV文件。这个CSV文件中的每一行都包含一个位于HDFS上的二进制文件的路径。我想使用Spark读取这些文件中的每一个，处理它们，并将结果写到另一个CSV文件或表中。 在驱动程序中执行此操作非常简单，下面的代码完成了这项工作 但是失败 是否可以让执行者直接访问HDFS文件或HDFS文件系统？或者，是否有一种有效的方法来读取HDFS/S3上数百万个二进制文件并用Spar
-
导入到hdfs时发生Sqoop错误
Im试图使用SQOOP将一个小表从mysql导出到HDFS，该表有两列id（主键）和名称。我可以通过SQOOP列出数据库和表。但在将表导入到HDFS时出现异常。好心的帮助。下面是错误日志。