问题：
自动将文件从本地复制到Hadoop
陶成济
我想每小时将更新的文件从本地文件系统复制到Hadoop，因为我想放入cron。我可以使用任何hadoop命令将更新的文件从本地复制到Hadoop吗？
共有2个答案
俞博涛
类似下面的代码？在您的文件夹中
files=$(find . -type f -mmin -60)
for f in $files
do
hadoop fs -cp $f /hadoopdest
done
可能是创建文件的另一个循环：
files_c=$( find . -type f -cmin -60)
充昌勋
您可以使用各种数据摄取工具，如Flume、Nifi等。
如果您在这些工具上需要任何帮助，请告诉我。
类似资料：
-
我的s3存储桶中有很多文件，所以是否有任何aws cli命令可用于在s3中查找带有前缀名的最新文件？如何将该文件从s3复制到本地文件夹？我可以使用Boto3或python库来实现这一点吗？
-
如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至没有目录。我如何将它们移到本地进行进一步的验证。我通过winscp进行了尝试。
-
我想将一个文件从容器复制到我的本地。该文件是在执行python脚本后生成的，但由于当时，容器在运行后立即退出，并且无法使用命令。关于如何在管理复制文件之前防止容器退出的任何想法？下面是我的Dockerfile： 我使用这个命令来运行图像：
-
我需要从本地文件系统复制一个文件夹到HDFS。我找不到任何例子移动文件夹（包括它的所有子文件夹）到HDFS
-
我试图创建一个Java的应用程序，它可以将文件从Unix Samba共享复制到Windows文件夹。为了实现这一点，我使用JCIFS库。 我有以下代码： 我把它修改为： 但它给了我以下错误： 如果我尝试在Samba共享上创建一个新文件，它将按预期工作： 请帮助解决此问题。
-
我已经在Ubuntu 14.04上安装了hadoop。每当我将文件从本地文件系统复制到HDFS时，我都会出现以下错误。 我使用这个命令： 我遇到的错误是： 我是Linux环境的新手。我不明白哪个文件不存在。