如何删除所有文件从hdfs目录与scala

Question

对于我目前正在使用Scala和Spark进行的一个项目，我必须编写一个代码来检查我正在处理的hdfs目录是否为空，如果不是，我必须从该目录中删除所有文件。

在我将代码部署到Azur之前，我正在使用计算机中的本地目录对其进行测试。

我从以下内容开始：创建一个方法来删除这个目录中的每个文件。这就是我现在所拥有的：

object DirectoryCleaner {


  val spark:SparkSession = SparkSession.builder()
    .master("local[3]")
    .appName("SparkByExamples.com")
    .getOrCreate()

  val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)
  val srcPath=new Path("C:\\Users\\myuser\\Desktop\\test_dir\\file1.csv")

  def deleFilesDir(): Unit = {
    if(fs.exists(srcPath) && fs.isFile(srcPath))
      fs.delete(srcPath, true)
  }


}

有了这段代码，我可以删除单个文件（file1.csv）。我希望能够这样定义我的路径val srcPath=new path（“C:\\Users\\myuser\\Desktop\\test_dir”）（不指定任何文件名），只需从test_dir目录中删除所有文件。你知道我该怎么做吗？

谢谢你的帮助

Answer 1

使用fs。listFiles获取目录中的所有文件，然后在删除它们时循环浏览它们。另外，将recursive标志设置为false，这样就不会递归到目录中。

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}

def deleteAllFiles(directoryPath: String, fs: FileSystem): Unit = {

  val path = new Path(directoryPath)

  // get all files in directory
  val files = fs.listFiles(path, false)

  // print and delete all files
  while (files.hasNext) {
    val file = files.next()
    fs.delete(file.getPath, false)
  }

}

val directoryPath = "/Users/m_vemuri/project"
val fs = FileSystem.get(new Configuration())
deleteAllFiles(directoryPath, fs)