如何了解数据库支持的文件格式？

Question

delimited
csv
parquet
avro
excel
json

Answer 1

我不知道Databricks提供了什么开箱即用（预装），但是您可以使用org.apache.spark.sql.execution.datasources.DataSource对象进行一些反向工程，即（引用scaladoc）：

在Spark SQL中负责表示可插入数据源的主类

所有数据源通常使用DataSourceRegister接口进行注册（并使用shortname提供它们的别名）：

那么，YMMV。

除非您在数据库中找到权威的答案，否则您可能希望（遵循datasource.lookupdatasource并）使用Java的serviceLoader.load方法查找datasourceregister接口的所有注册实现。

// start a Spark application with external module with a separate DataSource
$ ./bin/spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0-SNAPSHOT

import java.util.ServiceLoader
import org.apache.spark.sql.sources.DataSourceRegister

val formats = ServiceLoader.load(classOf[DataSourceRegister])

import scala.collection.JavaConverters._
scala> formats.asScala.map(_.shortName).foreach(println)
orc
hive
libsvm
csv
jdbc
json
parquet
text
console
socket
kafka

在哪里可以获得每种文件格式所支持的选项列表？