Database ricks自动加载器抛出IllegalArgumentException
我正在尝试databricks网站中包含的最简单的自动加载器示例
https://databricks.com/notebooks/Databricks-Data-Integration-Demo.html
df = (spark.readStream.format("cloudFiles")
.option("cloudFiles.format", "json")
.load(input_data_path))
(df.writeStream.format("delta")
.option("checkpointLocation", chkpt_path)
.table("iot_stream"))
我一直收到这条消息：
非法参数异常：cloudFiles。schemaLocation找不到必需的选项：schemaLocation。请使用＜code＞cloudFiles提供架构位置。schemaLocation＜/code＞用于存储推断的模式并支持模式演化。
如果需要提供 cloudFiles.schema位置，为什么各地的示例都缺少它？这里的潜在问题是什么？
共有1个答案
我怀疑这是怎么回事，你没有明确设置.选项（"cloudFiles.schemaEvolutionMode"）
这意味着它被设置为默认值，即“addNewColumns”https://docs.databricks.com/ingestion/auto-loader/options.html
这需要您在读取器中设置.选项（“云文件.架构位置”，路径）。
因此，您无意中需要它，而不是设置它。
-
我在使用Composer设置类自动加载方面遇到了很多麻烦，在这一点上，我已经阅读并观看了数以百万计的参考资料 一些快速版本信息： PHP-v5。6.17 项目布局比较简单： “composer.json”当前包含以下内容： 每当我更改目录结构、重命名类或修改“composer.json”时，我都会运行： 我的目标是从“框架”中的“类”、“配置”和“模型”文件夹中自动加载所有类；“index.php
-
我们已经为我们的Potion插件写了大量的功能，覆盖了本书所要讲的内容。 在结束之前，我们将讲到一些非常重要的方法，可以给我们的插件锦上添花。 第一项是使用自动加载让我们的插件更有效率。 如何自动加载 目前，当用户加载我们的插件时(比如打开了一个Potion文件)，所有的功能都会被加载。 我们的插件还很小，所以这大概不是什么大问题，但对于较大的插件，加载全部代码将会导致可被察觉的卡顿。 Vim使用
-
我刚刚开始使用composer进行依赖关系管理，我很难弄清楚我是如何不遵守psr-4进行自动加载的，所以我来这里寻求建议。我有一个生成随机值的类，它已经在packagist上了。项目结构如下（我已将composer.json文件标记为A和B）： 项目总监 composer.jsonA composer.jsonB 最后是RlandValue.php文件，它声明了ejFrancis命名空间 当我运行
-
我不熟悉使用composer和psr-0。我尝试了一个使用composer和psr-0的小应用程序。我已经使用名称空间加载了一个特定的类。当我使用composer vendor/autoload调用一个类时，我得到了“未找到类”错误。 我的composer.json文件：/var/www/html/silexapp/composer.json 我的作曲家供应商自动加载文件：/var/www/htm
-
优化级别1：类映射生成 怎么运行它呢？ 有几个选项可以启用此功能： 在 composer.json 的配置中设置 "optimize-autoloader": true 使用 -o / --optimize-autoloader 调用安装或更新 使用 -o / --optimize 调用 dump-autoload 它有什么作用？ 类映射生成实质上是将 PSR-4/PSR-0 规则转换为类映射规
-
Yaf在自启动的时候, 会通过SPL注册一个自己的Autoloader, 出于性能的考虑, 对于框架相关的MVC类, Yaf Autoloader只以目录映射的方式尝试一次. 注意 但是要注意的一点是, 从2.1.18开始, Yaf支持在PHP脚本中触发对Controller的自动加载, 但是因为Controller的定位需要根据Module路由结果来判断, 这就造成了 在Bootstrap或者R