使用Spark生成无模式avro
有没有办法从Apache spark生成无模式的avro？我可以看到一种使用apache avro库通过Java/Scala和融合avro生成它的方法。当我用下面的方式从Spark编写Avro时，它用模式创建了Avro。我想在没有模式的情况下创建，以减少最终数据集的大小。
df.write.format("avro").save("person.avro")
共有1个答案
-
我试图让Maven使用嵌套的xml模式生成JAXB绑定：模式a导入模式B。模式B导入模式C。 如果模式A中的对象引用了模式B中不依赖于模式C对象的对象，那么一切都构建得很好。如果模式B中的对象引用了模式C中的对象，它就会中断。也就是说，深入一层是可行的。去两个深度没有。 只要我在模式A中添加一个引用模式B中对象的对象，而模式B又引用了模式C中的对象，我就会得到一个组织。xml。萨克斯。SAXPar
-
我正试着把a类扩展成AX类。所以，我也扩展了abuilder。但是，虽然我能够使用以下方法创建类a的对象： 同样的方法对AX不起作用。当我尝试这样做时：
-
亦称： 建造者模式、Builder 意图 生成器模式是一种创建型设计模式， 使你能够分步骤创建复杂对象。 该模式允许你使用相同的创建代码生成不同类型和形式的对象。 问题 假设有这样一个复杂对象， 在对其进行构造时需要对诸多成员变量和嵌套对象进行繁复的初始化工作。 这些初始化代码通常深藏于一个包含众多参数且让人基本看不懂的构造函数中； 甚至还有更糟糕的情况， 那就是这些代码散落在客户端代码的多个位置
-
问题 你需要准备一个复杂的、多部分的对象，你希望操作不止一次或有不同的配置。 解决方案 创建一个生成器封装对象的产生过程。 Todo.txt 格式提供了一个先进的但还是纯文本的方法来维护待办事项列表。手工输入每个项目有损耗且容易出错，然而 TodoTxtBuilder 类可以解决我们的麻烦： class TodoTxtBuilder constructor: (defaultParamet
-
我有一个JAX-WS注释的Web服务，当我将其部署到WildFly 8.1.0 Final中时，我有如下内容： 当我想要这样的东西时： 因此，基本上，我希望WildFly/JAX-WS将一些类型放在一个单独的XSD模式文件中，而不是仅仅在WSDL文件中显示它们。 我可以通过一些注释或一些配置文件来执行此操作吗？
-
我已经在本地安装了kafka（目前没有集群/模式注册），并尝试生成一个Avro主题，下面是与该主题相关的模式。 我想创建一个简单的来根据上述模式创建一些数据并将其发布到kafka。考虑创建转换为的示例数据，然后将其更改为然后发布。 然后，如下所示： 现在可以< code >手动将模式附加到此avro主题。 这可以通过使用而不是使用来实现吗？这是用于批处理，而不是。