从Mapr数据库表推断为InvalidType的Spark dataframe时间戳列
root
|-- Name: string (nullable = true)
|-- dt: struct (nullable = true)
| |-- InvalidType: string (nullable = true)
val df = spark.loadFromMapRDB("path")
df.withColumn("dt1", $"dt" ("InvalidType").cast(TimestampType))
.drop("dt")
df.show(5, false)
任何帮助都将不胜感激。
共有1个答案
如果您知道表的架构。您可以创建自己的case类，定义表的架构，然后使用此case类加载表。
通过此链接将MapR数据库中的数据加载为Apache Spark数据集
并检查MapRDB中的表，该特定列是否具有有效的模式
-
问题内容： 我同时使用了Hibernate批注和Sybase。我正在寻找设置版本列以防止锁定。数据库需要管理时间戳而不是应用程序。我想使用注释而不是hbm.xml来完成此操作。 我已经尝试了以下方法，但没有成功， 我在jboss.org上阅读以使用 但是我收到数据库的IDE编译错误，“找不到符号符号：类数据库位置：类SourceType” 以及rowVersion的编译错误， 版本字段或属性不是受
-
问题内容： 我正在对jdbc操作使用Spring JDBC模板。由于我使用的是BeanPropertySqlParameterSource，因此将bean的START_TIME变量分配为java.sql.date类型。在Oracle数据库中，该列被称为“ DATE”类型（并且没有TIMESTAMP类型，即使数据库为10.2 ver） 现在当我设定 它以日期和时间戳记存储为00:00:00 请告诉我
-
问题内容： 场景： 我有一个从Excel工作表中检索到具有多个列的数据框。其中一些列是日期：一些仅包含日期（yyyy：mm：dd），一些具有日期和时间戳（yyyy：mm：dd 00.00.000000）。 问题： 当日期不是数据框的索引时，如何从日期中删除时间戳？ 我已经尝试了什么： 在SO的其他文章中使用pandas中的日期- 在datetime中删除看不见的字符并转换为字符串以及如何剥离pan
-
问题内容： 在我的SQL Server 2000数据库中，我有一个名为（设置为默认值/绑定）类型的时间戳记（功能不在数据类型中）。 我正在使用Netbeans 6.5生成的JPA实体类，并将其包含在我的代码中 但是，当我尝试将对象放入数据库时， 我曾尝试将to 设置为，但这引发了一个异常，说数据库不允许该列的值，而这是设计不允许的。 我以前使它在纯Hibernate中工作，但此后我切换到JPA
-
我在Firebase上运行一个web应用程序，从实时数据库开始，现在我正在将数据迁移到firestore。 我使用ADMINSDK迁移了除时间戳之外的所有其他数据。在我的web应用程序中，当用户上传新内容时，代码会向数据库添加时间戳，以便内容可以按时间排序。 问题在于实时数据库和firestore显然在记录时间戳时使用了不同的方法： 另一个问题是firebase.firestore.Timesta
-
问题内容： 考虑到python中的pandas数据帧具有名为integer类型的列，我可以使用以下指令将其转换为格式。 因此，该列现在具有以下条目：。 将字符串恢复为整数时间戳值（代表从过去的秒数）的命令是什么？ 我检查了但找不到转换实用程序，因此无法使用它。 此转换有实用程序吗？ 问题答案： 您可以使用类型转换为int并将其除以以获取unix纪元开始的秒数。