我正在尝试根据条件从数据帧创建csv,例如如果特定列不为null,则需要将其添加到csv文件中。我的代码确实会根据条件转换文件,但最终会添加一个额外的空行。检查屏幕截图
这是我的代码:
df= df[pd.notnull(df['TRUCK_ID'])]
df[['FACILITY', 'TRUCK_ID','LICENSES']].to_csv('E:\Truck.txt', header=None, index=None, sep=',')
如何从csv文件中删除最后一个空行。
您可以使用iloc选择除最后一行之外的每一行:
df.iloc[:-1][['FACILITY', 'TRUCK_ID','LICENSES']].to_csv('E:\Truck.txt', header=None, index=None, sep=',')
我有以下两个场景共享的前奏代码: 现在,我想将df转换为pyspark数据帧(
问题内容: 我有一个要转换为json格式的数据框: 我的数据帧称为res1: 当我做: 我得到这个: 我需要这个json输出像这样,有什么想法吗? 问题答案: 怎么样 通过使用,我们实际上将大的data.frame分解为每一行的单独的data.frame。通过从结果列表中删除名称,该函数将结果包装在数组中,而不是命名对象中。
我正在尝试将熊猫DF转换为Spark one。测向头: 代码: 我得到了一个错误:
我正在尝试将RDD转换为数据帧,但失败并出现错误: org.apache.spark.SparkException:由于阶段失败而中止作业:阶段2.0中的任务0失败4次,最近一次失败:阶段2.0中丢失任务0.3(TID 11,10.139.64.5,执行器0) 这是我的代码:
如何将此dict转换为数据帧
问题内容: 如何将数组转换为CSV文件? 这是我的数组: 问题答案: 我正在使用以下功能;它是对fputscsv注释中的man条目之一的改编。而且您可能想要展平该数组;不知道如果您传递一个多维的行会发生什么。