删除重复的标题行或字符串在python中删除相同的列和空行

Question

我有一个样本数据（Data_sample_truncated.txt），我从一个大数据截断。它有3个字段-索引，时间和RxIn。密度[**x**，::]"这里我使用x作为整数，因为x可以在任何范围内变化。在这个数据中它是0-15。3列字段的组合是唯一的。对于不同的"Index"字段，"Time"和"RxIn"。密度[**x**，::]"可以相同也可以不同。对于每个新的"Index"值，数据都有一个空行和几乎相似的列标题，除了"RxIn。密度[**x**，::]"其中x在达到新的"Index"值时增加。我从ADS（电路仿真软件）导出的数据在导出时给了我这样的格式。

现在我想格式化数据，以便将所有数据合并到3个唯一的列字段下—“Index”、“Time”和“RxIn.Density”。您可以看到我想要删除第3列新数据框中的字符串[**x**，：：：]。下面是格式化后需要的最终数据文件示例（data-format\u I\u-want\u-after\u-formatting.txt）。所以我想要下面的-

• 要删除的空行（或行）
• 要删除的所有其他标题行仅保留顶部标题，并将第三列标题更改为“RxIn.Density”
• 将所有数据合并到唯一的列字段——“Index”、“Time”和“RxIn.Density”，即使数据值重复

我的MATLAB代码如下所示：

import pandas as pd

#create DataFrame from csv with columns f and v 
df = pd.read_csv('Data_sample_truncated.txt', sep="\s+", names=['index','time','v'])

#boolean mask for identify columns of new df   
m = df['v'].str.contains('RxIn')

#new column by replace NaNs by forward filling
df['g'] = df['v'].where(m).ffill()

#get original ordering for new columns
#cols = df['g'].unique()

#remove rows with same values in v and g columns
#df = df[df['v'] != df['g']]

df = df.drop_duplicates(subset=['index', 'time'], keep=False)

df.to_csv('target.txt', index=False, sep='\t')

生成的target.txt文件不是我想要的。你可以在这里查看。有人能帮助我的代码出了什么问题，以及如何修复它，以便我想要我想要的格式吗？

我使用Spyder 3.2.6（蟒蛇）其中Python 3.6.4 64位嵌入。

Answer 1

试试这个：

df = pd.read_csv('Data_sample_truncated.txt', sep='\s+', names=['index', 'time', 'RxIn.Density', 'mask'], header=None)

df = df[df['mask'].isna()].drop(['mask'], axis=1)

df.to_csv('target.txt', index=False, sep='\t')

Answer 2

你可以过滤掉你不想要的行（检查一下）：

import pandas as pd
df = pd.read_csv('Data_sample_truncated.txt', sep="\s+")
df.columns = ["index","time","RxIn.Density","1"]
del df["1"]
df = df[~df["RxIn.Density"].str.contains("Rx")].reset_index(drop=True)
df.to_csv('target.txt', index=False, sep='\t')