是否可以在map（）中删除Pyspark行？

Question

在Pyspark中执行映射函数时，我经常希望删除映射函数失败的数据（在本例中，转换为xml）。我想知道在映射步骤中是否有一个干净的方法来实现这一点？

返回blank的明显解决方案仍然会在RDD中保留一个对象。

### **** skip pyspark boilerplate ****

### function defs
from lxml import etree as ET
def return_valid_xml(one_line_input):
    try:
        root = ET.fromstring(one_line_input)
        return root
    except:
        return

### code that returns stuff for every line of input
valid_xml_data = someDataStrings.map(lambda x: return_valid_xml(x))

创建一个聪明的筛选器是浪费我的时间，而像try/except onet.fromString()return true这样的哑筛选器是浪费计算时间，因为我会对XML进行两次解析。

Answer 1

您可以使用flatmap并在失败时返回一个空列表：

python prettyprint-override">def return_valid_xml(one_line_input):
    try:
        root = ET.fromstring(one_line_input)
        return [root]
    except:
        return []

valid_xml_data = someDataStrings.flatMap(return_valid_xml)

此外，您可以只传递return_valid_xml，而不是定义lambda函数。