Pyspark UDF获取描述符的问题与openCV问题

Question

我从Spark哲学开始，在我的例子中是Pyspark。

我有一个学校的小项目要做，看起来不难，但是我已经做了很多天了，我仍然不能成功。

我必须将图像加载到文件夹中并提取描述符以进行降维。

我创建了一个带有图像路径的Pyspark数据框，现在我想添加一个带有描述符的列。

我是这样做的。

图像路径列表：

    lst_path = []

    sub_folders = os.listdir(folder)

    print(sub_folders)
    for f in sub_folders[:1]:

        lst_categ = os.listdir(folder + f)

        for file in lst_categ:

            lst_path.append(folder + f + "/" + file)

    print("Nombre d'images chargées :", len(lst_path))

    rdd = sc.parallelize(lst_path)
    row_rdd = rdd.map(lambda x: Row(x))
    df = spark.createDataFrame(row_rdd, ["path_img"])

提取描述符的函数：

def get_desc(img):

    img = cv2.imread(file)
    orb = cv2.ORB_create(nfeatures=50)
    keypoints_orb, desc = orb.detectAndCompute(img, None)

    desc = desc.flatten()

    return desc

功能自定义项：

udf_image = udf(lambda img: get_desc(img), ArrayType(FloatType()))

新列的创建：

df2 = df.withColumn("img_vectorized", udf_image("path_img"))

printSchema（）的结果：

根--path\u img:string（nullable=true）
|--img\u矢量化：数组（nullable=true）
|--元素：浮点（containsnall=true）

当我df2.show（）时，我得到以下错误消息：

Py4JJavaError：调用o773时出错。显示字符串：组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段18.0中的任务0失败1次，最近的失败：阶段18.0中的任务0.0丢失（TID 93，localhost，executor driver）：net。razorvine。泡菜。pickle异常：构造ClassDict（对于numpy.core.multiarray.u重构）需要零参数

AttributeError：“NoneType”对象没有属性“flatte”

我注意到描述符为空。我指定，当我在单行上执行此提取时，它会工作。

我不明白为什么它在我的数据帧上不起作用。你能帮我吗？

谢谢

Answer 1

经过几天的研究，我昨晚找到了解决办法...

我更正的代码：

def get_desc(img):

    image = cv2.imread(img)
    orb = cv2.ORB_create(nfeatures=50)
    keypoints_orb, desc = orb.detectAndCompute(image, None)

    if desc is None:

        desc = 0
    else:
        desc = desc.flatten().tolist()

    return desc

udf_image = udf(get_desc, ArrayType(IntegerType()))

df_desc = df.withColumn("descriptors", udf_image("path_img"))

df_desc = df_desc.filter(df_desc.descriptors. isNotNull())

df_desc.show()

+--------------------+--------------------+ 
|            path_img|         descriptors|
+--------------------+--------------------+ 
|Training/Apple-Br...|[69, 113, 253, 10...| 
|Training/Apple-Br...|[212, 236, 159, 2...|
|Training/Apple-Br...|[60, 53, 123, 239...|
|Training/Apple-Br...|[255, 189, 252, 1...|
|Training/Apple-Br...|[204, 244, 149, 1...|
+--------------------+--------------------+