写入BigQuery时的云数据流性能问题

Question

我试图用Cloud Dataflow（Beam Python SDK）将它读写到BigQuery。

读写2000万条记录（约80 MBs）几乎需要30分钟。

查看dataflow DAG，我可以看到将每个CSV行转换为BQ行花费了大部分时间。

beam.Map(lambda s: data_ingestion.parse_record_string(s,data_ingestion.stg_schema_dict)) 

    def parse_record_string(self, string_input,schema_dict): 

        for idx,(x,key) in enumerate(zip(imm_input,schema_dict)):
            key = key.strip()
            datatype = schema_dict[key].strip()
            if key == 'HASH_ID' and datatype != 'STRING':
                hash_id = hash(''.join(imm_input[1:idx]))
                row_dict[key] = hash_id
            else:
                if x:
                    x = x.decode('utf-8').strip()
                    row_dict[key] = x
                else:
                    row_dict[key] = None
                    #row_dict[key] = ''
        return row_dict

Answer 1

当您查看代码时，您的代码是计算密集型的。对于每一条20m的线路，执行以下操作：

• for循环（每行有多少元素？）
• 压缩和枚举
• 在循环上的每个元素上
  • 执行2个条带（在字符串上循环以移除空格）
  • 片上的联接（有2个循环）->此条件多长时间为真？
  • 其他情况下的另一条

  Python很棒，有很多助手，非常方便。但是，要注意这种简单性的陷阱，并正确评估算法的复杂性。