如何在本地将dataframe转换为DynamicFrame，而不使用glue-dev内点？

Question

我试图在本地对pyspark脚本运行单元测试，以便将其集成到CI中。

$ pyspark
...
>>> import pandas as pd
>>> df = pd.DataFrame([(1,2,3), (4,5,6)])
>>> df
   0  1  2
0  1  2  3
1  4  5  6

根据文档，我应该能够使用以下方法进行转换：

from awsglue.dynamicframe import DynamicFrame
dynamic_frame = DynamicFrame.fromDF(dataframe, glue_ctx, name)

但是当我尝试转换为DynamicFrame时，我在尝试实例化glucontext时会出现错误

$ pyspark
>>> from awsglue.context import GlueContext
>>> sc
<SparkContext master=local[*] appName=PySparkShell>
>>> glueContext = GlueContext(sc)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Python/2.7/site-packages/awsglue/context.py", line 43, in __init__
    self._glue_scala_context = self._get_glue_scala_context(**options)
  File "/Library/Python/2.7/site-packages/awsglue/context.py", line 63, in _get_glue_scala_context
    return self._jvm.GlueContext(self._jsc.sc())
TypeError: 'JavaPackage' object is not callable

如何在不使用AWS Glue Dev Endpoint的情况下使其工作？我不想每次提交代码时都被收费。这太荒谬了。

Answer 1

我认为目前除了使用胶水之外，我们没有其他替代选择。供参考：我可以在本地测试AWS胶水代码吗？

Answer 2

为什么要从dataframe转换为DynamicFrame，因为您不能使用Glue API进行单元测试-Glue API没有模拟？

我更喜欢以下方法：

1. 每个胶水作业写两个文件-job_glue.py和job_pyspark.py
2. 在job_glue.py中编写Glue API特定代码
3. 编写非胶水api特定代码job_pyspark.py
4. 编写pytest测试用例来测试job_pyspark.py