在AWS Glue中读写MYSQL

Question

                  [20, 'Kate'],

                 [20, 'Kate'],

                  [40, 'Cheng']]).toDF(["Depy_id","Dept_name"])

df.write.format（“jdbc”）。选项（

  url='jdbc:mysql://localhost/test',

  driver='com.mysql.jdbc.Driver',

  dbtable='dept',

  user='root',

  password='root').mode('overwrite').save()

Answer 1

请注意，您必须提供有效的数据库URL，而不是本地主机。我相信您的jupyter笔记本是在本地笔记本电脑上运行的，在运行mysql的本地环境中也是如此。

AWS Glue在AWS环境中运行，在后台，它将根据DPU配置启动EC2实例的数量。如果您的URL配置为LOCALHOST，那么运行pyspark代码的EC2实例将在同一节点上查找mysql数据库。

请确保您拥有有效的mysql数据库公共IP，并尝试按照bdcloud的建议在AWS胶中设置连接，然后重试。如果不想创建连接，可以在代码中硬编码连接参数，然后再试一次。如果您无法为已安装的mysql数据库获得公共IP，也许您可以尝试在AWS上设置一个RDS mysql，并使用它进行测试。

conn = mysql.connector.connect(host=url, user=uname, password=pwd, database=dbase)
cur = conn.cursor()

insertQry = "INSERT INTO emp (id, emp_name, dept, designation, address1, city, state, active_start_date, is_active) SELECT (SELECT coalesce(MAX(ID),0) + 1 FROM atlas.emp) id, tmp.emp_name, tmp.dept, tmp.designation, tmp.address1, tmp.city, tmp.state, tmp.active_start_date, tmp.is_active from EMP_STG tmp ON DUPLICATE KEY UPDATE dept=tmp.dept, designation=tmp.designation, address1=tmp.address1, city=tmp.city, state=tmp.state, active_start_date=tmp.active_start_date, is_active =tmp.is_active ;"

n = cur.execute(insertQry)
print (" CURSOR status :", n)