大数据处理实践探索(2)---- python 与aws 交互

柳德义
2023-12-01


大数据ETL 系列文章简介

本系列文章主要针对ETL大数据处理这一典型场景,基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的数据导入导出实战,如:

  • oracle使用数据泵impdp进行导入操作。
  • aws使用awscli进行上传下载操作。
  • 本地文件上传至aws es
  • spark dataframe录入ElasticSearch

等典型数据ETL功能的探索。

系列文章:
1.大数据处理实践探索(1)---- python 与oracle数据库导入导出
2.大数据处理实践探索(2)---- python 与aws 交互
3.

 类似资料: