当前位置: 首页 > 面试题库 >

如何在Amazon EMR上引导Python模块的安装?

羊舌高明
2023-03-14
问题内容

我想做一些非常基础的事情,只需通过EMR控制台启动Spark集群并运行依赖于Python包的Spark脚本(例如Arrow)。最简单的方法是什么?


问题答案:

最直接的方法是创建一个包含安装命令的bash脚本,将其复制到S3,然后从控制台设置引导操作以指向您的脚本。

这是我在生产中使用的示例:

s3://mybucket/bootstrap/install_python_modules.sh

#!/bin/bash -xe

# Non-standard and non-Amazon Machine Image Python modules:
sudo pip install -U \
  awscli            \
  boto              \
  ciso8601          \
  ujson             \
  workalendar

sudo yum install -y python-psycopg2


 类似资料:
  • 我正在尝试在我的计算机上安装新的python模块,我知道如何通过终端安装,但我想知道是否有办法直接通过VSCode安装新模块(就像在PyCharm上一样)? 我已经通过终端安装了,这不成问题,但是我想在我处理VSCode的时候不需要打开终端就可以安装。

  • 问题内容: Google App Engine启动器告诉我: 警告appengine_rpc.py:399找不到ssl模块。如果没有ssl模块,则无法验证远程主机的身份,并且连接可能不安全。要解决此问题,请从http://pypi.python.org/pypi/ssl安装ssl模块 。 我下载了软件包,其中包含一个文件。我跑了: 接着: 然后我安装了MinGW32,现在编译不起作用。编译错误的末

  • 我在让sikuli python单元测试工作时遇到了麻烦,希望能得到一些帮助。我在网上到处搜索,但是没有任何有用的东西。我的python知识非常有限,我想这没有什么帮助... 我用的是win7 32,sikuli 1.0 rc3 (r905),python 2.7.3 我正在尝试通过python运行sikuli单元测试(不使用命令行,只是作为一个python脚本来运行python gui)。除了别

  • 我是新的Python,我已经安装在C:\ INFO2013-07-08 08:15:47,197server.py:593]默认:"GET/HTTP/1.1"500-INFO2013-07-08 08:28:22,289api_server.py:509]应用所有挂起的事务并保存数据存储INFO2013-07-08 08:28:22,289api_server.py:512]保存搜索索引2013-

  • 我想对GitHub上的一个公共项目做些改变(如果有好处的话,可能会有所贡献)。我已经分支并克隆了模块,但我不清楚如何让我的程序导入本地库,而不是“官方”安装的模块。 我尝试将它克隆到我的项目文件夹中,但是当我导入它并尝试使用它时,事情变得很奇怪 我还尝试了做<code>sys.path。附加和文件夹位置。但它似乎仍然进口官方的,而不是分叉的。 我假设我可以把我的程序放在模块文件夹中,这样模块会先被

  • 问题内容: 如何枚举所有导入的模块? 例如,我想从以下代码中获取: 问题答案: 仅获取当前模块的所有导入的一种近似方法是检查globals()模块: 这不会返回本地导入,也不会返回非模块导入,例如。请注意,这将返回,因此如果你使用的话,将获得原始模块名称;如果你想要别名,则使用名称。