一个简单的Python部署问题-痛苦的世界

Question

我们有几个在Linux上运行的Python 2.6应用程序。其中一些是Pylons
Web应用程序，其他一些只是长时间运行的进程，我们使用从命令行运行nohup。我们还在virtualenv开发和生产中使用。
将这些应用程序部署到生产服务器的最佳方法是什么？

在开发中，我们只需将源树放入任何目录，设置一个virtualenv并运行-
足够容易。我们可以在生产中进行相同的操作，也许这确实是最实用的解决方案，但是svn update在生产中运行感觉有点不对。我们也尝试过fab，但是它永远不会第一次起作用。对于每个应用程序，其他地方都会出错。令我感到震惊的是，鉴于我们要实现的目标从根本上讲非常简单，因此整个过程
太难了 。这是我们从部署过程中想要的。

1. 我们应该能够运行 一个简单的命令 来部署应用程序的更新版本。（如果初始部署涉及一些额外的复杂性，那很好。）
2. 当我们运行此命令时，它应该将某些文件（从Subversion存储库中或本地工作副本中）复制到服务器上的指定“环境”中，这可能意味着不同的virtualenv。我们在同一服务器上同时拥有应用程序的生产版本和生产版本，因此需要以某种方式将它们分开。如果它安装到站点程序包中，也可以，只要它可以工作。
3. 我们在服务器上有一些配置文件应该保留（即，部署过程不会覆盖或删除）。
4. 其中一些应用程序 从其他应用 程序 导入模块 ，因此它们需要能够以某种方式相互引用。这是我们最麻烦的部分！只要它在开发和生产中都能可靠地工作，我不在乎它是否可以通过相对进口，站点打包或其他方式工作。
5. 理想情况下，部署过程应该自动安装应用程序依赖的外部软件包（例如psycopg2）。

就是这样！它能有多难？

Answer 1

通过setuptools与virtualenv和pip的结合，Python代码的开发和部署变得更加容易。

核心思想

我发现最棘手的部分是运行一个开发环境，该环境应尽可能紧密地反映已部署的设置，同时尊重Pythonic工具和习惯用法。但是事实证明，使用pip和setuptools非常容易实现这一点，它们一起使您可以将开发树“安装”到Python环境中，而无需移动文件。（实际上，setuptools本身可以完成所有操作，但是pip可以更好地充当前端处理依赖项。）

另一个关键问题是使用两个环境中已知的软件包设置一个干净的环境。在这方面，Python的virtualenv是天赐之物，它允许您使用自己选择的软件包来配置完全定制的Python环境，而无需root访问权限或OS软件包（rpm或dpkg），并且不受任何软件包和版本的限制恰好安装在您的发行版上。

最后，一个令人讨厌的错误负担是创建与PYTHON_PATH配合使用的命令行脚本的困难。setuptools也非常优雅地处理了这一问题。

配置

（为简单起见，这是规定性的。请随时进行适当区分。）

1. 准备一个工作目录，您的Python东西可以将其称为home。
2. 从此页面底部获取最新的virtualenv 并将其解压缩（无论在哪里）。

3. 在工作目录中，设置一个新的Python虚拟环境：

   $ python <untarred_directory>/virtualenv.py venv
   

4. 您将需要在此虚拟环境中完成大部分工作。使用此命令来这样做（.是的快捷方式source）：

   $ . venv/bin/activate
   

5. 安装点子：

   $ easy_install pip
   

6. 为要创建的每个可安装软件包创建目录。

7. 在每个目录中，您都需要一个setup.py，用于定义软件包的内容和结构。setuptools 文档是一个很好的入门资源。值得花时间吸收大量的时间。

发展历程

一旦树结构准备就绪，您几乎就可以开始编码了。但是现在，相互依赖的程序包无法像在已部署环境中那样相互看到。这个问题可以通过setuptools提供的一个巧妙的小技巧来解决，该技巧可以利用pip。对于正在开发的每个程序包，运行以下命令（确保您位于项目的虚拟环境中，按照上面的步骤3）：

$ pip install -e pkg1

该命令将安装pkg1到您的虚拟环境中，并且不会复制任何文件。它仅向site- packages指向软件包开发根目录的目录添加链接，并在该根目录中创建一个egg-info目录。您也可以不使用点子来执行此操作，如下所示：

$ cd pkg1
$ python setup.py develop

它通常会工作，但如果你有第三方依赖（这应该在setup.py上市，作为解释这里的setuptools的文档中），PIP就是找到他们更聪明。

需要注意的一个警告是，setuptools和pip都不擅长在自己的程序包中查找依赖项。如果目录B中的PkgB依赖于目录A中的PkgA，pip install -e B则将失败，因为pip无法知道可以在目录A中找到PkgA；相反，它将尝试并失败从其在线存储库源下载PkgA。解决方法是简单地在每个软件包依赖之后安装它们。

在这一点上，您可以启动python，加载您的模块之一并开始玩弄它。您可以编辑代码，下次导入时将立即可用。

最后，如果要使用软件包创建命令行工具。不要用手书写。最终，您将陷入一团糟的PYTHON_PATH骇客，这些骇客永远无法正常运作。只需阅读setuptools文档中的自动脚本创建即可。这将使您免于很多痛苦。

部署方式

准备好要执行操作的软件包时，可以使用setup.py创建部署软件包。这里有太多选择，但是以下几点可以帮助您入门：

$ cd pkg1
$ python setup.py --help
$ python setup.py --help-commands

末端松动

由于问题的广泛性，此答案不一定是完整的。我没有处理长时间运行的服务器，Web框架或实际的部署过程本身（特别是使用pip install --index- url来管理第三方和内部软件包和的私有存储库-e vcs+...，这会将软件包从svn，git中拉出，hg或bzr）。但我希望我给了您足够的绳索来将它们绑在一起（只是不要将自己吊死：-）。