如何在Linux上安装Python包，以便已在运行的PostgreSQL 13 plpython3u扩展可以找到它？

Question

我试图抓住"模块未找到"的想法时导入一个Python包在plpython3u过程中，我不知道如何使用接受的答案，使它在Linux上运行。通常情况下，这里应该是重复的，但是如果在使用的路径上与MacOS有差异，那么对于一个新问题来说可能是好的。

我在WSL2上（Ubuntu 20.04）。我安装了来自Ubuntu PostgreSQL Apt存储库的官方PostgreSQL下载页面的命令。

# Create the file repository configuration:
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

# Import the repository signing key:
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

# Update the package lists:
sudo apt-get update

# Install the latest version of PostgreSQL.
# If you want a specific version, use 'html" target="_blank">postgresql-12' or similar instead of 'postgresql':
sudo apt-get -y install postgresql

这给了我PostgreSQL 13。

我安装plpython3u命令从PostgreSQL：如何安装plpythonu扩展：

sudo apt-cache search ".*plpython3.*"
sudo apt-get install postgresql-contrib postgresql-plpython3-13

因为我在WSL上，所以我开始使用以下服务：

service postgresql start

更改角色并运行psql：

sudo su postgres
psql

在postgreSQL中直接将Python版本作为存储过程进行检查：

CREATE OR REPLACE FUNCTION return_version()
  RETURNS VARCHAR
AS $$
    import sys
    return sys.version
$$ LANGUAGE plpython3u;

输出：

CREATE FUNCTION

测试：

postgres=# SELECT return_version();
              return_version
------------------------------------------
 3.8.10 (default, Jun  2 2021, 10:49:15) +
 [GCC 9.4.0]
(1 row)

显示安装了"PostgreSQL 13"和"Python 3.8.10"。

这正是在Linux上可以找到的。如果我只是输入一个我没有的Python版本，比如3.7：

python3.7

我得到了概述：

Command 'python3.7' not found, did you mean:

  command 'python3.8' from deb python3.8 (3.8.10-0ubuntu1~20.04)
  command 'python3.9' from deb python3.9 (3.9.5-3~20.04.1)
  command 'python2.7' from deb python2.7 (2.7.18-1~20.04.1)

确认没有安装两个并行安装的Python3.8，很明显，Linux3.8.10是PostgreSQL中用于plpython3u的版本。

简而言之，我尝试了一个导入包的函数，该函数取自PostgreSQL中的Kmeans：

CREATE OR replace FUNCTION kmeans(input_table text, columns text[], clus_num int) RETURNS bytea AS
 
$$
 
from pandas import DataFrame
from sklearn.cluster import KMeans
from pickle import dumps
 
all_columns = ",".join(columns)
if all_columns == "":
    all_columns = "*"
 
rv = plpy.execute('SELECT %s FROM %s;' % (all_columns, plpy.quote_ident(input_table)))
 
frame = []
 
for i in rv:
    frame.append(i)
df = DataFrame(frame).astype('float')
kmeans = KMeans(n_clusters=clus_num, random_state=0).fit(df._get_numeric_data())
return dumps(kmeans)
 
$$ LANGUAGE plpython3u;

输出：

CREATE FUNCTION

测试抛出错误：

postgres=# SELECT kmeans('my_table', ARRAY['col1', 'col2'],3);
ERROR:  ModuleNotFoundError: No module named 'pandas'
CONTEXT:  Traceback (most recent call last):
  PL/Python function "kmeans", line 3, in <module>
    from pandas import DataFrame
PL/Python function "kmeans"

然后，我在Python3.8中安装了熊猫：

python3.8 -m pip install pandas
Collecting pandas
  Downloading pandas-1.3.2-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (11.5 MB)
     |████████████████████████████████| 11.5 MB 6.0 MB/s
Collecting python-dateutil>=2.7.3
  Downloading python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)
     |████████████████████████████████| 247 kB 4.7 MB/s
Collecting numpy>=1.17.3
  Downloading numpy-1.21.2-cp38-cp38-manylinux_2_12_x86_64.manylinux2010_x86_64.whl (15.8 MB)
     |████████████████████████████████| 15.8 MB 131 kB/s
Collecting pytz>=2017.3
  Downloading pytz-2021.1-py2.py3-none-any.whl (510 kB)
     |████████████████████████████████| 510 kB 5.7 MB/s
Requirement already satisfied: six>=1.5 in /usr/lib/python3/dist-packages (from python-dateutil>=2.7.3->pandas) (1.14.0)
Installing collected packages: python-dateutil, numpy, pytz, pandas
  WARNING: The scripts f2py, f2py3 and f2py3.8 are installed in '/home/my_user/.local/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
Successfully installed numpy-1.21.2 pandas-1.3.2 python-dateutil-2.8.2 pytz-2021.1

熊猫现在存放在：

python3.8 -m pip show pandas
Name: pandas
Version: 1.3.2
Summary: Powerful data structures for data analysis, time series, and statistics
Home-page: https://pandas.pydata.org
Author: The Pandas Development Team
Author-email: [e-mail]
License: BSD-3-Clause
Location: /home/my_user/.local/lib/python3.8/site-packages
Requires: numpy, python-dateutil, pytz
Required-by:

但是测试仍然会抛出相同的错误：

postgres=# SELECT kmeans('my_table', ARRAY['col1', 'col2'],3);
ERROR:  ModuleNotFoundError: No module named 'pandas'
CONTEXT:  Traceback (most recent call last):
  PL/Python function "kmeans", line 3, in <module>
    from pandas import DataFrame
PL/Python function "kmeans"

如何安装熊猫（或我需要的任何其他包），以便它是由PostgreSQL 13 plpython3u扩展Linux？

衍生问题中有另一个版本测试，但在扩展中没有显示任何内容，命令与普通bash中的命令完全相同。所以，下面的值被简化为plpython3u函数的随机测试。我添加这一点只是因为你永远不应该100%确定。对我来说，很明显，这并没有说明plpython3u实际使用的Python版本。

CREATE OR REPLACE FUNCTION get_py()
  RETURNS VARCHAR
AS $$
    import os
    return os.popen('which python3').read()
$$ LANGUAGE plpython3u;

输出：

CREATE FUNCTION

测试：

SELECT get_py();
      get_py
------------------
 /usr/bin/python3+

(1 row)

和“哪个python3一样。8'：

select get_py();
       get_py
--------------------
 /usr/bin/python3.8+

(1 row)

也许在安装之前，Python的默认版本必须在某个地方进行更改？这只是使用make进行安装时的一个非常模糊的猜测，在/etc/make中使用Python设置。conf，这里是这里使用的代码（2018年的问题）：

将/etc/make.conf更改为

DEFAULT_VERSIONS+= python=3.6

据说这是通过plpython3u运行并安装的（我还没有测试过）：

root@db% cd /usr/ports/databases/posgresql10-plpython
root@db% make fetch
root@db% make extract
root@db% cd /usr/ports/databases/postgresql10-plpython/work/postgresql-10.5
root@db% ./configure PYTHON=/usr/local/bin/python3 --with-python --with-libraries=/usr/local/lib --with-includes=/usr/local/include/
root@db% cd /usr/ports/databases/posgresql10-plpython
root@db% make install

Answer 1

问题是：

python3.8-m pip安装熊猫

在运行命令的用户的主目录中安装一个包（在这种情况下是熊猫）到site-包，这样：

/home/my_user/。local/lib/python3。8/站点包

Postgres中运行的plpython3u扩展正在系统范围的站点包中查找该包。要在那里获得软件包，您需要执行以下操作：

sudo蟒蛇3。8-m pip安装程序