为什么在Alpine Linux上安装熊猫需要很长时间
我注意到在Docker容器中使用基本操作系统Alpine vs. CentOS或Debian安装Pandas和Numpy（它是依赖项）需要更长的时间。我在下面创建了一个小测试来演示时间差。除了Alpine更新和下载构建依赖项以安装Pandas和Numpy需要几秒钟之外，为什么setup.py比Debian安装花费大约70倍的时间？
是否有任何方法可以加快使用Alpine作为基本映像的安装速度，或者是否有另一个与Alpine大小相当的基本映像可以更好地用于Pandas和Numpy等包？
Dockerfile.debian
FROM python:3.6.4-slim-jessie
RUN pip install pandas
用熊猫构建德比安形象
[PandasDockerTest] time docker build -t debian-pandas -f Dockerfile.debian . --no-cache
Sending build context to Docker daemon 3.072kB
Step 1/2 : FROM python:3.6.4-slim-jessie
---> 43431c5410f3
Step 2/2 : RUN pip install pandas
---> Running in 2e4c030f8051
Collecting pandas
Downloading pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl (26.2MB)
Collecting numpy>=1.9.0 (from pandas)
Downloading numpy-1.14.1-cp36-cp36m-manylinux1_x86_64.whl (12.2MB)
Collecting pytz>=2011k (from pandas)
Downloading pytz-2018.3-py2.py3-none-any.whl (509kB)
Collecting python-dateutil>=2 (from pandas)
Downloading python_dateutil-2.6.1-py2.py3-none-any.whl (194kB)
Collecting six>=1.5 (from python-dateutil>=2->pandas)
Downloading six-1.11.0-py2.py3-none-any.whl
Installing collected packages: numpy, pytz, six, python-dateutil, pandas
Successfully installed numpy-1.14.1 pandas-0.22.0 python-dateutil-2.6.1 pytz-2018.3 six-1.11.0
Removing intermediate container 2e4c030f8051
---> a71e1c314897
Successfully built a71e1c314897
Successfully tagged debian-pandas:latest
docker build -t debian-pandas -f Dockerfile.debian . --no-cache 0.07s user 0.06s system 0% cpu 13.605 total
码头文件.阿尔卑斯山
FROM python:3.6.4-alpine3.7
RUN apk --update add --no-cache g++
RUN pip install pandas
用熊猫打造高山形象
[PandasDockerTest] time docker build -t alpine-pandas -f Dockerfile.alpine . --no-cache
Sending build context to Docker daemon 16.9kB
Step 1/3 : FROM python:3.6.4-alpine3.7
---> 4b00a94b6f26
Step 2/3 : RUN apk --update add --no-cache g++
---> Running in 4b0c32551e3f
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/x86_64/APKINDEX.tar.gz
(1/17) Upgrading musl (1.1.18-r2 -> 1.1.18-r3)
(2/17) Installing libgcc (6.4.0-r5)
(3/17) Installing libstdc++ (6.4.0-r5)
(4/17) Installing binutils-libs (2.28-r3)
(5/17) Installing binutils (2.28-r3)
(6/17) Installing gmp (6.1.2-r1)
(7/17) Installing isl (0.18-r0)
(8/17) Installing libgomp (6.4.0-r5)
(9/17) Installing libatomic (6.4.0-r5)
(10/17) Installing pkgconf (1.3.10-r0)
(11/17) Installing mpfr3 (3.1.5-r1)
(12/17) Installing mpc1 (1.0.3-r1)
(13/17) Installing gcc (6.4.0-r5)
(14/17) Installing musl-dev (1.1.18-r3)
(15/17) Installing libc-dev (0.7.1-r0)
(16/17) Installing g++ (6.4.0-r5)
(17/17) Upgrading musl-utils (1.1.18-r2 -> 1.1.18-r3)
Executing busybox-1.27.2-r7.trigger
OK: 184 MiB in 50 packages
Removing intermediate container 4b0c32551e3f
---> be26c3bf4e42
Step 3/3 : RUN pip install pandas
---> Running in 36f6024e5e2d
Collecting pandas
Downloading pandas-0.22.0.tar.gz (11.3MB)
Collecting python-dateutil>=2 (from pandas)
Downloading python_dateutil-2.6.1-py2.py3-none-any.whl (194kB)
Collecting pytz>=2011k (from pandas)
Downloading pytz-2018.3-py2.py3-none-any.whl (509kB)
Collecting numpy>=1.9.0 (from pandas)
Downloading numpy-1.14.1.zip (4.9MB)
Collecting six>=1.5 (from python-dateutil>=2->pandas)
Downloading six-1.11.0-py2.py3-none-any.whl
Building wheels for collected packages: pandas, numpy
Running setup.py bdist_wheel for pandas: started
Running setup.py bdist_wheel for pandas: still running...
Running setup.py bdist_wheel for pandas: still running...
Running setup.py bdist_wheel for pandas: still running...
Running setup.py bdist_wheel for pandas: still running...
Running setup.py bdist_wheel for pandas: still running...
Running setup.py bdist_wheel for pandas: still running...
Running setup.py bdist_wheel for pandas: finished with status 'done'
Stored in directory: /root/.cache/pip/wheels/e8/ed/46/0596b51014f3cc49259e52dff9824e1c6fe352048a2656fc92
Running setup.py bdist_wheel for numpy: started
Running setup.py bdist_wheel for numpy: still running...
Running setup.py bdist_wheel for numpy: still running...
Running setup.py bdist_wheel for numpy: still running...
Running setup.py bdist_wheel for numpy: finished with status 'done'
Stored in directory: /root/.cache/pip/wheels/9d/cd/e1/4d418b16ea662e512349ef193ed9d9ff473af715110798c984
Successfully built pandas numpy
Installing collected packages: six, python-dateutil, pytz, numpy, pandas
Successfully installed numpy-1.14.1 pandas-0.22.0 python-dateutil-2.6.1 pytz-2018.3 six-1.11.0
Removing intermediate container 36f6024e5e2d
---> a93c59e6a106
Successfully built a93c59e6a106
Successfully tagged alpine-pandas:latest
docker build -t alpine-pandas -f Dockerfile.alpine . --no-cache 0.54s user 0.33s system 0% cpu 16:08.47 total
共有3个答案
在这里，真正诚实的建议，切换到基于 Debian 的图像，然后你所有的问题都会消失。
python应用程序的Alpine不太好用。
下面是我的＜code＞dockerfile＜/code＞的示例：
FROM python:3.7.6-buster
RUN pip install pandas==1.0.0
RUN pip install sklearn
RUN pip install Django==3.0.2
RUN pip install cx_Oracle==7.3.0
RUN pip install excel
RUN pip install djangorestframework==3.11.0
在这种情况下，python：3.7.6-buster更合适，此外，您不需要操作系统中的任何额外依赖项。
关注有用的最新文章：https://pythonspeed.com/articles/alpine-docker-python/:
不要在Python图像中使用AlpineLinux。除非你想要更慢的构建时间、更大的图像、更多的工作以及潜在的模糊错误，否则你会想要避免将AlpineLinux作为基础图像。有关应该使用什么的一些建议，请参阅我关于选择一个好的基础图像的文章。
回答:截至2020年3月9日，对于PYTHON 3来说，还是没有！
下面是一个完整的工作多克文件：
FROM python:3.7-alpine
RUN echo "@testing http://dl-cdn.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories
RUN apk add --update --no-cache py3-numpy py3-pandas@testing
该版本对确切的python和高山版本号非常敏感 - 错误地获取这些似乎会引起Max Levy的错误so：libpython3.7m.so.1.0（缺少） - 但上述内容现在确实适用于我。
我的更新Dockerfile可在https://gist.github.com/jtlz2/b0f4bc07ce2ff04bc193337f2327c13b
[早期更新:]
答：没有！
在任何Alpine Dockerfile文件中，您都可以简单地执行*
RUN apk add py2-numpy@community py2-scipy@community py-pandas@edge
这是因为麻木，西比和现在的熊猫都可以在高山上预先建造：
https://pkgs.alpinelinux.org/packages?name=*numpy
名称=*scipy
https://pkgs.alpinelinux.org/packages?name=*pandas
避免每次重建或使用Docker层的一种方法是使用预构建的本机AlpineLinux/. apk包，例如。
https://github.com/sgerrand/alpine-pkg-py-pandas
https://github.com/nbgallery/apks
您可以构建这些<代码>。apk一次，并在您喜欢的docker文件中的任何地方使用它们:)
这也节省了您在事实发生之前将所有其他内容烘焙到Docker图像中的时间，即可以灵活地预构建您喜欢的任何Docker映像。
PS我在https://gist . github . com/jtlz 2/b 0 F4 BC 07 ce 2 ff 04 BC 193337 f 2327 c 13 b放了一个Dockerfile存根，大致展示了如何构建映像。这些包括重要的步骤(*):
RUN echo "@community http://dl-cdn.alpinelinux.org/alpine/edge/community" >> /etc/apk/repositories
RUN apk update
RUN apk add --update --no-cache libgfortran
基于 Debian 的映像仅使用 python pip 来安装 .whl 格式的软件包：
Downloading pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl (26.2MB)
Downloading numpy-1.14.1-cp36-cp36m-manylinux1_x86_64.whl (12.2MB)
WHL格式被开发为一种更快、更可靠的安装Python软件的方法，而不是每次都从源代码重新构建。WHL文件只需移动到要安装的目标系统上的正确位置，而源发行版需要在安装之前执行构建步骤。
基于阿尔卑斯平台的图像不支持轮子包熊猫和麻木。这就是为什么当我们在构建过程中使用python pip安装它们时，我们总是从alpine中的源文件编译它们：
Downloading pandas-0.22.0.tar.gz (11.3MB)
Downloading numpy-1.14.1.zip (4.9MB)
在图像构建过程中，我们可以看到以下容器内部：
/ # ps aux
PID USER TIME COMMAND
1 root 0:00 /bin/sh -c pip install pandas
7 root 0:04 {pip} /usr/local/bin/python /usr/local/bin/pip install pandas
21 root 0:07 /usr/local/bin/python -c import setuptools, tokenize;__file__='/tmp/pip-build-en29h0ak/pandas/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n
496 root 0:00 sh
660 root 0:00 /bin/sh -c gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -DTHREAD_STACK_SIZE=0x100000 -fPIC -Ibuild/src.linux-x86_64-3.6/numpy/core/src/pri
661 root 0:00 gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -DTHREAD_STACK_SIZE=0x100000 -fPIC -Ibuild/src.linux-x86_64-3.6/numpy/core/src/private -Inump
662 root 0:00 /usr/libexec/gcc/x86_64-alpine-linux-musl/6.4.0/cc1 -quiet -I build/src.linux-x86_64-3.6/numpy/core/src/private -I numpy/core/include -I build/src.linux-x86_64-3.6/numpy/core/includ
663 root 0:00 ps aux
如果我们稍微修改一下< code>Dockerfile:
FROM python:3.6.4-alpine3.7
RUN apk add --no-cache g++ wget
RUN wget https://pypi.python.org/packages/da/c6/0936bc5814b429fddb5d6252566fe73a3e40372e6ceaf87de3dec1326f28/pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
RUN pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
我们得到以下错误：
Step 4/4 : RUN pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
---> Running in 0faea63e2bda
pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl is not a supported wheel on this platform.
The command '/bin/sh -c pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl' returned a non-zero code: 1
不幸的是，在阿尔卑斯图像上安装熊猫的唯一方法是等到构建完成。
当然，如果您想在CI中使用带有< code>pandas的Alpine映像，最好的方法是编译它一次，将其推送到任何注册表中，并根据您的需要将其用作基础映像。
编辑：如果你想将阿尔卑斯山图片与＜code＞熊猫＜/code＞一起使用，你可以拉我的昵称/阿尔卑斯熊猫码头图片。这是一个在Alpine平台上预编译的＜code＞熊猫＜/code＞的python图像。这样可以节省你的时间。
-
如果需要更多的细节，请让我知道。
-
我使用javamail通过IMAP协议从exchage帐户读取邮件。这些邮件是纯格式的，内容是XML。 几乎所有这些邮件的大小都很短（通常小于100Kb）。然而，有时我不得不处理大型邮件（大约10Mb-15Mb）。例如，昨天我收到一封13Mb大小的电子邮件。仅仅读它就花了50多分钟。这正常吗？有没有办法提高它的性能？代码是： 花费如此长时间的方法是。我做错了什么？有什么提示吗？ 非常感谢，我的英语
-
问题内容： 我注意到，使用基本操作系统Alpine与CentOS或Debian在Docker容器中安装Pandas和Numpy（它的依赖项）需要花费更长的时间。我在下面创建了一个小测试来演示时差。除了Alpine用来更新和下载构建依赖项以安装Pandas和Numpy的几秒钟之外，为什么setup.py所需的时间比Debian的安装要多70倍？ 是否有任何方法可以使用Alpine作为基础映像来加快安
-
给出结果需要20多秒，而在mongo控制台中同样的查询需要不到一秒。 为什么会出现这种情况，如何减少速度差距？
-
我有以下PHP代码在Laravel正在执行一个MySql查询： 执行此查询需要很长时间。 我对所排序的列以及其他查询的许多列都有索引。 我该怎么办？ 更新： 执行的查询： 结果：
-
问题内容： 我在重新整理模型时遇到问题。我训练了模型并使用此代码保存了模型。我不太确定这是否是正确的方法，我将不胜感激。当我尝试还原模型时会发生问题。我只需要预测，就不会再接受过培训了。从模型中恢复参数需要花费很多时间。在我仅需要预测的前提下，如何改进模型保护程序或模型恢复程序以使其快速完成。 恢复： 编辑：也许使用Google Colab的GPU训练模型，然后将其还原到我的PC上这一事实很重要。