当前位置: 首页 > 工具软件 > Kornia > 使用案例 >

Kornia(基于 PyTorch 的可微分的计算机视觉库)

吕晟睿
2023-12-01

项目链接:https://github.com/kornia/kornia
官方文档:https://kornia.readthedocs.io/en/latest/index.html
Opencv文档:https://opencv.org/kornia-an-open-source-differentiable-computer-vision-library-for-pytorch/
论文链接:https://arxiv.org/pdf/2009.10521.pdf

无论在深度学习还是传统的视觉处理方案中,最常用图像处理库就是 OpenCV 和 PIL 了。然而,因为 OpenCV 和 PIL 都是不可微的,所以这些处理都只可以作为图像的预处理而无法通过观察梯度的变化来对这些算子进行优化 (gradient-based optimization)。因此,Kornia 便应运而生。

由于 Kornia 是基于 PyTorch 开发而来的,那么数据增广便自然而然地整合进了 PyTorch 的网络中,就像使用卷积层,池化层一样。相似的,我们可以任意定义、保存、载入 Kornia 增广模块,并在任意设备(CPU/GPU/TPU)上运算。尤其在训练中,如果你的 CPU 已经开始超负荷运行了,那么 Kornia 将会更大地提升你的训练速度与 GPU 利用率。

 类似资料: