CPLEX中的Python稀疏矩阵？

Question

我正在研究一个大的二次规划问题。我希望使用Python API将定义目标函数的Q矩阵输入到IBM的Cplex中。由于Q矩阵是稀疏的，所以用scipy lil矩阵构造Q矩阵。理想情况下，我希望将矩阵传递到CPLEX上。Cplex是否接受scipy lil矩阵？

我可以将Q转换为Cplex接受的列表的格式，让我们称之为QMAT。但是qMat的大小变得太大，机器耗尽了内存（即使有120个Gig）。

下面是我正在进行的工作代码。在实际问题中，n大约是50万，m大约是500万。在实际问题中，Q是给定的，而不是像下面的问题那样随机分配的。

from __future__ import division
import numpy as np
import cplex
import sys
import random
from scipy import sparse

n = 10
m = 5

def create():
    Q = sparse.lil_matrix((n, n))
    nums = random.sample(range(0, n), m)
    for i in nums:
        for j in nums:
            a = random.uniform(0,1)
            Q[i,j] = a
            Q[j,i] = a
    return Q

def convert(Q):
    qMat = [[[], []] for _ in range(n)]
    for k in xrange(n-1):
        qMat[k][0] = Q.rows[k]
        qMat[k][1] = Q.data[k]
    return qMat

Q = create()
qMat = convert(Q)
my_prob = cplex.Cplex()
my_prob.objective.set_quadratic(qMat)

Answer 1

如果n=500000和m=5000000，则为2.5e12非零。对于其中的每一个，您需要大约一个double来表示非零值，以及一个cpxdim来表示索引。即8+4=12个非零字节。这将给出：

>>> print(2.5e12 * 12 / 1024. / 1024. / 1024.)
27939.6772385

大约28TB内存！不清楚你计划有多少个非零，但使用这个计算，你可以很容易地发现是否可以做你要求的事情。

正如注释中提到的，CPLEX Python API不接受scipy lil矩阵。您可以尝试docplex，它是numpy友好的，或者您甚至可以尝试直接生成一个LP文件。

在减少转换开销方面，使用以下方法可能是您的最佳选择（我想我在上面的注释部分犯了一个一对一的错误）：

my_prob.objective.set_quadratic(list(zip(Q.rows, Q.data)))

或

my_prob.objective.set_quadratic([[row, data] for row, data in zip(Q.rows, Q.data)]))

无论如何，您应该使用这些工具，看看什么能提供最好的性能（在速度和内存方面）。