利用并发对函数进行向量化

Question

对于简单的神经网络，我想将一个函数应用于gonum的所有值VecDense。

Gonum有一个Apply用于密集矩阵的方法，但没有用于向量的方法，因此我是手工完成的：

func sigmoid(z float64) float64 {                                           
    return 1.0 / (1.0 + math.Exp(-z))
}

func vSigmoid(zs *mat.VecDense) {
    for i := 0; i < zs.Len(); i++ {
        zs.SetVec(i, sigmoid(zs.AtVec(i)))
    }
}

这似乎是并发执行的明显目标，所以我尝试了

var wg sync.WaitGroup

func sigmoid(z float64) float64 {                                           
    wg.Done()
    return 1.0 / (1.0 + math.Exp(-z))
}

func vSigmoid(zs *mat.VecDense) {
    for i := 0; i < zs.Len(); i++ {
        wg.Add(1)
        go zs.SetVec(i, sigmoid(zs.AtVec(i)))
    }
    wg.Wait()
}

这不起作用，也许不是意外的，因为Sigmoid()它没有以结尾wg.Done()，因为return语句（完成所有工作）紧随其后。

我的问题是：如何使用并发将函数应用于gonum向量的每个元素？

Answer 1

首先请注意，这种并发计算的尝试假定SetVec()and
AtVec()方法对于与不同索引并发使用是安全的。如果不是这种情况，则尝试的解决方案本质上是不安全的，并可能导致数据争用和不确定的行为。

wg.Done()应该被调用以表明“工人” goroutine已完成其工作。但是 只有 在goroutine完成工作 时才 可以。

在您的情况下，不是（仅）sigmoid()在工作程序goroutine中运行的功能，而是zs.SetVec()。因此，您应该wg.Done()在zs.SetVec()退货后立即致电。

一种方法是wg.Done()在SetVec()方法的末尾添加a （也可以defer wg.Done()在其开始处添加a
），但是引入这种依赖关系是不可行的（SetVec()不应该知道任何等待组和goroutine，这会严重限制其可用性）。

在这种情况下，最简单，最干净的方法是启动一个匿名函数（函数文字）作为工作程序goroutine，您可以在其中调用zs.SetVec()，并且在wg.Defer()上述函数返回后可以在其中调用。

像这样：

for i := 0; i < zs.Len(); i++ {
    wg.Add(1)
    go func() {
        zs.SetVec(i, sigmoid(zs.AtVec(i)))
        wg.Done()
    }()
}
wg.Wait()

但仅有这 将不 工作，作为函数字面（关闭）指的是同时修改，因此该功能的文字应该有自己的副本，比如工作循环变量：

for i := 0; i < zs.Len(); i++ {
    wg.Add(1)
    go func(i int) {
        zs.SetVec(i, sigmoid(zs.AtVec(i)))
        wg.Done()
    }(i)
}
wg.Wait()

还要注意，goroutines（尽管可能是轻量级的）确实有开销。如果他们所做的工作“很小”，那么开销可能会超过利用多个内核/线程的性能收益，并且总体而言，您可能无法通过同时执行此类小任务来获得性能（地狱，甚至比不使用goroutines做得更糟）
。测量。

另外，您正在使用goroutine来完成最少的工作，可以通过在完成它们的“微小”工作后不“扔掉”
goroutine来提高性能，但是您可以“重用”它们。