如何在Golang中为http.get（）请求设置超时？

Question

我正在制作一个URL提取器，并有一个要提取的URL列表。我向每个URL发送http.get()请求并获取它们的响应。

resp,fetch_err := http.Get(url)

如何为每个Get请求设置自定义超时？（默认时间很长，这使得我的取数器非常慢。）我希望我的提取器有一个大约40-45秒的超时，之后它应该返回“Request timed Out”并移动到下一个URL。

我怎样才能做到这一点呢？

Answer 1

您需要使用自己的传输来设置自己的客户端，该传输使用包含DialTimeout的自定义拨号功能。

类似于（完全未经检验的）这样的东西：

var timeout = time.Duration(2 * time.Second)

func dialTimeout(network, addr string) (net.Conn, error) {
    return net.DialTimeout(network, addr, timeout)
}

func main() {
    transport := http.Transport{
        Dial: dialTimeout,
    }

    client := http.Client{
        Transport: &transport,
    }

    resp, err := client.Get("http://some.url")
}

Answer 2

显然在Go1.3中HTTP.Client有超时字段

client := http.Client{
    Timeout: 5 * time.Second,
}
client.Get(url)

这对我来说已经成功了。