如何在NodeJs中为google索引批处理请求发送多部分/混合请求？

Question

我正在使用Nodejs连接GoogleApis v35。0.0告诉Google更新或删除Google索引中的页面。当我通过Google索引批处理请求发送请求时，我陷入了多部分/混合请求，多部分的主体。

通过遵循索引API文档，我可以向Google发送一个单独的页面更新请求。但是由于谷歌每天最多有200个请求，所以我需要更新更多的URL。所以，我尝试使用谷歌索引批量请求，它最多可以对100个单独的请求进行分组，并计算为1个请求。

当我试图批量发送请求时，我对多部分主体的正确格式有问题。我使用的是Google Apis的JWT（JSON Web Token），它从oAuth2扩展来验证我的帐户，并使用请求库v2.88.0将请求发送到Google。

由于请求库已经处理了多部分边界，所以我不将其作为请求选项信息之一发送。我还检查了请求npm库的multipart/mixed中的信息，但我只发现了一个类似但不相同的信息，即multipart/related(https://github.com/request/request#multipartrelated).

根据Google的批量请求正文示例，我需要在主请求中使用multipart/mixed作为内容类型：

POST /batch HTTP/1.1
Host: indexing.googleapis.com
Content-Length: content_length
Content-Type: multipart/mixed; boundary="===============7330845974216740156=="
Authorization: Bearer oauth2_token

--===============7330845974216740156==
Content-Type: application/http
Content-Transfer-Encoding: binary
Content-ID: <b29c5de2-0db4-490b-b421-6a51b598bd22+2>

POST /v3/urlNotifications:publish [1]
Content-Type: application/json
accept: application/json
content-length: 58

{ "url": "http://example.com/jobs/42", "type": "URL_UPDATED" }

这是我的代码：

    return jwtClient.authorize(function(err, tokens) {
      if (err) {
        console.log(err);
        return;
      }

      let options = {
        url: 'https://indexing.googleapis.com/batch',
        method: 'POST',
        headers: {
          'Content-Type': 'multipart/mixed'
        },
        auth: { 'bearer': tokens.access_token },
        multipart: [
          {
            body: JSON.stringify({
              headers: {
                'Content-Type': 'application/http'
              },
              method: 'POST',
              url: 'https://indexing.googleapis.com/v3/urlNotifications:publish',
              body: {
                'Content-Type': 'application/json',
                url: 'https://www.test.com/es/1234',
                type: 'URL_UPDATED'
              }
            })
          }
        ]
      };

      request(options, function (error, response, body) {
        console.log(body);
      });

    });

我得到了错误的身体的多部分，我不知道哪种身体谷歌索引批处理请求正在等待。看起来像是多部分身体内部的一切都被认为是头部。但是根据批处理请求的留档格式，它说“每个部分都以其自己的内容类型：应用程序/超文本传输协议HTTP标头开始。每个部分的正文本身就是一个完整的HTTP请求，有自己的动词、URL、标题和正文”。有关更多详细信息，请查看：https://cloud.google.com/storage/docs/json_api/v1/how-tos/batch.

但是，我在执行代码时遇到以下错误：

{
  "error": {
    "code": 400,
    "message": "Failed to parse batch request, error: Failed in parsing HTTP headers: {\"Content-Type\":\"application/http\",\"method\":\"POST\",\"url\":\"https://indexing.googleapis.com/v3/urlNotifications:publish\",\"body\":{\"Content-Type\":\"application/json\",\"url\":\"https://www.test.com/es/1234\",\"type\":\"URL_UPDATED\"}}\n. Received batch body: ",
    "status": "INVALID_ARGUMENT"
  }
}

有人知道当它请求google索引批处理请求时，multipart中的body的正确格式是什么吗？

提前谢谢！

Answer 1

正如@DalmTo所说，配额仍然适用，即使是批量请求。但是，您也没有正确地构造有效负载，下面的示例起作用。

const items = batch
  .filter(x => x)
  .map(line => {
    return {
      'Content-Type': 'application/http',
      'Content-ID': batchId,
      body:
        'POST /v3/urlNotifications:publish HTTP/1.1\n' +
        'Content-Type: application/json\n\n' +
        JSON.stringify({
          url: line,
          type: 'URL_UPDATED',
        }),
    };
  });
const options = {
  url: 'https://indexing.googleapis.com/batch',
  method: 'POST',
  headers: {
    'Content-Type': 'multipart/mixed',
  },
  auth: { bearer: access_token },
  multipart: items,
};
request(options, (err, resp, body) => {
  //...
});

Answer 2

批处理无助于避免配额限制

通过遵循索引API文档，我可以向Google发送一个单独的页面更新请求。但是由于谷歌每天最多有200个请求，所以我需要更新更多的URL。所以，我尝试使用谷歌索引批量请求，它最多可以对100个单独的请求进行分组，并计算为1个请求。

批处理中没有任何内容表明它只算作你配额中的一个。

虽然批处理可以节省构建多个HTTP请求的开销，但批处理请求中的每个Google API请求都将计入每日项目配额。默认情况下，一个项目每天最多可以提交200个请求；批处理不会帮助您保持低于此配额。

申请更高的配额

你考虑过申请更高的配额吗？我知道回复可能需要时间，但你可能只是想等着看他们怎么说。

注意GoogleAPIsNodeJS客户端

该库不支持批处理，因此您必须自己进行批处理，因为您目前是#1130

你的实际问题

让我知道，如果你想继续尝试得到批处理工作。我看看能不能帮上忙。带手动版本。