如何使用App Engine上的Google Client Library for Java创建Google云存储可恢复上传URL？

Question

我找到了下面的便条，它准确地描述了我想做的事情：

注意：如果您的用户只是将资源上载（写入）到访问控制的存储桶，您可以使用Google云存储的可恢复上传功能，并避免签署URL或要求Google帐户。在可恢复上传场景中，您的（服务器端）代码进行身份验证并启动上载到Google云存储，而无需实际上载任何数据。启动请求返回一个上传ID，然后可以在客户端请求中使用该ID来上传数据。客户端请求不需要签名，因为上传ID实际上充当身份验证令牌。如果选择此路径，请确保通过HTTPS传输上传ID。

https://cloud.google.com/storage/docs/access-control#Signed-网址

然而，我不知道如何使用Google Cloud Storage Library for Java实现这一点。

https://developers.google.com/resources/api-libraries/documentation/storage/v1/java/latest/

在这个API中，我找不到任何关于可恢复文件的引用，也找不到文件的URL。我该怎么做？

Answer 1

这需要一些挖掘，但我想出了以下正确的方法。一些关于如何做到这一点的官方文档会很好，尤其是因为实际触发可恢复上传的endpoint与文档中所说的不同。这里的内容来自于使用gsutil工具对请求进行签名，然后确定正在做什么。文档不足的另一件事是，发布到此URL以获取可恢复会话URL的代码必须包含“x-goog-resumable:start”头以触发上载。从那以后，一切都和执行可恢复上传到地面军事系统的文件一样。

import base64
import datetime
import time
import urllib

from google.appengine.api import app_identity

SIGNED_URL_EXPIRATION = datetime.timedelta(days=7)

def SignResumableUploadUrl(gcs_resource_path):
  """Generates a signed resumable upload URL.

  Note that documentation on this ability is sketchy. The canonical source
  is derived from running the gsutil program to generate a RESUMABLE URL
  with the "-m RESUMABLE" argument. Run "gsutil help signurl" for info and
  the following for an example:
    gsutil -m RESUMABLE -d 10m keyfile gs://bucket/file/name

  Note that this generates a URL different from the standard mechanism for
  deriving a resumable start URL and the initiator needs to add the header:
    x-goog-resumable:start

  Args:
    gcs_resource_path: The path of the GCS resource, including bucket name.

  Returns:
    A full signed URL.
  """
  method = "POST"
  expiration = datetime.datetime.utcnow() + SIGNED_URL_EXPIRATION
  expiration = int(time.mktime(expiration.timetuple()))
  signature_string = "\n".join([
      method,
      "",  # content md5
      "",  # content type
      str(expiration),
      "x-goog-resumable:start",
      gcs_resource_path
  ])
  _, signature_bytes = app_identity.sign_blob(signature_string)
  signature = base64.b64encode(signature_bytes)

  query_params = {
      "GoogleAccessId": app_identity.get_service_account_name(),
      "Expires": str(expiration),
      "Signature": signature,
  }

  return "{endpoint}{resource}?{querystring}".format(
      endpoint="https://storage.googleapis.com",
      resource=gcs_resource_path,
      querystring=urllib.urlencode(query_params))

Answer 2

你可以自己创建url。下面是一个例子：

OkHttpClient client = new OkHttpClient();
AppIdentityService appIdentityService = credential.getAppIdentityService();
Collection<String> scopes = credential.getScopes();
String accessToken = appIdentityService.getAccessToken(scopes).getAccessToken();
Request request = new Request.Builder()
        .url("https://www.googleapis.com/upload/storage/v1/b/" + bucket + "/o?name=" + fileName + "&uploadType=resumable")
        .post(RequestBody.create(MediaType.parse(mimeType), new byte[0]))
        .addHeader("X-Upload-Content-Type", mimeType)
        .addHeader("X-Upload-Content-Length", "" + length)
        .addHeader("Origin", "http://localhost:8080")
        .addHeader("Origin", "*")
        .addHeader("authorization", "Bearer "+accessToken)
        .build();
Response response = client.newCall(request).execute();
return response.header("location");

Answer 3

该库不会向调用方公开它创建的URL，这意味着您不能使用它来完成此任务。如果您想使用签名URL或您上面提到的技巧，您需要手动实现它。

如果可能的话，我建议使用签名网址解决方案，而不是服务器初始化可恢复上传的解决方案。它更灵活，更容易正确操作，后一种方法可能会遇到一些奇怪的边缘情况。

不久前，有人在另一个问题上写了一个从App Engine上签署URL的快速示例：App Engine上的云存储和安全下载策略。GCS acl或blobstore