Google应用程序引擎和Google工作表超出软内存限制

Question

我正在编写一个简单的服务，从多个来源获取数据，将其存储在一起，然后使用GoogleAPI客户端将其发送到GoogleSheet。Easy peasy很好用，数据没有那么大。

问题是，在构建api服务（即build（'床单'，'v4'，超文本传输协议=auth）后调用. spread表（）会导致大约30兆字节的内存跳跃（我做了一些分析来分离内存在哪里正在分配）。当部署到GAE时，这些尖峰会持续很长一段时间（有时一次持续几个小时），向上蔓延，并在几次请求后触发GAE的“超过软私有内存限制”错误。

我使用memcache来获取发现文档，使用urlfetch来获取数据，但这是我唯一使用的其他服务。

我尝试过手动垃圾收集，在应用程序中更改threadsafe。yaml，甚至像改变点这样的事情。电子表格（）被调用，无法解决此问题。也有可能我只是对GAE的架构有一些误解，但我知道这个峰值是由调用GAE引起的。电子表格（），我没有在本地缓存中存储任何内容。

有没有一种方法可以1）减少调用内存峰值的大小。电子表格（）或2）防止峰值停留在内存中（或者最好两者都做）。下面是一个非常简单的要点，让我们了解API调用和请求处理程序，如果需要，我可以提供更完整的代码。我知道以前也有人问过类似的问题，但我无法解决。

https://gist.github.com/chill17/18f1caa897e6a20201232165aca05239




Answer 1

我在一个只有20MB可用RAM的小型处理器上使用电子表格API时遇到了这个问题。问题是GoogleAPI客户端以字符串格式拉入整个API，并将其作为资源对象存储在内存中。

如果存在空闲内存问题，您应该构建自己的超文本传输协议对象，并手动发出所需的请求。请参阅我的电子表格（）类，作为如何使用此方法创建新电子表格的示例。

SCOPES = 'https://www.googleapis.com/auth/spreadsheets'
CLIENT_SECRET_FILE = 'client_secret.json'
APPLICATION_NAME = 'Google Sheets API Python Quickstart'

class Spreadsheet:

    def __init__(self, title):

        #Get credentials from locally stored JSON file
        #If file does not exist, create it
        self.credentials = self.getCredentials()

        #HTTP service that will be used to push/pull data

        self.service = httplib2.Http()
        self.service = self.credentials.authorize(self.service)
        self.headers = {'content-type': 'application/json', 'accept-encoding': 'gzip, deflate', 'accept': 'application/json', 'user-agent': 'google-api-python-client/1.6.2 (gzip)'}        


        print("CREDENTIALS: "+str(self.credentials))


        self.baseUrl = "https://sheets.googleapis.com/v4/spreadsheets"
        self.spreadsheetInfo = self.create(title)   
        self.spreadsheetId = self.spreadsheetInfo['spreadsheetId']    



    def getCredentials(self):
        """Gets valid user credentials from storage.

        If nothing has been stored, or if the stored credentials are invalid,
        the OAuth2 flow is completed to obtain the new credentials.

        Returns:
            Credentials, the obtained credential.
        """
        home_dir = os.path.expanduser('~')
        credential_dir = os.path.join(home_dir, '.credentials')
        if not os.path.exists(credential_dir):
            os.makedirs(credential_dir)
        credential_path = os.path.join(credential_dir,
                                       'sheets.googleapis.com-python-quickstart.json')

        store = Storage(credential_path)
        credentials = store.get()
        if not credentials or credentials.invalid:
            flow = client.flow_from_clientsecrets(CLIENT_SECRET_FILE, SCOPES)
            flow.user_agent = APPLICATION_NAME
            if flags:
                credentials = tools.run_flow(flow, store, flags)
            else: # Needed only for compatibility with Python 2.6
                credentials = tools.run(flow, store)
            print('Storing credentials to ' + credential_path)
        return credentials

    def create(self, title):

        #Only put title in request body... We don't need anything else for now
        requestBody = {
            "properties":{
                "title":title
            },
        }


        print("BODY: "+str(requestBody))
        url = self.baseUrl

        response, content = self.service.request(url, 
                                        method="POST", 
                                        headers=self.headers,
                                        body=str(requestBody))
        print("\n\nRESPONSE\n"+str(response))
        print("\n\nCONTENT\n"+str(content))

        return json.loads(content)