python输出数据文件的GCP云函数

Question

我对GCP非常陌生，不确定云功能是否是解决这个问题的方法。

1. 我有一个python脚本，它使用weeepy调用twitter api，并生成一个csv文件，其中包含该特定用户名的tweets列表。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import tweepy
import datetime
import csv

def fetchTweets(username):
  # credentials from https://apps.twitter.com/
  consumerKey = "" # hidden for security reasons
  consumerSecret = "" # hidden for security reasons
  accessToken = "" # hidden for security reasons
  accessTokenSecret = "" # hidden for security reasons

  auth = tweepy.OAuthHandler(consumerKey, consumerSecret)
  auth.set_access_token(accessToken, accessTokenSecret)

  api = tweepy.API(auth)

  startDate = datetime.datetime(2019, 1, 1, 0, 0, 0)
  endDate =   datetime.datetime.now()
  print (endDate)

  tweets = []
  tmpTweets = api.user_timeline(username)

  for tweet in tmpTweets:
      if tweet.created_at < endDate and tweet.created_at > startDate:
          tweets.append(tweet)

  lastid = ""
  while (tmpTweets[-1].created_at > startDate and tmpTweets[-1].id != lastid):
      print("Last Tweet @", tmpTweets[-1].created_at, " - fetching some more")
      lastid = tmpTweets[-1].id
      tmpTweets = api.user_timeline(username, max_id = tmpTweets[-1].id)
      for tweet in tmpTweets:
          if tweet.created_at < endDate and tweet.created_at > startDate:
              tweets.append(tweet)

  # # for CSV

  #transform the tweepy tweets into a 2D array that will populate the csv   
  outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8")] for tweet in tweets]

  #write the csv    
  with open('%s_tweets.csv' % username, 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(["id","created","text"])
    writer.writerows(outtweets)
  pass

  f = open('%s_tweets.csv' % username, "r")
  contents = f.read()
  return contents

fetchTweets('usernameofusertoretrieve') # this will be set manually in production

因此，我的问题是：

A. GCP云功能是这项工作的正确工具吗？或者这需要更广泛的东西，因此需要一个GCP VM实例？

B.代码中需要更改什么才能在GCP上运行？

如有任何关于方向的帮助/建议，也将不胜感激。

Answer 1

如果没有更多细节，你的问题很难回答。但是，我将尝试提供一些见解

GCP Cloud功能是否是作业的正确工具？或者这需要更广泛的东西，因此需要GCP VM实例？

视情况而定。使用1个CPU时，您的处理持续时间是否少于9分钟？您的进程占用的内存是否少于2Gb（应用程序内存占用文件大小tweetsarray size）？

为什么文件大小如此之大？因为只有/tmp目录是可写的，并且它是内存中的文件系统。

如果你需要长达15分钟的超时，你可以看看云运行，非常类似于云功能，我个人更喜欢。在CPU和内存的限制是相同的Cloud Function和Cloud Run（但它应该在2020年改变更多的CPU和内存）

要使代码在GCP上运行，需要对代码进行哪些更改？

从写入和读取/tmp目录开始。最后，如果您想让您的文件整天都可用，请将其存储在云存储中(https://cloud.google.com/storage/docs)并在函数的开头检索它。如果不存在，则为当天生成，否则获取现有的。

然后，将函数def finchTweets（用户名）：的签名替换为def finchTweets（请求）：，并在请求参数中获取用户名

最终，如果您希望每天生成一代，请设置一个云调度器。

你没说安全。我建议你在私有模式下部署你的函数

所以，在这个答案中有很多GCP无服务器的概念，我不知道你对GCP的了解。如果你想要某些零件的精度，请不要犹豫！