向Shopify导入24000个单一变体产品的快速方式

Question

我想每天晚上04:00向Shopify导入约24000（单一变体）产品。

默认管理的问题

Shopify API的API调用限制为每秒2个调用，一次可以突发40个调用。您可以在此处阅读有关API调用限制的更多信息。我不理解“一次可以接到40个电话”的部分。

Shopify的一位员工告诉我有关通过API导入产品的以下内容：

如果要创建包含变体信息的产品创建API请求（假设每个产品有3个变体），并使用默认的API限制（每秒刷新2个请求，或同时刷新2个请求），则可能在大约67分钟内完成所有这些产品的创建。

我编写了以下Ruby脚本来将所有产品导入Shopify：

require 'shopify_api'
require 'open-uri'
require 'json'

begin_time = Time.now

shop_url  = "https://<API_KEY>:<PASSWORD>@<SHOPNAME>.myshopify.com/admin"

ShopifyAPI::Base.site = shop_url

raw_product_data = JSON.parse(open('<LINK>') {|f| f.read }.force_encoding('UTF-8'))
raw_product_data_size = raw_product_data.size

puts '========================================================================='
puts "#{raw_product_data_size} products loaded. Starting import now..."
puts '-------------------------------------------------------------------------'

raw_product_data.each_with_index do |item, index|
  single_product_begin_time = Time.now

  # Store item data in variables
  <DATA>

  # Create new product
  new_product = ShopifyAPI::Product.new
  new_product.title = title
  new_product.body_html = body
  new_product.product_type = type
  new_product.vendor = vendor
  new_product.tags = tags

  new_product.variants = [
    {
      "option_1" => "First",
      "price" => variant_price,
      "sku" => variant_sku
    }
  ]

  new_product.images = [
    {
      src: image_src
    }
  ]

  new_product.save

  creation_time = Time.now - single_product_begin_time

  puts "#{((index / raw_product_data_size.to_f) * 100).round(2)}% - #{index} - #{variant_sku} added in #{creation_time.round(2)} seconds"
end

puts '-------------------------------------------------------------------------'
puts "Done. It took #{begin_time - Time.now} minutes."
puts '========================================================================='

但我没有接近67分钟。

目前添加一个产品大约需要3秒钟。按照这个速度，添加24000个产品需要20个小时。这是不可接受的。2小时以下的一切都是可以接受的。

我可以尝试什么来加快速度？

Answer 1

这里的另一个选择是避免限制请求，直到您开始遇到shopify的速率限制错误。这可以确保您利用突发限制，并且仅在Shopify API限制您的速率时暂停。

我写了一个gem来处理检测429错误（和其他网络错误）并根据指数退避计划自动重试。

https://github.com/iloveitaly/shopify_api_extensions/

我相信Shopify也可以选择提高您的费率限制。联系他们的支持人员，看看他们是否可以提高您的帐户限制。

Answer 2

简短而甜蜜的回答，使用多线程。

由于单个产品的导入需要大约3秒，我的解决方案是让5个工作人员（线程）运行产品导入并检查429个错误。如果他们遇到429，他们会暂停10秒，然后重试。目前导入约26000个产品需要大约3,6小时。