Heroku Puma Sidekiq在3个web dynos上运行的Critical r14内存配额超过167%，只有一个访问者

Question

我正在Heroku上运行Puma 3.4、Rails 4.2.6、Sidekiq 4.2.2、Redis Mini和3个dynos（标准1x）。我正在做简单的Beta测试，我似乎无法优化我的puma dyno情况。当一个用户在站点上时，我会收到高响应时间警报和关键内存配额警报（我使用New Relic进行监视）。

我添加了彪马工人杀手来试图诊断这个，但没有帮助。

我使用环境变量（max_线程、并发性等）设置了所有内容，并在互联网上搜索如何配置。

我正在database.yml、sidekiq.rb、puma.rb、puma_worker_killer.rb和sidekiq.yml中设置选项，因此我可能在太多的地方设置了内容。

因为我为一个用户运行了3个标准1x网络动态，所以我知道出了问题。

配置/puma.rb

before_fork do
  require 'puma_worker_killer'
  ActiveRecord::Base.connection_pool.disconnect!

  PumaWorkerKiller.config do |config|
    config.ram           =  ENV['PUMA_WORKER_KILLER_RAM'] || 1024 # mb
    config.frequency     = 5    # seconds
    config.percent_usage = 0.98
    config.rolling_restart_frequency = 12 * 3600 # 12 hours in seconds
  end

  PumaWorkerKiller.start
end

workers Integer(ENV['WEB_CONCURRENCY'] || 5)

min_threads_count = Integer(ENV['MIN_THREADS'] || 1)

threads_count = Integer(ENV['RAILS_MAX_THREADS'] || 5)

threads min_threads_count, threads_count

preload_app!

rackup      DefaultRackup
port        ENV['PORT']     || 5000
environment ENV['RACK_ENV'] || 'development'

on_worker_boot do


  ActiveSupport.on_load(:active_record) do
    ActiveRecord::Base.establish_connection
  end
end

配置/初始化器/sidekiq.rb

require 'sidekiq'

redis_url = ENV['REDISTOGO_URL']

redis_config = {
  url: redis_url,
  namespace: 'oct',
}

Sidekiq.configure_server do |config|
  config.redis = { url:  ENV["REDISTOGO_URL"], namespace: 'oct', size:  ENV["SIDEKIQ_SERVER_CONNECTIONS"].to_i || 6}

  config.error_handlers << Proc.new do |exception, context_hash|
    SidekiqErrorService.new(exception, context_hash).notify
  end
end

Sidekiq.configure_client do |config|
  config.redis = { url:  ENV["REDISTOGO_URL"], namespace: 'oct', size:  ENV["REDIS_CLIENT_CONNECTION_SIZE"].to_i || 2}
end

config/sidekiq.yml

:verbose: false

:concurrency: <%= ENV["WEB_CONCURRENCY"] %>

production:
  :timeout: <%= ENV["SIDEKIQ_TIMEOUT"] %> 
development:
  :timeout: 30

:queues:
  - [highest, 2]
  - medium
  - lowest
  - mailers

配置/初始化器/puma_worker_killer.rb

PumaWorkerKiller.enable_rolling_restart

config/database.yml

default: &default
  adapter: postgresql
  encoding: unicode
  pool: <%= ENV["DB_POOL"] || ENV['RAILS_MAX_THREADS'] || 5 %>

development:
  <<: *default
  database: myapp_development
  username: myapp
  password: myapp
  host: localhost
  port: 5432
test:
  <<: *default
  database: myapp_test
  username: myapp
  password: myapp
  host: localhost
  port: 5432

我的当前环境设置

内存125-167%（在web动态对象上，而不是工作动态对象上）

WEB_CONCURRENCY:  4
DB_POOL: 15
SIDEKIQ_SERVER_CONNECTIONS: 25
MIN_THREADS: 1
RAILS_MAX_THREADS: 5
REDIS_CLIENT_CONNECTION_SIZE: 1
SIDEKIQ_TIMEOUT: 30
DATABASE_REAP_FREQ: 5
PUMA_WORKER_KILLER_RAM: 1535

我也试着使用这个助手http://manuelvanrijn.nl/sidekiq-heroku-redis-calc/

但更糟糕的是，300%的内存使用率

WEB_CONCURRENCY:  45
DB_POOL: 15
SIDEKIQ_SERVER_CONNECTIONS: 47
MIN_THREADS: 1
RAILS_MAX_THREADS: 5
REDIS_CLIENT_CONNECTION_SIZE: 1
SIDEKIQ_TIMEOUT: 30
DATABASE_REAP_FREQ: 5
PUMA_WORKER_KILLER_RAM: 1535

Answer 1

对于Rails 4，即使在4级，也有太多的puma工作人员（对于该层来说，45是不可能的高）。标准1x dynos具有512MB。尝试将WEB\u并发性降低到2，我怀疑您将看到足够大的内存消耗减少，以防止R14s。

如果在将WEB\u并发性切换到2之后仍然有问题，则需要进行一些内存优化，或者将其降到1。