phxqueue java_PhxQueue配置
简介
PhxQueue的配置分为两类：队列配置和服务器配置。队列配置控制队列的整体参数，需要在所有服务器上部署且保证内容一致，默认实现的队列配置采用json格式。服务器配置只在相应的模块机器上部署，控制当前服务器的特殊参数。
1. 队列配置
1.1 队列Global配置
队列Global配置设定队列的总体参数，文件路径为etc/globalconfig.conf。
topic_infos根配置项为Topic的数组。每个Topic有以下配置项：
配置项
说明
topic_id
Topic的全局唯一ID(不要求连续)
topic_name
Topic的名字
topic_config_path
队列Topic配置的路径
store_config_path
队列Store配置的路径
consumer_config_path
队列Consumer配置的路径
scheduler_config_path
队列Scheduler配置的路径
lock_config_path
队列Lock配置的路径
1.2 队列Topic配置
队列Topic配置设定一个Topic的具体参数，文件路径为etc/topicconfig.conf。
一个Topic有多个Publisher(发布者)和Subscriber(订阅者)。每个Publisher关联到多个Queue(类似于Kafka中的Partition)。
topic配置项
Topic设置，有以下子配置项：
配置项
说明
类型
topic_id
Topic的全局唯一ID(需与队列Global配置中指定的一致)
int32, 必须
handle_ids
Handler列表
int32, 必须
items_byte_size_limit
一次入队的尺寸上限
int32, 不建议修改
batch_limit
一次出队的尺寸上限
int32, 不建议修改
store_paxos_batch_count
Store的Batch入队个数上限
int32
store_paxos_batch_delay_time_ms
Store的Batch入队时间上限
int32
store_adjust_master_rate_time_interval_s
Store调整master权重时间间隔
int32
consumer_lock_lease_time_s
Consumer租约时长
int32, 不建议修改
scheduler_get_scale_interval_s
Scheduler负载均衡准备时间
int32, 不建议修改
scheduler_load_balance_interval_s
Scheduler负载均衡时间间隔
int32, 不建议修改
scheduler_lock_lease_time_s
Scheduler租约时长
int32, 不建议修改
lock_adjust_master_rate_time_interval_s
Lock调整master权重时间间隔
int32
queue_infos配置项
Queue组设置，有以下子配置项：
配置项
说明
类型
例子
queue_info_id
Queue组的唯一ID
int32, 必须
1
ranges
Queue组的范围列表
string, 必须
["0-4", "10-12"]
pubs配置项
Publisher设置，有以下子配置项：
配置项
说明
pub_id
Publisher的唯一ID
sub_ids
关联的Subscriber列表
queue_info_ids
Queue组的列表
subs配置项
Subscriber设置，有以下子配置项：
配置项
说明
sub_id
Subscriber的唯一ID
use_dynamic_scale
是否使用Scheduler进行负载均衡
skip_lock
是否跳过Lock抢锁机制
1.3 队列Store配置
文件路径为etc/storeconfig.conf。
stores根配置项为Store的数组，每个Store包含以下配置项：
配置项
说明
store_id
Store的唯一ID
addrs
各个节点地址的数组
scale
该Store的权重
pub_ids
关联的PublisherID
1.4 队列Consumer配置
文件路径为etc/consumerconfig.conf。
1.5 队列Scheduler配置
文件路径为etc/schedulerconfig.conf。
1.6 队列Lock配置
文件路径为etc/lockconfig.conf
locks根配置项为Lock的数组，每个Lock包含以下配置项：
配置项
说明
lock_id
Lock的唯一ID
addrs
各个节点地址的数组
scale
该Lock的权重
1.7 队列配置示例：多订阅
配置一个Topic，该Topic的ID为1000；单个Publisher，ID为1；多个Subscriber，ID为1和2。
修改etc/topicconfig.conf如下：
{
"topic":
{
"topic_id": "1000",
"handle_ids": ["1", "2"],
},
"queue_infos":
[
{
"queue_info_id": "1",
"ranges": ["0"]
}
],
"pubs":
[
{
"pub_id": "1",
"sub_ids": ["1", "2"],
"queue_info_ids": ["1"]
}
],
"subs":
[
{
"sub_id": "1",
"use_dynamic_scale": "0",
"skip_lock": "1"
},
{
"sub_id": "2",
"use_dynamic_scale": "0",
"skip_lock": "1"
}
]
}
修改etc/consumerconfig.conf，指派Consumer处理Subscriber1和Subscriber2。确保相应Consumer的sub_ids配置如下或者不配置sub_ids(不配置则默认处理所有Subscriber)：
{
"consumers":
[
{
...
"scale": "1000",
"sub_ids": [1, 2]
},
...
]
}
1.8 队列配置示例：多级重试
2. 服务器配置
2.1 服务器公共配置
配置节
说明
[Server]
服务器基本设置
[Log]
日志设置
[ServerTimeout]
服务器超时设置
2.2 Store服务器配置
文件路径为etc/store_server.0.conf，配置中的数字替换为相应服务器节点的编号。
Store模块独有设置在[Store]节中：
配置项
说明
类型
Topic
所属Topic
string
DataDirPath
数据目录路径
string
PhxQueueGlobalConfigPath
全局配置路径
string
PaxosPort
Paxos端口
int32
NPaxosIOThread
Paxos IO线程数
int32
2.3 Consumer服务器配置
文件路径为etc/consumer_server.0.conf，配置中的数字替换为相应服务器节点的编号。
2.4 Scheduler服务器配置
文件路径为etc/scheduler_server.0.conf，配置中的数字替换为相应服务器节点的编号。
Scheduler模块独有设置在[Scheduler]节中：
配置项
说明
类型
Topic
所属Topic
string
PhxQueueGlobalConfigPath
全局配置路径
string
2.5 Lock服务器配置
文件路径为etc/lock_server.0.conf，配置中的数字替换为相应服务器节点的编号。
Lock模块独有设置在[Lock]节中：
配置项
说明
类型
Topic
所属Topic
string
DataDirPath
数据目录路径
string
PhxQueueGlobalConfigPath
全局配置路径
string
PaxosPort
Paxos端口
int32