当前位置: 首页 > 工具软件 > FATE > 使用案例 >

联邦学习框架FATE实践(训练/测试步骤及参数说明)

苏伟志
2023-12-01

一、FATE概念

1. 角色

在Fate的概念中分成3种角色,Guest、Host、Arbiter
(1)Guest表示数据应用方,在纵向算法中,Guest往往是有标签y的一方。一般是由Guest发起建模流程。
(2)Host是数据提供方
(3)arbiter是用来辅助多方完成联合建模的,主要的作用是用来聚合梯度或者模型,比如纵向lr里面,各方将自己一半的梯度发送给arbiter,然后arbiter再联合优化等等,arbiter还参与以及分发公私钥,进行加解密服务等等。

二、训练

1. 准备

在FATE中构建算法模型,需要准备三个配置文件。
(1)上传数据配置文件:用于上传数据
(2)DSL配置文件:用于定义建模任务
(3)运行配置文件:用于设置每个组件的参数

2. 定义上传数据配置文件

(1)参数说明:

file: 文件路径
head: 指定数据文件是否包含表头
partition: 指定用于存储数据的分区数
work_mode: 指定工作模式,0代表单机版,1代表集群版
table_name&namespace: 存储数据表的标识符号

(2)示例

{
  "file": "examples/data/breast_b.csv",
  "head": 1,
  "partition": 10,
  "work_mode": 0,
  "table_name": "hetero_breast_b",
  "namespace": "hetero_guest_breast"
}

3. 定义DSL 配置文件

(1)概念

FATE 使用特定语言 DSL 来描述任务,各种模块可通过一个有向无环图组织起来。DSL 配置文件采用 json 格式,整个配置文件就是一个 json 对象 (dict)。在这个 dict 的第一级是 “components”,表示这个任务将会使用到的各个模块,每个独立的模块定义在 “components” 之下。

(2)参数说明

module_name:模块的键。用户需要使用模块名加数字 _num 作为对应模块的 key,例如 dataio_0,并且数字应从 0 开始计数。这用于区分可能存在的多个相同种类的模块。
module:用来指定使用的模块。这个参数的内容需要和 federatedml/conf/setting_conf 下各个模块的文件名保持一致。模块名链接
input:输入。分为两种输入类型,分别是 data 和 model。
output:输出。和 input 一样,有 data 和 model 两种类型。
need_deploy:是或否。该字段用于指定组件是否需要部署以进行在线推断。该字段仅用于在线推论dsl推论。

(3)示例

{
  "components" : {
          "dataio_0": {
                "module": "DataIO",
                "input": {
                    "data": {
                        "data": [
                            "args.train_data"
                        ]
                    }
                },
                "output": {
                    "data": ["train"],
                    "model": ["dataio"]
                },
                "need_deploy": true
            }
      }
  }

4.定义运行配置文件

(1)概念

每个模块都有不同的参数需要配置,不同的 party 对于同一个模块的参数也可能有所区别。为了简化这种情况,对于每一个模块,FATE 会将所有 party 的不同参数保存到同一个运行配置文件(Submit Runtime Conf)中,并且所有的 party 都将共用这个配置文件。

(2)参数说明

initiator:指定启动器的角色和参与方ID。
job_parameters:设置work_mode 和processor_per_node。
role:指示所有角色的所有参与方ID。每个角色的 party_id 以列表形式存在,因为一个任务可能涉及到多个 party 担任同一种角色。
role_parameters:指定角色的参数,这一部分的参数对于不同的 party 都有所区别。数据需要匹配上传数据配置文件。
algorithm_parameters:指定所有 party 都共享的参数,每一个参数的 key 都是在 DSL 配置文件中定义好的模块名。
在完成这些配置文件并提交任务之后,fate-flow 将会把 role_parameters 和 algorithm_parameters 中的所有参数合并。如果合并之后,仍然存在没有定义的参数,fate-flow 则会使用默认值。fate-flow 会将这些参数分发到对应的 party,并开始联邦建模任务。

(3)示例

{
    "initiator": {
        "role": "guest",
        "party_id": 10000
    },
    "job_parameters": {
        "work_mode": 1
        "processor_per_node": 6
    },
    "role": {
        "guest": [
            10000
        ],
        "host": [
            10000
        ],
        "arbiter": [
            10000
        ]
    },
    "role_parameters": {"Your role parameters"},
    "algorithm_parameters": {"Your algorithm parameters"},
}

5. 训练过程

(1)上传数据

在所有数据提供者之间加载数据,上传命令:

python ${your_install_path}/fate_flow/fate_flow_client.py -f upload -c ${upload_data_json_path}

${your_install_path}: fate的安装目录
${upload_data_json_path}:上传数据配置文件路径
每个提供数据的集群(即guest和host)都需执行此步骤
不能上传具有相同table_name和namespace的不同数据集

运行此命令后,如果成功,将显示以下信息:

{
    "data": {
        "pid": 74684,
        "table_name": "breast_b",
        "namespace": "breast_hetero"
    },
    "jobId": "20190801152750392991_436",
    "meta": null,
    "retcode": 0,
    "retmsg": "success",
    "created_at": "2019-08-01 15:27:50"
}

输出所示,table_name和namespace已经列出,可以在上传配置文件中作为输入配置。

(2)开始建模

命令:

python {fate_install_path}/fate_flow/fate_flow_client.py -f submit_job -c ${runtime_config} -d ${dsl}

${runtime_config}:运行配置文件路径
${dsl}:dsl文件路径

(3)检查日志

路径:

${your_install_path}/logs/${your jobid}

${your_install_path}: fate的安装目录
${your jobid}:本次的jobid

三、测试

1. 准备

(1)为需要在预测阶段部署的模块添加或修改“ need_deploy”字段。除了通常不会在预测阶段运行的FederatedmSample和Evaluation之外,所有模块均将True设置为其默认值。“ need_deploy”字段为True表示此模块应运行“拟合”过程,并且拟合模型需要在预测阶段进行部署。
(2)除了Intersect模块之外,其他模块应该配置模型输出,这样fate-flow才能存储训练后的模型并使其在预测阶段可用。
(3)获取训练模型的model_id和model_version,获取命令:

python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f job_config -j ${jobid} -r guest -p ${guest_partyid}  -o ${job_config_output_path}

${your_fate_install_path}: fate安装目录
${jobid} :任务ID
${guest_partyid}:提交工作的一方的partyId
${job_config_output_path}:存储job_config的路径

之后,包含模型信息的json文件将被下载到$ {job_config_output_path} /model_info.json中

2. 定义预测配置文件

(1)概念:

此配置文件用于配置用于预测的参数

(2)参数说明

initiator: 指定发起人的角色和参与方ID,应与训练过程相同
job_parameters:
work_mode:集群或独立,与训练过程相同。
model_id或model_version:1. 准备(3)中获取的模型指示器。
job_type:工作类型。在这种情况下,它应该是“predict”。
role: 指出所有角色的所有参与ID,应与训练过程相同
role_parameters:为每个角色设置参数。在这种情况下,“ eval_data”(意味着将要预测的数据)应同时为Guest和Host分别填写

(3)示例

{
	"initiator": {
		"role": "guest",
		"party_id": 10000
	},
	job_parameters": {
		"work_mode": 0,
		"job—type": "predict",
		"model_id": "arbiter-10000#guest-10000#host-10000#model",
		"model_version": "202005140855200605181"
	},
	"role": {
		"guest": [10000],
		"host": [10000],
		"arbiter": [10000]
	}
	                                    ,,n>]
	"role_parametersn": {                                                           
	    "guest": {
	        "args": {
	            "data": {
	                "eva_data": [{"name": "homo_breast_guest", "namespace": "homo_breast_guest"}]
                }        
	        }
        },
		"host": {                           
		    "args":{
		        "data":{
                    "eva_data": [{"name": "homo_breast_host", "namespace": "homo_breast_host"}]
  		         }
            }
        }
    }
}

3. 预测过程

命令:

python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f submit_job -c ${predict_config}

${your_fate_install_path}:fate安装目录
${predict_config}:预测配置文件路径

4. 查看预测结果

查看FATE_board

http://${fate_board_ip}:${fate_board_port}/index.html#/details?job_id=${job_id}&role=guest&party_id=${guest_partyid}

$ {fate_board_ip} $ {fate_board_port}:用于部署FATE模块的ip和端口。
$ {job_id}:预测任务的job_id。
$ {guest_partyid}:GuestID

5. 下载预测结果

预测任务完成后,前100条预测结果记录将在FATE-board中可用。可以通过以下命令下载所有结果。

python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f component_output_data -j ${job_id} -p ${party_id} -r ${role} -cpn ${component_name} -o ${predict_result_output_dir}

${job_id}: 预测任务ID
${party_id}: 当前用户partyID
${role}: 当前用户的角色
${component_name}: 具有预测结果的组件
${predict_result_output_dir}: 将预测结果下载到的目录

四、参考

FATE用法 https://github.com/FederatedAI/FATE/tree/master/examples/federatedml-1.x-examples
上传数据指南 https://github.com/FederatedAI/FATE/blob/master/doc/upload_data_guide_zh.rst
DSL 配置和运行配置 https://github.com/FederatedAI/FATE/blob/master/doc/dsl_conf_setting_guide_zh.rst
联邦学习与微众Fate https://blog.csdn.net/qq_28540443/article/details/104416436

 类似资料: