WeFe

联邦机器学习框架
授权协议 Apache
开发语言 Java
所属分类 神经网络/人工智能、 机器学习/深度学习
软件类型 开源软件
地区 国产
投 递 者 岑畅
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

WeFe ( WeLab Federated Learning ) 是 Welab 汇立集团子公司天冕科技发起的开源项目,为联邦学习生态系统提供了一套好用的可靠的安全计算框架。

WeFe 是基于联邦机器学习技术的可视化分布式建模平台,可以充分保护各方用户数据安全,打破数据孤岛;支持企业按照具体的建模场景,沟通并匹配其他联邦成员,在明文数据不出库的前提下,共同完成联邦模型的训练与构建,帮助建模人员快速搭建联邦学习任务(横向联邦、纵向联邦、纵横向混合联邦等)。

项目特点

  • 混合联邦,纵向联邦学习与横向联邦学习结合的行业解决方案;
  • 使用联盟链作为联邦中心存证共享方案;
  • 支持流程可视化,托拉拽编辑流程的交互形式;
  • 基于函数计算与云存储对象实现动态资源拓展方案;
  • 支持 GPU 加速同态加密运算(实验室)。

联邦学习算法

  • WeFe 目前支持的联邦学习算法:横向联邦、纵向联邦、混合联邦、深度学习。
  • 基于FATE,改进并新增了相关算法,算法细节请参考 Kernel 模块文档 kernel/README.md

系统架构

WeFe 系统由两大模块 union 与 member 组成;

member 是 WeFe 联邦学习平台中进行联邦建模的最小成员单位;

union 是一个去中心化的公共服务平台,存储了联邦中的可公开信息并提供给联邦中的 member 访问。

模块详情:

 相关资料
  • 有关TensorFlow与其他框架的详细对比可以阅读: https://zhuanlan.zhihu.com/p/25547838   01 TensorFlow的编程模式 编程模式分为两种:命令式编程与符号式编程 前者是我们常用的C++,java等语言的编程风格如下 命令式编程看起来逻辑非常清晰,易于理解。而符号式编程涉及较多的嵌入和优化,如下 执行相同的计算时c,d可以共用内存,使用Tenso

  • 分享面经攒攒人品!base西安 整个面试不到20minutes,不用手撕,感觉真就kpi面,主要是我的方向和他们也不太吻合。 自我介绍,项目细问+面试官介绍他们的业务和方向+反问。。。 面试官人很nice!月底出结果(说是投的人好多还得面好多),不过我面完就知道凉凉

  • 关联规则:关联规则反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系,那么,其中一个事物就能够通过其他事物预测到。Apriori算法利用频繁项集生成关联规则。它基于频繁项集的子集也必须是频繁项集的概念。频繁项集是支持值大于阈值(support)的项集。

  • 面试官特别温柔有礼貌,全程无八股无手撕,先是询问我的论文,问的特别细,包括这个卷积核大小是多少,然后他还现场给我计算,仿佛在审稿,后悔没准备ppt了,当场从arxiv下载下来共享屏幕,因为之前面的几家都不怎么关心我的论文,只能说还得是联想研究院 然后问实习经历,追问你个人的代码贡献,主要工作,创新点等,遇到比较感兴趣的,要我当场手敲公式给他展示(*´I`*)感觉真的很有科研氛围

  • Python 有着海量的可用于数据分析、统计以及机器学习的库,这使得 Python 成为很多数据科学家所选择的语言。 下面我们列出了一些被广泛使用的机器学习及其他数据科学应用的 Python 包。 Scipy 技术栈 Scipy 技术栈由一大批在数据科学中被广泛使用的核心辅助包构成,可用于统计分析与数据可视化。由于其丰富的功能和简单易用的特性,这一技术栈已经被视作实现大多数数据科学应用的必备品了。

  • 主要内容 前言 课程列表 推荐学习路线 数学基础初级 程序语言能力 机器学习课程初级 数学基础中级 机器学习课程中级 推荐书籍列表 机器学习专项领域学习 致谢 前言 我们要求把这些课程的所有Notes,Slides以及作者强烈推荐的论文看懂看明白,并完成所有的老师布置的习题,而推荐的书籍是不做要求的,如果有些书籍是需要看完的,我们会进行额外的说明。 课程列表 课程 机构 参考书 Notes等其他资

  • 机器学习与人工智能学习笔记,包括机器学习、深度学习以及常用开源框架(Tensorflow、PyTorch)等。 机器学习算法 _图片来自scikit-learn_。 机器学习全景图 _图片来自http://www.shivonzilis.com/_。

  • 机器学习与人工智能学习笔记,包括机器学习、深度学习以及常用开源框架(Tensorflow、PyTorch)等。