一个通用的网络RPC框架,它应该包括如下功能:
具有服务的分层设计,借鉴Future/Service/Filter概念
2.具有网络的分层设计,区分协议层、数据层、传输层、连接层
3.独立的可适配的codec层,可以灵活增加HTTP,Memcache,Redis,MySQL/JDBC,Thrift等协议的支持。
4.将多年各种远程调用High availability的经验融入在实现中,如负载均衡,failover,多副本策略,开关降级等。
5.通用的远程调用实现,采用async方式来减少业务服务的开销,并通过future分离远程调用与数据流程的关注。
6.具有状态查看及统计功能
7.当然,最终要的是,具备以下通用的远程容错处理能力,超时、重试、负载均衡、failover……
QiuRPC特点
QiuRPC是一个采用JAVA实现的小巧的RPC框架,一共3K多行代码,实现了RPC的基本功能,开发者也可以自定义扩展,可以供大家学习探讨或者在小项目中使用,目前QiuRPC具有如下特点:
服务端基于注解,启动时自动扫描所有RPC实现,基本零配置
2. 客户端实现Filter机制,可以自定义Filter
3. 基于netty的Reactor IO多路复用网络模型
4. 数据层提供protobuff和hessian的实现,可以扩展ISerializer接口自定义实现其他
5. 负载均衡算法采用最少活跃调用数算法,可以扩展ILoadBlance接口自定义实现其他
6. 客户端支持服务的同步或异步调用
系统待改进点
增加注册中心功能,在大项目中,一个项目可能依赖成百上千个服务,如果基于配置文件直接指定服务地址会增加维护成本,需要引入注册中心
2. 目前用的是反射和java代理实现的服务端存根和客户端代理,为了提高性能,可以把这些用javassit,asm等java字节码工具实现
3. 增加一些监控功能,为了增强服务的稳定性和服务的可控性,监控功能是不可或缺的
4. 目前应用协议采用的是最简单的协议,仅仅一个魔数+序列化的实体,这些需要增强,比如增加版本号以解决向前兼容性
5. 增加High availability的一些手段,目前只有负载均衡,其他的比如failover,多副本策略,开关降级等,过载保护等需要自己实现
示例:
1. 编写服务端接口 public interface IServer1 { public String getMsg(); public Message echoMsg(String msg); public Message echoMsg(int msg); } 2. 编写服务端实现类 @ServiceAnnotation(name="myserver1") public class MyServer1 implements IServer1{ private static final Log log=LogFactory.getLog(MyServer1.class); public String getMsg() { log.info("getMsg echo"); return "Hello"; } @Override public Message echoMsg(String msg) { Message result=new Message(); result.setMsg(msg); result.setData(new Date()); return result; } @Override public Message echoMsg(int msg) { Message result=new Message(); result.setMsg("int:"+msg); result.setData(new Date()); return result; } } 3. 启动服务 public static void main(String[] args) { RpcServerBootstrap bootstrap=new RpcServerBootstrap(); bootstrap.start(8080); } 4. 编写客户端调用代码 public class Client1 { public static void main(String[] args) { try { final IServer1 server1=RpcClientProxy.proxy(IServer1.class,"server1" , "myserver1"); long startMillis=System.currentTimeMillis(); for(int i=0;i<10000;i++) { final int f_i=i; send(server1,f_i); } long endMillis=System.currentTimeMillis(); System.out.println("spend time:"+(endMillis-startMillis)); } catch (Throwable e) { e.printStackTrace(); } } public static void send(IServer1 server1,int f_i) { Message msg = null; try { //由于客户端配置的async="true",我们用异步方式来获取结果,如果是同步方式,直接msg=server1.echoMsg(f_i)即可 server1.echoMsg(f_i); Future future = RpcContext.getContext().getFuture(); msg=future.get(); System.out.println("msg:"+msg.getMsg()+","+msg.getData()); } catch(Throwable e) { e.printStackTrace(); } } } 5. 编写客户端配置文件 <application maxThreadCount="100"> <service name="server1" connectStr="127.0.0.1:9090;127.0.0.1:8080" maxConnection="100" async="true"></service> </application>
随着分布式技术和微服务思想流行,技术公司逐步将服务拆分为独立运行的小模块,提高系统整体的健壮性,加快特性的演进速度。微服务通过定义完善的接口进行交互,解耦系统、敏捷迭代、方便服务治理。RPC是目前微服务最广泛的通信方式。然而,众多团队各自研发具备服务治理功能的RPC通信框架,一方面增加开发成本,消耗人力重复造轮子;另一方面不同序列化协议的RPC服务,无法互相通信,影响可用性。因此,通用的RPC通信
对服务开发者, MTransport 屏蔽了底层网络通信细节,从而更专注于业务自身逻辑实现。支持不同语言版本的代码实现, 保持通信协议的一致性,支持服务注册、服务发现、异步通信、负载均衡等丰富的服务治理功能。
我正在尝试构建两个程序,它们可以使用JSON RPC通过网络相互交互。 它目前适用于整数等基本类型,但自定义类/对象总是以null返回。 这是从数据库中获取数据的方法。数据被正确收集,没有字段为空。 这是一个尝试调用其他程序并返回自定义对象列表的方法。通过网络获取数据后,所有字段都为空。 我不认为方法有什么问题,我的猜测是我在对象类本身中遗漏了一些东西,因为杰克逊试图对对象进行反序列化,我遗漏了一
基于GWT的应用程序通常由客户端模块和服务器端模块组成。 客户端代码在浏览器中运行,服务器端代码在Web服务器中运行。 客户端代码必须在网络上发出HTTP请求才能访问服务器端数据。 RPC,远程过程调用是GWT使用的机制,其中客户端代码可以直接执行服务器端方法。 GWT RPC是基于servlet的。 GWT RPC是异步的,客户端在通信期间从不被阻止。 使用GWT RPC Java对象可以直接在
用途: 提供对网络通信的访问 Addressing, Protocol Families and Socket Types Looking up Hosts on the Network Finding Service Information Looking Up Server Addresses IP Address Representations TCP/IP Client and Serve
随着分布式技术和微服务思想流行,技术公司逐步将服务拆分为独立运行的小模块,提高系统整体的健壮性,加快特性的演进速度。微服务通过定义完善的接口进行交互,解耦系统、敏捷迭代、方便服务治理。RPC是目前微服务最广泛的通信方式。然而,众多团队各自研发具备服务治理功能的RPC通信框架,一方面增加开发成本,消耗人力重复造轮子;另一方面不同序列化协议的RPC服务,无法互相通信,影响可用性。因此,通用的RPC通信