QiuRPC

通用网络RPC框架
授权协议 GPL
开发语言 Java
所属分类 Web应用开发、 RPC/XMLRPC项目
软件类型 开源软件
地区 国产
投 递 者 陶星渊
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

QiuRPC 参考手册


一个通用的网络RPC框架,它应该包括如下功能:

  1. 具有服务的分层设计,借鉴Future/Service/Filter概念
    2.具有网络的分层设计,区分协议层、数据层、传输层、连接层
    3.独立的可适配的codec层,可以灵活增加HTTP,Memcache,Redis,MySQL/JDBC,Thrift等协议的支持。
    4.将多年各种远程调用High availability的经验融入在实现中,如负载均衡,failover,多副本策略,开关降级等。
    5.通用的远程调用实现,采用async方式来减少业务服务的开销,并通过future分离远程调用与数据流程的关注。
    6.具有状态查看及统计功能
    7.当然,最终要的是,具备以下通用的远程容错处理能力,超时、重试、负载均衡、failover……


QiuRPC特点

QiuRPC是一个采用JAVA实现的小巧的RPC框架,一共3K多行代码,实现了RPC的基本功能,开发者也可以自定义扩展,可以供大家学习探讨或者在小项目中使用,目前QiuRPC具有如下特点:

  1. 服务端基于注解,启动时自动扫描所有RPC实现,基本零配置
    2. 客户端实现Filter机制,可以自定义Filter
    3. 基于netty的Reactor IO多路复用网络模型
    4. 数据层提供protobuff和hessian的实现,可以扩展ISerializer接口自定义实现其他
    5. 负载均衡算法采用最少活跃调用数算法,可以扩展ILoadBlance接口自定义实现其他
    6. 客户端支持服务的同步或异步调用


系统待改进点

  1. 增加注册中心功能,在大项目中,一个项目可能依赖成百上千个服务,如果基于配置文件直接指定服务地址会增加维护成本,需要引入注册中心

    2. 目前用的是反射和java代理实现的服务端存根和客户端代理,为了提高性能,可以把这些用javassit,asm等java字节码工具实现
    3. 增加一些监控功能,为了增强服务的稳定性和服务的可控性,监控功能是不可或缺的
    4. 目前应用协议采用的是最简单的协议,仅仅一个魔数+序列化的实体,这些需要增强,比如增加版本号以解决向前兼容性
    5. 增加High availability的一些手段,目前只有负载均衡,其他的比如failover,多副本策略,开关降级等,过载保护等需要自己实现

示例:

1.  编写服务端接口

public interface IServer1 {
    public String getMsg();
    
    public Message echoMsg(String msg);
    
    public Message echoMsg(int msg);
}

2.  编写服务端实现类

@ServiceAnnotation(name="myserver1")
public class MyServer1 implements IServer1{
    private static final Log log=LogFactory.getLog(MyServer1.class);
    
    public String getMsg()
    {
        log.info("getMsg echo");
        return "Hello";
    }

    @Override
    public Message echoMsg(String msg) {
        Message result=new Message();
        result.setMsg(msg);
        result.setData(new Date());
        return result;
    }

    @Override
    public Message echoMsg(int msg) {
        Message result=new Message();
        result.setMsg("int:"+msg);
        result.setData(new Date());
        return result;
    }
}

3.  启动服务

public static void main(String[] args) {
        RpcServerBootstrap bootstrap=new RpcServerBootstrap();
        bootstrap.start(8080);
    }


4.  编写客户端调用代码


public class Client1 {
    
    public static void main(String[] args) {
        try {
            final IServer1 server1=RpcClientProxy.proxy(IServer1.class,"server1" , "myserver1");
            long startMillis=System.currentTimeMillis();
            for(int i=0;i<10000;i++)
            {
                final int f_i=i;
                send(server1,f_i);
            }
            long endMillis=System.currentTimeMillis();
            System.out.println("spend time:"+(endMillis-startMillis));
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
    
    public static void send(IServer1 server1,int f_i)
    {
        Message msg = null;
        try
        {
            //由于客户端配置的async="true",我们用异步方式来获取结果,如果是同步方式,直接msg=server1.echoMsg(f_i)即可
            server1.echoMsg(f_i);
            Future future = RpcContext.getContext().getFuture();
            msg=future.get();
            System.out.println("msg:"+msg.getMsg()+","+msg.getData());
        }
        catch(Throwable e)
        {
            e.printStackTrace();
        }
    }
}

5.  编写客户端配置文件


<application maxThreadCount="100">
    <service name="server1" connectStr="127.0.0.1:9090;127.0.0.1:8080" maxConnection="100" async="true"></service>
</application>
 相关资料
  • 随着分布式技术和微服务思想流行,技术公司逐步将服务拆分为独立运行的小模块,提高系统整体的健壮性,加快特性的演进速度。微服务通过定义完善的接口进行交互,解耦系统、敏捷迭代、方便服务治理。RPC是目前微服务最广泛的通信方式。然而,众多团队各自研发具备服务治理功能的RPC通信框架,一方面增加开发成本,消耗人力重复造轮子;另一方面不同序列化协议的RPC服务,无法互相通信,影响可用性。因此,通用的RPC通信

  • 对服务开发者, MTransport 屏蔽了底层网络通信细节,从而更专注于业务自身逻辑实现。支持不同语言版本的代码实现, 保持通信协议的一致性,支持服务注册、服务发现、异步通信、负载均衡等丰富的服务治理功能。

  • 我正在尝试构建两个程序,它们可以使用JSON RPC通过网络相互交互。 它目前适用于整数等基本类型,但自定义类/对象总是以null返回。 这是从数据库中获取数据的方法。数据被正确收集,没有字段为空。 这是一个尝试调用其他程序并返回自定义对象列表的方法。通过网络获取数据后,所有字段都为空。 我不认为方法有什么问题,我的猜测是我在对象类本身中遗漏了一些东西,因为杰克逊试图对对象进行反序列化,我遗漏了一

  • 基于GWT的应用程序通常由客户端模块和服务器端模块组成。 客户端代码在浏览器中运行,服务器端代码在Web服务器中运行。 客户端代码必须在网络上发出HTTP请求才能访问服务器端数据。 RPC,远程过程调用是GWT使用的机制,其中客户端代码可以直接执行服务器端方法。 GWT RPC是基于servlet的。 GWT RPC是异步的,客户端在通信期间从不被阻止。 使用GWT RPC Java对象可以直接在

  • 用途: 提供对网络通信的访问 Addressing, Protocol Families and Socket Types Looking up Hosts on the Network Finding Service Information Looking Up Server Addresses IP Address Representations TCP/IP Client and Serve

  • 随着分布式技术和微服务思想流行,技术公司逐步将服务拆分为独立运行的小模块,提高系统整体的健壮性,加快特性的演进速度。微服务通过定义完善的接口进行交互,解耦系统、敏捷迭代、方便服务治理。RPC是目前微服务最广泛的通信方式。然而,众多团队各自研发具备服务治理功能的RPC通信框架,一方面增加开发成本,消耗人力重复造轮子;另一方面不同序列化协议的RPC服务,无法互相通信,影响可用性。因此,通用的RPC通信