minirpc 是基于 protobuf 的分布式 RPC 系统。
1. rpc server端提供的service可以是so库文件方式存在,可以使用libloader工具增加到server上。
2. rpc server会将自己所提供的服务注册到agent上。
3. agent服务中心采用去中心化的方式运行,通过加入组播实现rpc server的服务列表管理和运行状态的准实时展现。
4. rpc client可以使用需要调用的server名称(字符串服务名),向agent中心获取提供此类服务的rpc server,之后连接rpc server实现数据传输和业务处理。
5. rpc server单进程每秒处理142000个请求包(intel i5 cpu),可以参考统计页面的Package TPS显示。
------------------------------------------------------------------
rpc 具体业务实现lib库编写方式:
#include "rpc_serverobserver.h" #include "echo.pb.h" #include "common/clogwriter.h" #include <unistd.h> extern "C" { int echo_Init(CRpcSerObserver* aRpcServer); } class LibEchoServiceImpl : public echo::EchoService { virtual void Echo(::google::protobuf::RpcController* controller, const ::echo::EchoRequest* request, ::echo::EchoResponse* response, ::google::protobuf::Closure* done) { response->set_response(request->message()+" lib_rpc_server_echo_hello"); if (done) { done->Run(); } } virtual void Dummy(::google::protobuf::RpcController* controller, const ::echo::DummyRequest* request, ::echo::DummyResponse* response, ::google::protobuf::Closure* done) { if (done) { done->Run(); } } }; int echo_Init(CRpcSerObserver* aRpcServer) { DEBUG(LL_WARN, "echo_Init Begin."); RPCREGI(aRpcServer, LibEchoServiceImpl); return 0; }
------------------------------------------------------------------
agent启动方式:
cd agent
[w@localhost agent]$./miniagent -d
打开agent的运行页面观察运行状态,默认端口是15218.
http://serverip:15218
rpc server启动方式:
[w@localhost protobuf]$ ./rpc_server_basic -p 9987 -s ECHO -d
[w@localhost protobuf]$ ./rpc_server_basic -p 9988 -s ECHO1 -d
[w@localhost protobuf]$ ./rpc_server_basic -h
=====================================
使用方法: RpcServer [参数选项][-c 配置文件]
参数选项描述:
-p 监听端口 程序启动时绑定的监听端口。
-s 服务名称 程序启动时提供的服务名称。
-c 配置文件。
-d 后台运行 守护进程方式运行。
-l 日志级别 日志级别见如下描述:
1. 错误日志;
2. 警告日志;
3. 通知日志;
4. 重要的提示性日志;
5. 打印关键变量的值;
6. 开发人员的调试日志;
7. 打开所有的日志。
-v 输出版本信息。
-h 输出运行帮助信息。
启动实例: RpcServer -p 9090 -c RpcServer.ini -l 2 -d
=====================================
运行动态库加载工具,向服务BasicServer增加libecho.so提供的服务。
[w@localhost protobuf]$ ./rpc_libloader BasicServer load libecho.so
create success
load resp: libecho.so load success, method list: echo.EchoService.Echo echo.EchoService.Dummy
load requ: libecho.so
load success
[w@localhost protobuf]$ ./rpc_libloader BasicServer load libecho2.so
create success
load resp: libecho2.so load success, method list: echo2.EchoService.Echo echo2.EchoService.Dummy
参考:
代码中你会看到一些类似的开源代码。本项目中的一些代码来自如下开源软件。
haproxy
cxxtools
thrift
protobuf
kamailio
sems
fastrpc
redis
putty等。
谢谢以上开源软件的开发者们。
请不要拍砖,如果你觉得不可使用,可以选择thrift等其他rpc软件。
distributed RPC(分布式RPC) (DRPC) 的设计目的是充分利用Storm的计算能力实现高密度的并行实时计算。Storm topology(拓扑)接受若干个函数参数作为输入,然后输出这些函数调用的结果。 严格的来说,DRPC不能够算作Storm的一个特性,因为它是一种基于Storm 原语(Stream,Spout,Bolt,Topology)实现的设计模式。DRPC可以脱离Sto
OpenStack使用消息传递(我想默认情况下是RabbitMQ?)用于节点之间的通信。另一方面,Kubernetes(谷歌内部博格的血统)使用RPC。Docker的swarm也使用了RPC。两者都是基于grpc/protofbuf的,在Google内部似乎也大量使用。
主要内容:1.RPC流水线工程,2.RPC 技术选型,3.如何设计 RPC1.RPC流水线工程 ① Client以本地调用的方式调用服务 ② Client Stub接收到调用后,把服务调用相关信息组装成需要网络传输的消息体,并找到服务地址(host:port),对消息进行编码后交给Connector进行发送 ③ Connector通过网络通道发送消息给Acceptor ④ Acceptor接收到消息后交给Server Stub ⑤ Server Stub对消息进行解码,
主要内容:一、从一个新闻门户网站案例引入,二、推算一下你需要分析多少条数据?,三、黄金搭档:分布式存储+分布式计算这篇文章聊一个话题:什么是分布式计算系统? 一、从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词,比如分布式服务框架,分布式系统,分布式存储系统,分布式消息系统。 但是有些经验尚浅的同学,可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个概念做一个科普类的分析。 如果你要理解啥是分布式计算,就必须先得理解啥是分布式存储,现在我们从一个小例子来引入。 比如说
被别人指出问题时,别管别人能不能做到,看别人说的对不对,然后完善自己。别人能不能做到是别人的事情,自己能不能做到关系到自己能否发展的更好。——hustlihaifeng Go语言号称是互联网时代的C语言。现在的互联网系统已经不是以前的一个主机搞定一切的时代,互联网时代的后台服务由大量的分布式系统构成,任何单一后台服务器节点的故障并不会导致整个系统的停机。同时以阿里云、腾讯云为代表的云厂商崛起标志着
数据存储容量的问题。 数据读写速度的问题。 数据可靠性的问题。 几种常见 RAID 的对比|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0,将数据从内存写入磁盘时,将数据分成 N 块,并发写入,读取同理。所以,读写速度是单盘的 N 倍。|任何一块盘损坏,数据完整性破坏,数据不可用。| |RAID 1|数据写入磁盘时,将一份数据同时