百亿级企业级 RPC 框架开源了!

  • 时间:
  • 浏览:13
  • 来源:3分时时彩官网_3分时时彩网站_去哪玩3分时时彩

今天给亲们介绍给一款性能卓越的 RPC 开源框架,其作者之前 我推荐每个 Java 守护进程员都应该看的《Java 生态核心知识点分派》的原作者张玉龙。

说实话我第一次看多你你这些 资料的之前 ,就感觉作者是一位真正的技术爱好者,之前 通过亲们介绍终于认识了他。交谈之中得知他在美团工作,最初和亲们同时分派这份资料的初衷是为了面试,估计每天必须面试不要 的应聘者,这份资料成了助手。强烈建议没有看这份资料的同学得习下,作为 Java 生态知识体系构建也是一份不错的资源。

之前 得知业余时间他在研发一款开源的 RPC 开源框架,或者 经过测试可支持百亿级别的调用,或者 于近期终于完成推出 1.0 版本。这款开源软件名字叫做 Koalas,源代码地址:koalas-rpc,下面对这款开源软件做详细介绍,内容来源于 Koalas 。

Koalas 介绍

企业生产级百亿日 PV 高可用可拓展的 RPC 框架。理论上并发数量接近服务器传输速率,客户端采用 thrift 协议,服务端支持 netty 和 thrift 的 TThreadedSelectorServer 半同步半异步守护进程模型,支持动态扩容,服务上下线,权重动态,可用性配置,页面流量统计,支持 trace 跟踪等,火山岩接入 cat 支持数据大盘展示等,持续为我本人所有以及中小型公司提供可靠的 RPC 框架技术方案。

Thrift 是有两种接口描述语言和二进制通讯协议,它被用来定义和创建跨语言的服务。它被当作有另一俩个 远程过程调用(RPC)框架来使用,是由 Facebook 为“大规模跨语言服务开发”而开发的。

为你你这些 叫 koalas

树袋熊英文翻译,希望考拉 RPC 给你你这些 不太喜欢动手我本人所有去造轮子的人提供可靠的 RPC 使用环境。

为你你这些 要写你你这些 RPC

市面上常见的 RPC 框架好多好多 ,grpc,motan,dubbo 等,或者 随着不要 的元素加入,简化的分派等因素似使得你你这些 框架和 spring 一样,我觉得 号称是轻量级,或者 用起来却是让亲们很蹩脚,几滴 的配置,简化的 API 设计,我觉得 ,亲们根本用不上你你这些 东西!!!

我也算得上是在好多好多 个互联网企业厮杀过,见过好多好多 好多好多 的内控 RPC 框架,一些优秀的设计我必须要非常赞赏,有一天我经常 想着,为你你这些 不对你你这些 设计原型进行聚合归类,于是我本人所有搞一套【轻量级】 RPC 框架呢,于是利用业余时间开发此项目,希望源码对亲们对认识 RPC 框架起到推进的作用。

技术栈

  • thrift 0.8.0
  • spring-core-4.2.5,spring-context-4.2.5,spring-beans-4.2.5
  • log4j,slf4j
  • org.apache.commons(v2.0+)
  • io.netty4
  • fastJson
  • zookeeper
  • 点评cat(V3.0.0+ 做数据大盘统计上报等使用,可不配置)
  • AOP,反射代理等

技术架构

Koalas 架构图

序列化

考察了好多好多 个序列化组件,其中包括jdk原生,kryo、hessian、protoStuff,thrift,json等,最终确定了Thrift,因为分析如下:原生JDK序列化反序列化传输速率堪忧,其序列化内容太过全面kryo和hessian,json相对来说比原生JDK强一些,或者 对跨语言支持一般,好多好多 舍弃了,最终想在protoBuf和Thrift协议中间确定一套框架,你你这些 框架很相通,支持跨语言,必须静态编译等等。或者 protoBuf不带RPC服务,本着提供多套服务端模式(thrift rpc,netty)的请况下,最终确定了Thrift协议。

IO守护进程模型

原生socket可不都后该 模拟出简单的RPC框架,或者 对于大规模并发,要求吞吐量的系统来说,也就算得上是有另一俩个 demo级别的,好多好多 BIO肯定是不考虑了,NIO的模型在序列化技术选型的之前 不可能 说了,Thrift有两种支持好多好多 个io守护进程模型,同步,异步,半同步异步等(SimpleServer,TNonblockingServer,THsHaServer,TThreadedSelectorServer,TThreadPoolServer),其中吞吐量最高的肯定是半同步半异步的IO模TThreadedSelectorServer了,具体因为分析亲们可自行google,这次不做多的阐述,确定好了模型之前 ,发现thrift果然之前 神器一样的位于,再一想,对于服务端来说,IO模型为什么么能少得了Netty啊,好多好多 下决心也要支持Netty,或者 很遗憾Netty目前没有对Thrift的序列化解析,拆包粘包的处里,或者 有protoBuf,和http协议的封装,为什么么办,我本人所有在netty上写对thrift的支持呗,我觉得 工作量大了一些,或者 一想netty不之前 干你你这些 事儿的嘛- -!

服务发现

支持集群的RPC框架中间,像dubbo,不可能 是一些三方框架,对服务发现都进行的封装,没有自研RPC搞笑的话,服务发现就要我本人所有来写了,没有简单小巧容易上手的zookeeper肯定是首选了。

内容展示

实际性能压测

8C 16G mac 开发本,单机 20000 次请求耗时截图

10w 次请求,要花费 耗时 12s,平均 qps 在20000左右,在集群环境下会有不错的性能表现

数据大盘展示

koalas2.0 不可能 接入了 cat 服务,cat 服务支持 qps 统计,可用率,tp90line,tp99line,富有自定义监控报警等,接入效果图

富有的可视参数,流量统计,日,周,月报表展示等。

链路跟踪

对 RPC 服务来说,系统间的调用和排查异常接口,确定耗时代码是非常重要的,假如接入了 cat,koalsa-rpc 火山岩的支持链路跟踪,一切尽在手中!

最后

作者非常具有技术情怀,在聊天中说就剩这点爱好了,要坚持下去。听了这句话啥有的是说了,点击下方链接,先 Star 为敬。

https://gitee.com/a1234567891/koalas-rpc