Chromium 网络栈
前面讲到Chromium的资源加载机制,在调用栈上,提到URLRequest之后就戛然而止,在这之下就是Chromium的网络模块部分,它是在Browser进程中工作的,这部分其实包含很多内容,例如调用栈,Cookie,磁盘缓存,域名解析,网络协议,代理,安全机制等。它们的主要作用是使用网络来下载各种类型的资源,当然网络部分的内容远不只这些 ,它还需要支持最新的HTML5功能-WebSockets 。更具创新的是,为了高效的网络机制,Chromium使用了预DNS解析和资源预取等技术,极大的减少了用户等待时间。要是你以为这就是全部,那就错了,Chromium又引入了SPDY和QUIC等新网络协议,用于减少网络传输时间。 要一一解释这所有的部分其实并不容易,本节试图通过介绍网络栈的基础部分和SPDY技术,跟你一起一窥其中的一些秘密,对于更多的内容,希望以后可以逐一介绍它们。
调用栈
下面来了解Chromium的网络调用过程剖析。读者可以先查看一下“net”目录下的子目录,大致了解主要的子模块。下图描述了URLRequest到Socket之间的调用过程,下面逐步来分析它们。以HTTP协议为例,在建立TCP的socket连接过程中涉及的类。 首先是URLRequest被上层调用启动请求的时候,它会根据URL的scheme来决定需要创建什么类型的请求。“scheme”也就是URL的类型,例如“http://”,“file://“。还可以是自定义的scheme,例如Android系统的file://assets/。URLRequest创建的是一个URLRequestJob子类的一个对象,例如图中URLRequestHttpJob。为了支持自定义的scheme处理方式,它是利用工厂模式。对于URLRequestJob和它的工厂URLRequestJobFactory的管理工作都是URLRequestJobManager负责。基本的思路是,用户可以在该类中注册多个工厂,当有URLRequest请求时候,先有工厂检查它是否需要处理该scheme,如果没有,继续交由下一个工厂类。最后,如果没有任何工厂能够处理的话,则交给内置的工厂来检查和处理是否是http://,ftp://或者file://等。 其次,当URLRequestHttpJob被创建后,它首先从Cookie管理器中获取跟该URL相关联的信息。之后,它同样借助于HttpTransactionFactory创建一个HttpTransaction类的对象来表示开启一个HTTP连接的事务(当然这里的概念不同于数据库中的事务概念)。通常情况下,HttpTransactionFactory对应的是一个它的子类HttpCache的实例。HttpCache类使用本地磁盘缓存机制(稍后会介绍),如果该请求对应的回复已经在磁盘缓存中,那么无需再建立HttpTransaction来发起连接,直接从磁盘中获取即可。如果磁盘中没有,同时如果目前该URL请求对应的HttpTransaction已经建立,那么只要等待它的回复即可。这些条件都不满足后,实际上才会真正创建HttpTransaction。 再次,HttpNetworkTransaction使用HttpNetworkSession来管理连接会话。HttpNetworkSession通过它的成员HttpStreamFactory来建立TCP Socket连接,之后创建HttpStream对象。HttpStreamFactory将和网络之间的数据读写交给自己新创建的一个HttpStream(其实是它的子类)对象来处理。 最后,是套接字的建立。Chromium中的跟服务器建立连接的套接字是StreamSocket,它是一个抽象类,在POSIX和Windows上有分别不同的实现。同时,为了支持SSL机制,它还有一个子类就是SSLSocket。
SPDY
HTTP管线化技术有很大的限制和缺陷,那么如何解决这些问题呢?在SPDY协议之前,同很多成功案例背后有众多的失败实验一样,也尝试了一些部分解决方案,例如SCTP,SST,MUX等等,它们主要作用在传输层或者会话层上。但是,它们只是解决了部分问题,但是HTTP相关问题依然没有解决(例如压缩等),而且在传输层上的协议很难实施。Chromium引入了新的机制-SPDY。SPDY就是为了解决网络延迟和安全性问题。根据Google的官方数据,使用SPDY协议的服务器和客户端可以将网络加载的时间减少64%。在HTTP2.0的草案中引入SPDY协议作为基础来编写。 SPDY协议是一种新的会话层协议,它定义在HTTP协议和TCP协议之间,下图描述了这些协议之间的层次关系。
SPDY协议的核心思想是多路复用,仅使用一个连接来传输一个网页中的众多资源。从上图中读者也可以看到,它本上并没有改变HTTP协议,只是将HTTP协议头通过SPDY来封装和传输。其传输方式也没有发生变化,然后使用TCP/IP协议。所以,它相对比较容易的布置,服务器只需要插入SPDY协议的解释层,从SPDY的消息头中获取各个资源的HTTP头即可。其次是,SPDY协议必须建立在SSL层之上,这是一个比较大的限制,因为有很多网站不一定希望支持HTTPS。 SPDY的工作方式有以下四个特征: 第一,利用一个TCP连接来传输不限个数的资源请求的读写流,这与之前的为每个资源请求都建立一个TCP连接大大不同,这明显提高了TCP连接的利用率,减少TCP连接的维护成本。前面我们也说出,建立一个TCP连接的时间在几十毫秒到几秒甚至更长,这显然能够减少时间。 第二,根据资源请求的特性和优先级,SPDY可以调整它们的请求这些资源的优先级,例如对JavaScript资源的优先级很高,服务器优先传输回复该类型的请求。在网络带宽不是很理想的情况下,这是一种折中。 第三,就是对这些请求使用压缩技术,大大减少需要传送的字节数。这一思想已广泛应用于各种浏览器中。 第四,当用户需要浏览某个网页的时候,支持SPDY协议的服务器在发送网页内容时候可以尝试发送一些信息给浏览器,告诉后面可能需要哪些资源,浏览器可以提前知道并决定是否需要下载。更极端的情况是,服务器可以主动发送资源。
参考资料
- http://www.chromium.org/developers/design-documents/network-stack
by yongsheng@chromium.org