PHP中的curl_multi系列函数可以实现同时请求多个URL来实现并发,而不是像普通curl函数那样请求后会阻塞,直到结果返回才进行下一个请求。因此在批量请求URL时可通过curl_multi系列函数提升程序的运行效率。
curl普通请求
$startTime = microtime(true); $chArr = []; $optArr = [ CURLOPT_URL => 'http://www.httpbin.org/ip', CURLOPT_HEADER => 0, CURLOPT_RETURNTRANSFER => 1, ]; $result = []; //创建多个curl资源并执行 for ($i=0; $i<10; $i++) { $chArr[$i] = curl_init(); curl_setopt_array($chArr[$i], $optArr); $result[$i] = curl_exec($chArr[$i]); curl_close($chArr[$i]); } $endTime = microtime(true); echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);
use time: 6.080 s
curl_multi并发请求
$startTime = microtime(true); $chArr = []; $optArr = [ CURLOPT_URL => 'http://www.httpbin.org/ip', CURLOPT_HEADER => 0, CURLOPT_RETURNTRANSFER => 1, ]; $result = []; //创建多个curl资源 for ($i=0; $i<10; $i++) { $chArr[$i] = curl_init(); curl_setopt_array($chArr[$i], $optArr); } //创建批处理curl句柄 $mh = curl_multi_init(); //将单个curl句柄添加到批处理curl句柄中 foreach ($chArr as $ch) { curl_multi_add_handle($mh, $ch); } //判断操作是否仍在执行的标识的引用 $active = null; /** * 本次循环第一次处理 $mh 批处理中的 $ch 句柄,并将 $mh 批处理的执行状态写入 $active, * 当状态值等于 CURLM_CALL_MULTI_PERFORM 时,表明数据还在写入或读取中,执行循环, * 当第一次 $ch 句柄的数据写入或读取成功后,状态值变为 CURLM_OK ,跳出本次循环,进入下面的大循环中。 */ do { //处理在批处理栈中的每一个句柄 $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); /** * 上面这段代码中,是可以直接使用 $active > 0 来作为 while 的条件,如下: * do { * $mrc = curl_multi_exec($mh, $active); * } while ($active > 0); * 此时如果整个批处理句柄没有全部执行完毕时,系统会不停的执行 curl_multi_exec 函数,从而导致系统CPU占用会很高, * 因此一般不采用这种方案,可以通过 curl_multi_select 函数来达到没有需要读取的程序就阻塞住的目的。 */ /** * $active 为 true 时,即 $mh 批处理之中还有 $ch 句柄等待处理, * $mrc == CURLM_OK,即上一次 $ch 句柄的读取或写入已经执行完毕。 */ while ($active && $mrc == CURLM_OK) { /** * 程序进入阻塞状态,直到批处理中有活动连接(即 $mh 批处理中还有可执行的 $ch 句柄), * 这样执行的好处是 $mh 批处理中的 $ch 句柄会在读取或写入数据结束后($mrc == CURLM_OK)进入阻塞阶段, * 而不会在整个 $mh 批处理执行时不停地执行 curl_multi_exec 函数,白白浪费CPU资源。 */ if (curl_multi_select($mh) != -1) { //程序退出阻塞状态继续执行需要处理的 $ch 句柄 do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } foreach ($chArr as $i=>$ch) { //获取某个curl句柄的返回值 $result[$i] = curl_multi_getcontent($ch); //移除批处理句柄中的某个句柄资源 curl_multi_remove_handle($mh, $ch); } //关闭一组curl句柄 curl_multi_close($mh); $endTime = microtime(true); echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);
use time: 0.599 s
通过对比上述程序的运行时间可以得知,使用curl_multi系列函数并发请求要比普通的curl函数依次请求效率高很多。
到此这篇关于详解PHP中curl_multi并发的实现的文章就介绍到这了,更多相关PHP curl_multi并发内容请搜索小牛知识库以前的文章或继续浏览下面的相关文章希望大家以后多多支持小牛知识库!
本文向大家介绍详解PHP归并排序的实现,包括了详解PHP归并排序的实现的使用技巧和注意事项,需要的朋友参考一下 归并(Merge)排序法是将两个(或两个以上)有序表合并成一个新的有序表。归并排序的一个缺点是它需要存储器有另一个大小等于数据项数目的数组。如果初始数组几乎占满整个存储器,那么归并排序将不能工作,但是如果有足够的空间,归并排序会是一个很好的选择。 假设待排序的序列: 4 3 7 9 2
本文向大家介绍高并发系统的限流详解及实现,包括了高并发系统的限流详解及实现的使用技巧和注意事项,需要的朋友参考一下 在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流。本文结合作者的一些经验介绍限流的相关概念、算法和常规的实现方式。 缓存 缓存比较好理解,在大型高并发系统中,如果没有缓存数据库将分分钟被爆,系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量,也是保护数据库
本文向大家介绍java ThreadPoolExecutor 并发调用实例详解,包括了java ThreadPoolExecutor 并发调用实例详解的使用技巧和注意事项,需要的朋友参考一下 java ThreadPoolExecutor 并发调用实例详解 概述 通常为了提供任务的处理速度,会使用一些并发模型,ThreadPoolExecutor中的invokeAll便是一种。 代码 可以把需要执
本文向大家介绍Java并发编程(CyclicBarrier)实例详解,包括了Java并发编程(CyclicBarrier)实例详解的使用技巧和注意事项,需要的朋友参考一下 Java并发编程(CyclicBarrier)实例详解 前言: 使用JAVA编写并发程序的时候,我们需要仔细去思考一下并发流程的控制,如何让各个线程之间协作完成某项工作。有时候,我们启动N个线程去做一件事情,只有当这N个线程
本文向大家介绍详解go语言的并发,包括了详解go语言的并发的使用技巧和注意事项,需要的朋友参考一下 1、启动go语言的协程 2、runtime.Goexit()方法。立即终止当前的协程 3、runtime.GOMAXPROCS()表示go使用几个cpu执行代码 4、管道定义和创建管道 5、管道的缓冲 6、关闭管道和接受关闭管道的信号 7、只读管道和只写管道和生产者和消费者模型 8、Timer定时器
本文向大家介绍详解PHP中foreach的用法和实例,包括了详解PHP中foreach的用法和实例的使用技巧和注意事项,需要的朋友参考一下 在PHP中经常会用到foreach的使用,而要用到foreach,就必须用到数组。因此,在这篇文章中,我们一边讲数组,一边讲foreach。 foreach有两种语法: 第一种:遍历给定的 数组语句 array_expression 数组。每次循环中,当前单元