本文实例为大家分享了检查代理ip有效性php代码,稳定性,如错误率和查询用时
/** +----------------------------------------------------------------------------- * 检查代理ip信息有效性 +----------------------------------------------------------------------------- * @param string $proxy_ip [117.95.100.126:8998] * @param int $times 执行检查次数 * @return array * @author elinx <654753115@qq.com> 2016-07-29 +----------------------------------------------------------------------------- */ function check_proxy_ip_info($proxy_ip=false, $times=10) { $header = array( // "GET / HTTP/1.1", // "HOST: www.baidu.com", "accept: application/json", "accept-encoding: gzip, deflate", "accept-language: en-US,en;q=0.8", "content-type: application/json", "user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36", ); $url = 'http://www.baidu.com/'; $result['succeed_times'] = 0; //成功次数 $result['defeat_times'] = 0; //失败次数 $result['total_spen'] = 0; //总用时 for ($i=0; $i < $times; $i++) { $s = microtime(); $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); //设置传输的url curl_setopt($curl, CURLOPT_HTTPHEADER, $header); //发送http报头 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate'); // 解码压缩文件 curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false); //不验证证SSL书 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false); //不验证SSL证书 if (@$proxy_ip != false) { //使用代理ip curl_setopt($curl, CURLOPT_HTTPHEADER, array ( 'Client_Ip: '.mt_rand(0, 255).'.'.mt_rand(0, 255).'.'.mt_rand(0, 255).'.'.mt_rand(0, 255), )); curl_setopt($curl, CURLOPT_HTTPHEADER, array ( 'X-Forwarded-For: '.mt_rand(0, 255).'.'.mt_rand(0, 255).'.'.mt_rand(0, 255).'.'.mt_rand(0, 255), )); curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); curl_setopt($curl, CURLOPT_PROXY, $proxy_ip); } curl_setopt($curl, CURLOPT_COOKIEFILE, dirname(__FILE__).'/cookie.txt'); curl_setopt($curl, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt'); curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环 // $response_header = curl_getinfo($curl); // 获取返回response报头 $content = curl_exec($curl); if (strstr($content, '百度一下,你就知道')) { $result['list'][$i]['status'] = 1; $result['succeed_times'] += 1; } else { $result['list'][$i]['status'] = 0; $result['defeat_times'] += 1; } $e = microtime(); $result['total_spen'] += abs($e-$s); $result['list'][$i]['spen'] = abs($e-$s); $result['list'][$i]['content'] = json_encode($content, true); // $result['list'][$i]['response_header'] = $response_header; } $result['precent'] = (number_format($result['succeed_times']/$times, 4)*100).'%'; $result['average_spen'] = number_format($result['total_spen']/$times, 4); return $result; }
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。
问题内容: 如何检查shell脚本中IP地址的有效性,该范围在to 的范围内? 问题答案: 如果您使用的是bash,则可以对模式进行简单的正则表达式匹配,而无需验证四边形: 如果您坚持使用POSIX Shell,则可以使用BRE而不是ERE来做基本相同的事情: 请注意,假设您的正则表达式锚定在字符串的左侧,因此不需要缩写。 如果确认每个四边形小于256很重要,那么显然您将需要更多代码: 甚至更少的
我需要一个可靠的JavaScript库/函数来检查超文本标记语言片段是否有效,我可以从我的代码中调用。例如,它应该检查打开的标签和引号是否关闭,嵌套是否正确等。 我不希望验证失败,因为有些东西不是100%标准的(但无论如何都会工作)。
Go 代码检查 统计代码行数 推荐我开发的开源软件--artHummer,目前只是简单的统计代码,后续可能开发更加复杂的功能。 go report 如果您的代码是放在github上面的,可以登录go report 进行代码扫描。 gofmt 整理代码 gofmt -l -w -s *.go gofmt -r '(a)->a' -l -w *.go go tool vet 这个
本文向大家介绍node.js 抓取代理ip实例代码,包括了node.js 抓取代理ip实例代码的使用技巧和注意事项,需要的朋友参考一下 node.js实现抓取代理ip 主要文件:index.js 包支持 : package.json 本地需要安装mongodb数据库,用于存储抓取到的ip,目前还未实现ip验证。写这个主要是处于好奇。 上面的代码就可以实现抓取ip代理网站的ip并存到mongodb数
主要内容:运行代码检查,检查报告检查是一种静态代码分析工具,可以帮助我们发现运行时错误、定位死代码、检测性能问题、内存泄漏、拼写问题,并改善整体代码结构。它不仅会告诉我们代码中的问题出在哪里,而且还会立即提出更正建议。当我们执行代码分析时,代码检查可用 : 整个项目 特定文件 自定义范围 默认情况下,IntelliJ IDEA 对所有打开的文件执行分析。如果在项目中检测到错误,那么我们将在编辑器的右上角看到以下图标 运行代码检查
注解 @ProxyPool 声明代理 IP 池,在爬虫对象或者爬虫项对象上声明,则请求时自动从代理 IP 池中取出代理IP 类名:\Yurun\Crawler\Module\Crawler\Annotation\ProxyPool 参数: 名称 描述 默认值 class 代理 IP 池名 args 实例化参数 method 获取 IP 的方式:random(随机)、next(下一个) 代理 IP