PHP curl实现抓取302跳转后页面的示例
PHP的CURL正常抓取页面程序如下：
$url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);
如果你抓取到的是302状态，是因为再抓取的过程中，有的跳转需要给下一个链接传递参数，而下一个链接同时也设置了如果没接收到相应的参数是为非法访问。
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
显示就应该正常了。
上面用来抓取功能，几乎应该没问题的。你可以查一下CURLOPT_CUSTOMREQUEST相关资料。
使用一个自定义的请求信息来代替”GET”或”HEAD”作为HTTP请求。这对于执行”DELETE” 或者其他更隐蔽的HTTP请求。有效值如”GET”，”POST”，”CONNECT”等等。也就是说，不要在这里输入整个HTTP请求。例如输入”GET /index.html HTTP/1.0\r\n\r\n”是不正确的。
-
本文向大家介绍Android Intent实现页面跳转的方法示例，包括了Android Intent实现页面跳转的方法示例的使用技巧和注意事项，需要的朋友参考一下 应朋友们反馈的Android基础薄弱的问题，决定出一套Android基础教程，帮助大家复习，巩固Android基础，今天要讲的是Android中的Intent实现Android间的页面跳转。 增加Acrivity页面时，首先需要在Mai
-
本文向大家介绍vue实现登录后页面跳转到之前页面，包括了vue实现登录后页面跳转到之前页面的使用技巧和注意事项，需要的朋友参考一下 在开发中我们经常遇到这样的需求，需要用户直接点击一个链接进入到一个页面，用户点击后链接后会触发401拦截返回登录界面，登录后又跳转到链接的页面而不是首页，这种问题该如何去做呢？ 先说一下我们需要用到的几个API： 1.router.currentRoute:当前的路由
-
本文向大家介绍JS实现页面超时后自动跳转到登陆页面，包括了JS实现页面超时后自动跳转到登陆页面的使用技巧和注意事项，需要的朋友参考一下 JS代码： 代码很简单，却很实用，希望小伙伴们能够喜欢，直接拿去用吧。
-
本文向大家介绍Node.js实现的简易网页抓取功能示例，包括了Node.js实现的简易网页抓取功能示例的使用技巧和注意事项，需要的朋友参考一下 现今，网页抓取已经是一种人所共知的技术了，然而依然存在着诸多复杂性， 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest，WebSockets，Flash Sockets等各种复杂技术所开发出来的现代化网站。 我们以我们在Hubdoc这个
-
页面跳转可以是打开新的一页，也可以是当前页重定向，还可以是跳转到当前页的某个状态，下面会从打开w文件，打开其它后缀文件，使用路由等几个方面分别介绍一下在X5中的页面跳转。 目录 1、打开w文件 1.1、使用Shell提供的方法 1.2、使用弹出窗口打开 1.3、模拟门户的做法 2、打开html等其它类型的文件 2.1、使用打开w文件的方法 2.2、使用a链接跳转 2.3、页面重定向 2.4、使用w
-
页面跳转可以是打开新的一页，也可以是当前页重定向，还可以是跳转到当前页的某个状态，下面会从打开w文件，打开其它后缀文件，使用路由等几个方面分别介绍一下在X5中的页面跳转。 目录 1、打开w文件 1.1、使用Shell提供的方法 1.2、使用弹出窗口打开 1.3、模拟门户的做法 2、打开html等其它类型的文件 2.1、使用打开w文件的方法 2.2、使用a链接跳转 2.3、页面重定向 2.4、使用w