工作中要采集一些网页的数据,在php中常用到的采集函数就是file_get_contents和curl函数。php在用file_get_contents函数采集网站时,有时明明用浏览器可以看,但就是采不到任何内容。

原因分析

通过不断的测试和查找资料,发现原来是php的User Agent的问题。这很有可能是服务器上做了设置,通过php $_SERVER["HTTP_USER_AGENT"]获取 User_agent判断是否为正常的浏览器请求 ,因为默认php的file_get_contents函数是不发送ua的

我们就来认识下什么是User AgentUser Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

我通过测试,在要抓取的页面输出变量$_SERVER["HTTP_USER_AGENT"]为空**。这样在被抓取的服务器通过php来获取$_SERVER["HTTP_USER_AGENT"]的值,如果为空的话**,就跳转到404错误页面,这样就无法抓取到页面信息。

解决方案

解决这个问题有2种方法

1、设置php.ini配置文件,找到user_agent这个开启,把前面的分号去掉;

2、通过php的ini_set()方法设置用户代理。

实例如下

ini_set("user_agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)");
echo file_get_contents("你想要采集的页面url");

通过上面2种方法就可以让$_SERVER["HTTP_USER_AGENT"]的值不为空,就可以顺利的采集到你想要的内容。

注意:在设置user_agent的时候,最好使用浏览器的版本或者蜘蛛,像我上面设置的是火狐的,这样被采集的服务器就会正常的通过认证。因为服务器不会屏蔽蜘蛛或者浏览器的版本的,这个问题你应该清楚吧,哈哈。如果他要是把这个也屏蔽了的话,那就是不让蜘蛛抓取页面,也无法识别用户使用的浏览器里。

Last modification:October 27th, 2020 at 04:26 pm
你的支持是我最大的动力,谢谢