我们在开发网络程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url地址, 然后得到html源代码或者xml数据,得到数据我们不能直接输出,往往需要对内容进行提取,然后再进行格式化,以更加友好的方式显现出来。 下面简单说一下php抓取页面的几种方法及原理:
一、 PHP抓取页面的主要方法: 1. file()函数 2. file_get_contents()函数 3. fopen()->fread()->fclose()模式 4.curl方式 5. fsockopen()函数 socket模式 6. 使用插件(如:http://sourceforge.net/projects/snoopy/) 二、PHP解析html或xml代码主要方式: 1. file()函数
1
2
3
4
5
6
7
8
9
|
<?php
$lines_array =file( $url );
$lines_string =implode( '' , $lines_array );
echo $lines_string ;
|
2. file_get_contents()函数 使用file_get_contents和fopen必须空间开启allow_url_fopen。方法:编辑php.ini,设置 allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
1
2
3
4
5
6
7
|
<?php
$lines_string = file_get_contents ( $url );
echo htmlspecialchars( $lines_string );
|
3. fopen()->fread()->fclose()模式
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
<?php
$handle = fopen ( $url , "rb" );
$lines_string = "" ;
do {
$data = fread ( $handle ,1024);
if ( strlen ( $data )==0) {
break ;
}
$lines_string .= $data ;
} while (true);
fclose( $handle );
echo $lines_string ;
|
4. curl方式 使用curl必须空间开启curl。方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需 要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下;Linux下要安装curl扩展。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
<?php
$ch =curl_init();
$timeout =5;
curl_setopt( $ch , CURLOPT_URL, $url );
curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
curl_setopt( $ch , CURLOPT_CONNECTTIMEOUT, $timeout );
$lines_string =curl_exec( $ch );
curl_close( $ch );
echo $lines_string ;
|
5. fsockopen()函数 socket模式 socket模式能否正确执行,也跟服务器的设置有关系,具体可以通过phpinfo查看服务器开启了哪些通信协议。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
<?php
$fp = fsockopen ( "t.qq.com" , 80, $errno , $errstr , 30);
if (! $fp ) {
echo "$errstr ($errno)<br />\n" ;
} else {
$out = "GET / HTTP/1.1\r\n" ;
$out .= "Host: t.qq.com\r\n" ;
$out .= "Connection: Close\r\n\r\n" ;
fwrite( $fp , $out );
while (! feof ( $fp )) {
echo fgets ( $fp , 128);
}
fclose( $fp );
}
|
6. snoopy插件,最新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30,推荐大家使用 使用网上非常流行的snoopy来进行采集,这是一个非常强大的采集插件,并且它的使用非常方便,你也可以在里面设置agent来模拟浏览器信息。
1
2
3
4
5
6
7
8
9
10
11
12
|
<?php
require ( 'Snoopy.class.php' );
$snoopy = new Snoopy;
$snoopy ->fetch( $url );
$lines_string = $snoopy ->results;
echo $lines_string ;
|
说明:设置agent是在 Snoopy.class.php 文件的第45行,请在该文件中搜索 “var $agent” (引号中的内容)。浏览器内容你可以使用PHP来获得, 使用 echo $_SERVER['HTTP_USER_AGENT']; 可以得到浏览器信息,将echo出来的内容复制到agent里面就可以了。 |