建站
咨询
售后
建站咨询
PHP怎样抓取网页代码中动态（Ajax）显示的数据
你是想抓别人网页上ajax动态载入的数据吧？ 1、要找到它的ajax载入的URL地址 2、利用PHP的file_get_contents($url)函数读取那个url地址。 3、对抓取到的内容进行分析或正则过滤。
创新互联建站是一家专注于成都网站制作、成都做网站、外贸营销网站建设和服务器托管的网络公司，有着丰富的建站经验和案例。
phpstudy怎么抓取网页数据
什么网页数据？
是打开 本地网页还是打开网上网页
如果是本地网页的话 在浏览器上输入127.0.0.1或者localhost进行访问
如果是外网我理解的是你要获取外网的一个网页，可以用代码或者程序来实现
（一般称为采集程序，或者小偷程序）
//个人认为curl好一点，因为curl可以模拟浏览器，有的网站会过滤机器人
//1.php代码
//把网页读入一个字符串
$contone = file_get_contents('url');
print_r($contone);
//curl采集
#初始化curl （true/false）
$ch=curl_init();
#请求url地址
$params[CURLOPT_URL]='网址';
#是否返回响应头信息
$params[CURLOPT_HEADER] = true;
#是否将结果返回
$params[CURLOPT_RETURNTRANSFER] = true;
#是否重定向
$params[CURLOPT_FOLLOWLOCATION] = true;
#伪造浏览器
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
curl_setopt_array($ch, $params);
$content=curl_exec($ch);
//输出网页内容
print_r($content);
//下面是整个curl采集类
class Curl{
#采集的地址
public $url;
#匹配的正则
public $preg;
#模拟登录需要的用户名
public $username;
#模拟登录需要的密码;
public $pwd;
#cookie存储的路径
private $cookie_path;
#采集数据的字符集
public $charset;
/**
* 构造方法，初始化采集基本信息
* @param $url 采集的url
* @param $preg 匹配的正则
* @param string $username 用户名
* @param string $pwd 密码
* @param string $charset 字符集
*/
public function __construct($info){
extract($info);
$this-url=$url;
$this-preg=$preg;
if(isset($charset)){
header("content-type:text/html;charset=".$this-charset);
}else{
header("content-type:text/html;charset=utf-8");
}
if(isset($username)){
$this-username=$username;
}
if(isset($pwd)){
$this-pwd=$pwd;
}
}
/*
* 采集数据，非表单提交方式，直接采集的
*/
public function get_info(){
#初始化curl
$ch=curl_init();
#请求url地址
$params[CURLOPT_URL]=$this-url;
#是否返回响应头信息
$params[CURLOPT_HEADER] = true;
#是否将结果返回
$params[CURLOPT_RETURNTRANSFER] = true;
#是否重定向
$params[CURLOPT_FOLLOWLOCATION] = true;
#伪造浏览器
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
//判断是否有cookie,有的话直接使用
//if (isset($_COOKIE['cookie_jar']) ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar']))){
// $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
//} else {
// $cookie_jar = tempnam($this-cookie_path, 'cookie'); //产生一个cookie文件
// $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
// setcookie('cookie_jar', $cookie_jar); //保存cookie路径
//}
#开始发送请求，传入curl参数
curl_setopt_array($ch, $params);
$content=curl_exec($ch);
preg_match_all($this-preg,$content,$arr);
return $arr;
}
/**
* 采集远程图片
* @param $img 图片路径 是一个数组
* @param $save_path 图片保存在你本地的路径
* @return bool
*/
public function get_img($img,$save_path){
for($i=0;$icount($img);$i++) {
$res=@file_get_contents($img[$i]);
$img_type=substr($img[$i], strrpos($img[$i], "."));
$path=$save_path.time().rand(1,9999999).mt_rand() .$img_type;
$img[$i] = $path;
file_put_contents($path,$res);
}
return $img;
}
//登录后采集
public function register_info(){
//采集的信息需要先登录的就要先模拟登录
//设置cookie保存路径
$ch = curl_init();
//组装用户名和密码
$info['username'] = $this-username;
$info['password'] = $this-pwd;
//模拟表单提交
$params[CURLOPT_URL] = $this-url; //请求url地址
$params[CURLOPT_HEADER] = true; //是否返回响应头信息
$params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回
$params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
$postfields = '';
//将表单要提交的数据编程URL拼接方式
foreach ($info as $key = $value){
$postfields .= urlencode($key) . '=' . urlencode($value) . '';
}
$params[CURLOPT_POST] = true;
$params[CURLOPT_POSTFIELDS] = $postfields;
//判断是否有cookie,有的话直接使用
if (isset($_COOKIE['cookie_jar'])($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){
$params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
}else{
$cookie_jar = tempnam($this-cookie_path, 'cookie'); //产生一个cookie文件
$params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
setcookie('cookie_jar', $cookie_jar); //保存cookie路径
}
curl_setopt_array($ch, $params); //传入curl参数
$content = curl_exec($ch); //执行
return $content;
}
}
php中如何提取数据？
有很多方法的呀，
1)字符串截取，$result
=
substr($whole,
0,
4);
2)用空格分割字符串到数组中：$ary
=
explode('
',
$whole);
$result
=
$ary[0]
PHP怎样抓取网页代码中动态显示的数据
PHP Simple HTML DOM或者phpQuery可以直接取得某些div中的内容，里面有几个例子专门针对于网页抓取，调整好抓取频次，舍去已经存在的数据，你可以参考下
;id=57class=2
本文名称：php数据抓取教程 php爬虫数据采集
网站URL：http://lswzjz.com/article/ddgpode.html
