关于用php的curl批量抓取内容-创新互联

先上个单个采集的curl访问案例

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);

curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0');

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);

curl_setopt($curl, CURLOPT_AUTOREFERER, 0);

curl_setopt($curl, CURLOPT_HTTPGET, 0);

//curl_setopt($curl, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陆才能采集的话,需要加上你登陆后得到的cookie文件

curl_setopt($curl, CURLOPT_TIMEOUT, 0); // 设置超时限制防止死循环

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 0); // 在发起连接前等待的时间，如果设置为0，则无限等待。

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT_MS, 0); // 尝试连接等待的时间，以毫秒为单位。如果设置为0，则无限等待。

curl_setopt($curl, CURLOPT_HEADER, 0);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$tmpInfo = curl_exec($curl);

var_dump($tmpInfo); exit;

?>

在php开发中,会涉及到一些数据方面的采集工作.那么在我们采集的时候,避不可免的会碰到要批量采集的时候.

举个粟子.

当我们要采集新闻的时候,到了一个新闻的列表页,那么我们分析了这个列表的链接后,当然可以通过循环的方法,一个个的按普通的方式来采集.但是,这很影响效率.执行超慢.于是,翻开php手册,发现还可以批量采集 批量采集神器 curl_multi_init 登场;

假如需要同时采集两个地址,怎么办?

下面这个例子,我想你看了就会明白了

$urls = array('http://www.baidu.com/','http://www.sogou.com/');

$queue = curl_multi_init(); //允许并行地处理批处理cURL句柄。

foreach($urls as $url) {

  $ch = curl_init();

  curl_setopt($ch,  CURLOPT_URL, $url);      //这个curl只是说明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也没有去干,也就是说没有去模拟访问

  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);

  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);

  curl_setopt($ch,  CURLOPT_TIMEOUT, 25000);//超时

  curl_setopt($ch,  CURLOPT_RETURNTRANSFER, 1);

  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的浏览器,这是我的

  //curl_setopt($ch, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陆才能采集的话,需要加上你登陆后得到的cookie文件

  curl_setopt($ch, CURLOPT_HEADER, 0);

  curl_setopt($ch, CURLOPT_NOSIGNAL, true);

  curl_multi_add_handle($queue,$ch);  //向批处理句柄中,添加句柄  后面批量的去模拟访问,抓取回资源

}

$responses = array();  //事先声名一个数组

do{

  while(($code = curl_multi_exec($queue,$active)) == CURLM_CALL_MULTI_PERFORM);  //返回值如果是0,那就得继续

}while($active);   //一直到资源里还有0条为止

//经过了刚才的循环指抓取 此时 $queue 就是一个批量的资源集了 这只是资源集,你需要把它读取出来.好,读取在下面闪亮登场

while($done = curl_multi_info_read($queue)){// 用这个专门读取批量资源集的函数,可以把这个资源集的内容一条条的读出来

  //用上面的函数读出来的,是一个数组,数组中有批量资源中的一条资源,而且被放在 handle 键上

  $str = curl_multi_getcontent($done['handle']);    //要读取资源集的资源条抓取回来的内容,还得用专门的curl_multi_getcontent函数才能完成

  curl_multi_remove_handle($queue,$done['handle']);  //读取了资源,别忘记把该资源从资源集中移除

  curl_close($done['handle']);             //也别忘记把这个资源句柄关闭,减小内存开销

  $responses[] = $str;

}

curl_multi_close($queue);  //把总句柄关闭

var_dump($responses);     //好,打印一下你刚才批量抓取的内容

?>

试着把代码拷到你的电脑上运行一下.

看明白了吗?

不明白,可以问我.乐意为你解答. 注:==>>老鸟匆喷,感觉对你有用,留点话,呵呵

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。