php获取指定url页面中的所有链接地址|PHP获取指定URL页面中的所有链接例子

更新时间:2019-10-18    来源:页面特效    手机版     字体:

【www.bbyears.com--页面特效】


以下代码可以获取到指定URL页面中的所有链接,即所有a标签的href属性:

// 获取链接的HTML代码
$html = file_get_contents("http://www.111cn.net");

$dom = new DOMDocument();
@$dom->loadHTML($html);

$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");

for ($i = 0; $i < $hrefs->length; $i++) {
   $href = $hrefs->item($i);
   $url = $href->getAttribute("href");
   echo $url."
";
}

这段代码会获取到所有a标签的href属性,但是href属性值不一定是链接,我们可以在做个过滤,只保留http开头的链接地址:


// 获取链接的HTML代码
$html = file_get_contents("http://www.111cn.net");

$dom = new DOMDocument();
@$dom->loadHTML($html);

$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");

for ($i = 0; $i < $hrefs->length; $i++) {
   $href = $hrefs->item($i);
   $url = $href->getAttribute("href");
  
   // 保留以http开头的链接
   if(substr($url, 0, 4) == "http")
      echo $url."
";
}

fopen()函数读取指定网页中的所有链接并统计出数量,在一些需要采集网页页容的地方,适合使用本代码,本例以读取百度首页为例,找出百度首页中所有的链接地址,代码经过测试,完全可用:

if(empty($url))$url = "http://www.baidu.com/";//需要采集链接的URL地址
$site=substr($url,0,strpos($url,"/",8));
$base=substr($url,0,strrpos($url,"/")+1);//文件所在目录
$fp = fopen($url, "r" );//打开url地址页面
while(!feof($fp))$contents.=fread($fp,1024);
$pattern="|href=["\"]?([^ "\"]+)["\" ]|U";
preg_match_all($pattern,$contents, $regArr, PREG_SET_ORDER);//使用正则匹配所有href=
for($i=0;$i if(!eregi("://",$regArr[$i][1]))//判断是否是相对路径,即是否还有://
    if(substr($regArr[$i][1],0,1)=="/")//是否是站点的根目录
    echo "link".($i+1).":".$site.$regArr[$i][1]."
";//根目录
    else
    echo "link".($i+1).":".$base.$regArr[$i][1]."
";//当前目录
else
    echo "link".($i+1).":".$regArr[$i][1]."
";//相对路径
}
fclose($fp);
?>

本文来源:http://www.bbyears.com/wangyetexiao/74033.html

热门标签

更多>>

本类排行