PHP脚本模拟百度爬虫（User-Agent和IP）对目标网站进行抓取实例代码

在网络爬虫的世界里，模拟真实的用户行为或搜索引擎爬虫的行为是一种常见的技术。这种技术可以用于测试网站的抗压能力、分析竞争对手的网站数据，甚至是进行合法的网络研究。在本文中，我们将探讨如何使用PHP编写一个简单的脚本，该脚本将模拟百度爬虫的User-Agent和IP地址，对目标网站进行抓取。

有很多网站设置了ua识别或ip识别，使得访客不可以查看网站原页面，使用php进行Curl的方式，可以查看网页源码。这段代码通过 CURL 发送一个带有特定 HTTP 头信息的 GET 请求，以模拟百度蜘蛛的访问，并输出服务器返回的 HTTP 头信息和响应数据。

具体代码如下：

<?php
// 设置伪造的百度蜘蛛 UA 和 IP
define('BAIDU_SPIDER_UA', 'Mozilla/5.0 (Linux; U; Android 4.4.4; zh-cn; MA5 Build/KTU84P) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/78.0.3904.108 Mobile Safari/537.36 [Baiduspider-mobile-ads]');
$ip = '116.179.32.' . rand(1, 255); // 随机生成一个 IP 地址
define('BAIDU_SPIDER_IP', $ip);

// 初始化 CURL 句柄
$ch = curl_init();

// 设置请求参数和 HTTP 头信息
$url = "目标站";
$options = array(
    CURLOPT_URL => $url,
    CURLOPT_HEADER => true, // 需要包含响应头信息
    CURLOPT_USERAGENT => BAIDU_SPIDER_UA,
    CURLOPT_HTTPHEADER => array(
        'X-Forwarded-For: ' . BAIDU_SPIDER_IP,
        'Accept-Encoding: gzip, deflate, br', // 保持与浏览器一致的压缩模式
    ),
    CURLOPT_ENCODING => 'gzip, deflate, br',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_FOLLOWLOCATION => true, // 表示可以自动跳转
);

// 执行 CURL 请求并处理响应数据
curl_setopt_array($ch, $options);
$result = curl_exec($ch);

if (curl_errno($ch)) {
    echo 'CURL 错误：' . curl_error($ch);
}
else {
    // 输出服务器返回的 HTTP 头信息和原始响应数据
    $header_size = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
    $response_headers = substr($result, 0, $header_size);
    $response_body = substr($result, $header_size);

    echo "HTTP Headers:<br>";
    echo nl2br(htmlspecialchars($response_headers)) . "<br><br>";
    echo "Response body:<br>";
    echo nl2br(htmlspecialchars($response_body));
}

// 关闭 CURL 句柄
curl_close($ch);

其中，设置了 User-Agent 和 X-Forwarded-For 头信息来伪造百度蜘蛛的 UA 和 IP 地址，同时在 HTTP 头信息中声明 Accept-Encoding 以适应各种服务器端压缩方式。

需要注意，此代码仅用于演示如何设置 HTTP 头信息，严禁用于非法操作。

另外，百度蜘蛛的 IP 地址是可变的，如果需要精确模拟爬虫访问，需要获取最新的 IP 地址并替换 BAIDU_SPIDER_IP 常量。

总结：

通过本文的实践，我们了解了如何使用PHP来模拟百度爬虫的User-Agent和IP地址，进而对目标网站进行抓取。这样的技术在合法和道德的前提下，可以用于多种目的，如网站性能测试、SEO分析等。然而，我们必须强调的是，任何形式的网络爬虫都应当遵守相关法律法规和道德规范，尊重网站的Robots协议，避免对目标网站造成不必要的负担和影响。