暗月梦魂 's Home

实现需求：
通过snoopy获得A站sessionid和验证码图片，在自己的网站上显示登陆表单，提交后，snoopy提交输入信息到A站实现登陆，并获取里面的资料作分析。

验证码和sessionid的获取：
//获取图片
$snoopy->fetch(‘http://www.a.com/imgcode.gif’);
//从header信息里面分析出sessionid
preg_match(‘/JSESSIONID=([\w]+);/’, $snoopy->headers[2],$sessionid);
$jsessionid=$sessionid[1];
$imgcode=base64_encode($snoopy->results);
//显示登陆表单
?>
<form action=”” method=”post”>
<table>
<tr>
<th>用户名</th>
<td><input name=”username”></td>
</tr>
<tr>
<th>密码</th>
<td><input name=”password”></td>
</tr>
<tr>
<th>验证码</th>
<td><input name=”loginValidateCode”>
<img alt=”” src=”data:image/gif;base64,<?php echo $imgcode?>”>
</td>
</tr>
<tr>
<td><input type=”submit”></td>
</tr>
</table>
<input type=”hidden” name=”jsessionid” value=”<?php echo $jsessionid?>”>
</form>

提交表单信息到A站并显示登陆后页面：

$snoopy->cookies[‘JSESSIONID’]=post(‘jsessionid’);
$snoopy->submit(‘http://www.a.com/signin.html’,$_POST);
echo $snoopy->results;

小技巧总结：
可以对获取的图片二进制码通过base64编码直接用在img的src属性
<img alt=”” src=”data:image/gif;base64,<?php echo $base64code?>”>

//—-

Snoopy PHP网页抓取工具

snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。
下面是它的一些特征：
1、方便抓取网页的内容
2、方便抓取网页的文字（去掉HTML代码）
3、方便抓取网页的链接
4、支持代理主机
5、支持基本的用户/密码认证模式
6、支持自定义用户agent,referer,cookies和header内容
7、支持浏览器转向，并能控制转向深度
8、能把网页中的链接扩展成高质量的url（默认）
9、方便提交数据并且获取返回值
10、支持跟踪HTML框架（v0.92增加）
11、支持再转向的时候传递cookies
12、支持sock
类属性: (缺省值在括号里)
$host 连接的主机
$port 连接的端口
$proxy_host 使用的代理主机，如果有的话
$proxy_port 使用的代理主机端口，如果有的话
$agent 用户代理伪装 (Snoopy v0.1)
$referer 来路信息，如果有的话
$cookies cookies， 如果有的话
$rawheaders 其他的头信息, 如果有的话
$maxredirs 最大重定向次数， 0=不允许 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks          是否将链接都补全为完整地址 (true)
$user 认证用户名, 如果有的话
$pass 认证用户名, 如果有的话
$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪里报错, 如果有的话
$response_code 从服务器返回的响应代码
$headers 从服务器返回的头信息
$maxlength 最长返回数据长度
$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)
设置为0为没有超时
$timed_out 如果一次读取操作超时了，本属性返回 true (requires PHP 4 Beta 4+)
$maxframes 允许追踪的框架最大数量
$status 抓取的http的状态
$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)
$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false
类方法:
fetch($URI)
———–
这是为了抓取网页的内容而使用的方法。
$URI参数是被抓取网页的URL地址。
抓取的结果被存储在 $this->results 中。
如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。

fetchtext($URI)
—————
本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。

fetchform($URI)
—————
本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。

fetchlinks($URI)
—————-
本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。
默认情况下，相对链接将自动补全，转换成完整的URL。

submit($URI,$formvars)
———————-
本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。

submittext($URI,$formvars)
————————–
本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。

submitlinks($URI)
—————-
本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。
默认情况下，相对链接将自动补全，转换成完整的URL。

例子:
<?php
include “Snoopy.class.php”;
$url = “http://www.re1d.com/”;
$snoopy = new Snoopy;
$snoopy->fetchtext($url);//抓取内容（去掉html代码）
#$snoopy->fetchlinks($url);//抓取链接
#$snoopy->fetchform($url); //获取表单
print_r($snoopy->results);打出结果

/******************************表单提交****************************/
$submit_url = “http://www.baidu.com/index.php”;//提交页面
$formvars[“wd”] = “QQ:26818750”;//搜索的词
$snoopy->submit($submit_url,$formvars);
print_r($snoopy->results);//获取表单提交后的 返回的结果
# $snoopy->submittext; //提交后只返回 去除html的 文本
# $snoopy->submitlinks;//提交后只返回 链接

/******************************来伪装ip,伪装浏览器****************************/
$formvars[“username”] = “admin”;
$formvars[“pwd”] = “admin”;
$action = “http://www.taoav.com”; //提交页面
$snoopy->cookies[“PHPSESSID”] = ‘fc106b1918bd522cc863f36890e6fff7’; //伪装sessionid
$snoopy->agent = “(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)”; //伪装浏览器
$snoopy->referer = http://www.re1d.com; //伪装来源页地址 http_referer
$snoopy->rawheaders[“Pragma”] = “no-cache”; //cache 的http头信息
$snoopy->rawheaders[“X_FORWARDED_FOR”] = “127.0.0.101”; //伪装ip
$snoopy->submit($action,$formvars);
echo $snoopy->results;

原来我们可以伪装session 伪装浏览器 ，伪装ip， haha 可以做很多事情了。
例如 带验证码，验证ip 投票， 可以不停的投。
ps:这里伪装ip ，其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了，
反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。
关于如何验证码 ，简单说下：
首先用普通的浏览器， 查看页面 ， 找到验证码所对应的sessionid，
同时记下sessionid和验证码值，
接下来就用snoopy去伪造 。
原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。
有时我们可能需要伪造更多的东西,snoopy完全为我们想到了

$snoopy->proxy_host = “www.re1d.com”;
$snoopy->proxy_port = “8080”; //使用代理
$snoopy->maxredirs = 2; //重定向次数
$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到
// 例如链接为 /images/taoav.gif 可改为它的全链接 http://www.taoav.com/images/taoav.gif ;
$snoopy->maxframes = 5 //允许的最大框架数
//注意抓取框架的时候 $snoopy->results 返回的是一个数组
$snoopy->error //返回报错信息

例子: 抓取一个页面并显示他的头信息和页面内容 (去掉HTML标签的页面):

include “Snoopy.class.php”;
$snoopy = new Snoopy;

$snoopy->user = “joe”;
$snoopy->pass = “bloe”;

if($snoopy->fetch(“http://www.re1d.com/”))
{
echo “response code: “.$snoopy->response_code.”<br>\n”;
while(list($key,$val) = each($snoopy->headers))
echo $key.”: “.$val.”<br>\n”;
echo “<p>\n”;

echo “<PRE>”.htmlspecialchars($snoopy->results).”</PRE>\n”;
}
else
echo “error fetching document: “.$snoopy->error.”\n”;

例子: 提交一个表单并且打印出头信息和去掉HTML标签的页面:

include “Snoopy.class.php”;
$snoopy = new Snoopy;

$submit_url = “http://lnk.ispi.net/texis/scripts/msearch/netsearch.html”;

$submit_vars[“q”] = “amiga”;
$submit_vars[“submit”] = “Search!”;
$submit_vars[“searchhost”] = “Altavista”;

if($snoopy->submit($submit_url,$submit_vars))
{
while(list($key,$val) = each($snoopy->headers))
echo $key.”: “.$val.”<br>\n”;
echo “<p>\n”;

echo “<PRE>”.htmlspecialchars($snoopy->results).”</PRE>\n”;
}
else
echo “error fetching document: “.$snoopy->error.”\n”;

例子: 展示所有属性的功能:

include “Snoopy.class.php”;
$snoopy = new Snoopy;

$snoopy->proxy_host = “my.proxy.host”;
$snoopy->proxy_port = “8080”;

$snoopy->agent = “(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)”;
$snoopy->referer = “http://www.microsnot.com/”;

$snoopy->cookies[“SessionID”] = 238472834723489l;
$snoopy->cookies[“favoriteColor”] = “RED”;

$snoopy->rawheaders[“Pragma”] = “no-cache”;

$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;

$snoopy->user = “joe”;
$snoopy->pass = “bloe”;

if($snoopy->fetchtext(“http://www.re1d.com”))
{
while(list($key,$val) = each($snoopy->headers))
echo $key.”: “.$val.”<br>\n”;
echo “<p>\n”;

echo “<PRE>”.htmlspecialchars($snoopy->results).”</PRE>\n”;
}
else
echo “error fetching document: “.$snoopy->error.”\n”;

例子: 抓取框架内容并展示结果：

include “Snoopy.class.php”;
$snoopy = new Snoopy;

$snoopy->maxframes = 5;

if($snoopy->fetch(“http://www.re1d.com/”))
{
echo “<PRE>”.htmlspecialchars($snoopy->results[0]).”</PRE>\n”;
echo “<PRE>”.htmlspecialchars($snoopy->results[1]).”</PRE>\n”;
echo “<PRE>”.htmlspecialchars($snoopy->results[2]).”</PRE>\n”;
}
else
echo “error fetching document: “.$snoopy->error.”\n”;

<?php
$webfile = "sitexml.txt";
$opensite = fopen($webfile, 'r');

function curl($url) {
    /*
    * 测试用的浏览器信息
    *

    */
    $browsers = array (

        "user_agent" => "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 (.NET CLR 3.5.30729)",
        "language" => "en-us,en;q=0.5"
    );
    $ch = curl_init();
    // 设置 url
    curl_setopt($ch, CURLOPT_URL, $url);
    // 设置浏览器的特定header
    //CURLOPT_HTTPHEADER: An array of HTTP header fields to set.
    //curl_setopt($ch, CURLOPT_HTTPHEADER, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 (.NET CLR 3.5.30729)');
    curl_setopt($ch, CURLOPT_HTTPHEADER, array (
        "User-Agent: {$browsers['user_agent']}",
        "Accept-Language: {$browsers['language']}"
    ));

    // 页面内容我们并不需要
    curl_setopt($ch, CURLOPT_NOBODY, 1);
    // 只需返回HTTP header
    curl_setopt($ch, CURLOPT_HEADER, 1);
    // 返回结果，而不是输出它
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    //执行curl操作
    //return (curl_exec($ch)!==false) ? true : false;
    $output = curl_exec($ch);
    return $output;
    curl_close($ch);
}
while (!feof($opensite)) {
    $onesite = fgets($opensite, 4096);
    $onesite = str_replace("\n", "", $onesite);
    $url = $onesite . "/sitemap.xml";
    if (!empty ($onesite)) {

        echo "[URL]: $url<br>";
        echo curl($url);

        if (curl($url) == false) {
            echo '<FONT color=#ff0000>' . "网站不能打开" . '</font>' . "<br>";

        }
        preg_match('/HTTP\/1.1\s*(\d+)[\s\S]+/', curl($url), $http_status);
        //print_r($http_status);
        if ($http_status[1] == 200) {
            echo $url . "存在sitemap" . "<br>";
        }
        if ($http_status[1] == 301) {
            $url = 'www.' . $url;
            preg_match('/HTTP\/1.1\s*(\d+)[\s\S]+/', curl($url), $http_status);
            if ($http_status[1] == 200) {
                echo $url . "存在sitemap" . "<br>";
            } else {
                echo '<FONT color=#ff0000>' . $url . "没有sitemap" . '</font>';
            }
        }
        if ($http_status[1] == (404|400|403|500|501|502|503|504|505)) {
            echo '<FONT color=#ff0000>' . $url . "没有sitemap" . '</font>';

        }

        echo "<br><br>";
    }
}
?>