从所有 asp.net 页面抓取数据,并实现AJAX分页

我想废弃一个包含用户列表的网页,其中包含地址,电子邮件等,网页包含具有分页的用户列表,即页面包含10个用户,当我单击第2页链接时,它将通过AJAX从第2页加载用户列表,并更新所有分页链接的列表等。

网站是在asp中开发的,即带有扩展.aspx的页面,因为我对 asp.net 以及asp如何管理分页和AJAX一无所知

我正在使用简单的html dom http://sourceforge.net/projects/simplehtmldom/ 来废料包含

对于有用户的页面,我不必模拟AJAX请求,就像用户点击分页链接时一样<=10

但是对于具有分页以从其他页面获取数据的页面,我正在模拟AJAX请求后

require 'simple_html_dom.php';

$html = file_get_html('www.example.com/user_list.aspx');

$viewstate = $html->find("#__VIEWSTATE");
$viewstate = $viewstate[0]->attr['value'];

$eventvalidation        = $html->find("#__EVENTVALIDATION");
$eventvalidation        = $eventvalidation[0]->attr['value'];
$number_of_pageinations = 3;

$pageNumberCodes = array(
    'ctl00$cphMainContent$rdpMembers$ctl01$ctl01',
    'ctl00$cphMainContent$rdpMembers$ctl01$ctl02',
    'ctl00$cphMainContent$rdpMembers$ctl01$ctl03'
); // this code is added for each page in POST  as  __EVENTTARGET 

for ($i = 0; $i < $number_of_pageinations; $i++) {
    $options = array(
        CURLOPT_RETURNTRANSFER => true, // return web page
        CURLOPT_HEADER => false, // don't return headers
        CURLOPT_ENCODING => "", // handle all encodings
        CURLOPT_USERAGENT => "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7'", // who am i
        CURLOPT_AUTOREFERER => true, // set referer on redirect
        CURLOPT_CONNECTTIMEOUT => 120, // timeout on connect
        CURLOPT_TIMEOUT => 1120, // timeout on response
        CURLOPT_MAXREDIRS => 10, // stop after 10 redirects
        CURLOPT_POST => true,
        CURLOPT_VERBOSE => true,
        CURLOPT_POSTFIELDS => urlencode('ctl00%24scriptManager=ctl00%24cphMainContent%24ctl00%24cphMainContent%24rdpMembersPanel%7C' . $pageNumberCodes[0] . '&__EVENTTARGET=' . $pageNumberCodes[0] . '&__EVENTARGUMENT=' . '&__VIEWSTATE=' . $viewstate . '&__EVENTVALIDATION=' . $eventvalidation . "&google=" . '&ctl00%24cphMainContent%24txtZip=' . '&ctl00%24cphMainContent%24cboRadius=Exact' . '&ctl00%24cphMainContent%24txtMemberName=' . '&ctl00%24cphMainContent%24txtCity=Honolulu' . '&ctl00%24cphMainContent%24cboState=HI' . '&ctl00%24cphMainContent%24txtAddress=' . '&ctl00_cphMainContent_rdpMembers_ClientState=' . '&ctl00%24cphMainContent%24ddList=-Select%20field%20to%20sort-' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_rdpMembers1_ClientState=' . '&__ASYNCPOST=true' . 'RadAJAXControlID=ctl00_cphMainContent_RadAjaxManager1')
    );
    $ch      = curl_init($url);
    curl_setopt_array($ch, $options);
    $return = curl_exec($ch);
    curl_close($ch);
    echo $return;

    $newHtml = str_get_html($return);

    $viewstate = $newHtml->find("#__VIEWSTATE");
    $viewstate = $viewstate[0]->attr['value'];

    $eventvalidation = $newHtml->find("#__EVENTVALIDATION");
    $eventvalidation = $eventvalidation[0]->attr['value'];
}

这应该回显来自不同页面的数据,但它总是打印第一页的数据,任何人都可以指出我在哪里,缺少什么,我不知道asp如何管理分页和AJAX请求,什么是,和__EVENTARGUMENT__VIEWSTATE__EVENTVALIDATION


答案 1

通常,为了伪造 ASP.NET 网站认为您实际上按下了一个按钮(更一般地说 - 执行了回发),您需要执行以下操作:

  1. 获取页面上每个 INPUT 和 SELECT 元素的值。它可能并非在每种情况下都是必需的,但您至少应始终获取名称以“__”开头的所有隐藏字段的值(例如__VIEWSTATE)。您实际上并不需要知道它们中写入了什么 - 只需将它们中的值必须原封不动地发送回服务器即可。

  2. 创建对服务器的 POST 请求。您需要使用经典的 POST,避免任何 AJAX 请求。使用一些浏览器插件(在Firefox或Chrome中),可以禁用XMLHttpRequest,这样您就可以使用Fiddler等工具拦截非AJAX请求。

  3. 将 #1 中的每个值添加到该发布请求。只需覆盖两个值:__EVENTTARGET和__EVENTARGUMENT。您可以将这些内容留空,除非您尝试模仿的链接或按钮具有类似 的处理程序。如果是,则解析此链接中的值 - 第一个是事件目标(它通常与页面上某些元素的 ID 匹配),第二个是事件参数。onclick<a href="javascript:__doPostBack('ctl00$login','')">

  4. 如果正确执行了请求,则应返回 HTML 页。如果收到部分响应,请检查是否未传递要求异步结果的 HTTP 标头。


答案 2

我最好的建议是使用iMacros https://addons.mozilla.org/en-US/firefox/addon/imacros-for-firefox/

iMacros :

  1. 记录您的页面下载流程。http://wiki.imacros.net/First_Steps
  2. 将网页保存到本地目录。http://wiki.imacros.net/SAVEAS
  3. 使用PHP脚本报废电子邮件,地址等。

无论是ajax - .aspx,.jsp还是.php。


推荐