ASP.net经过WebBrowser取得AJAX后的网页

今天 Shih-Min 问我说，假设网页一开始是AJAX 会载入一些资料，可是透过WebClient 去抓html

抓到都是JavaScript 跟 AJAX 的原始码，有办法能够抓到AJAX 取完值以后的资料吗?!web

这需求，若是写爬虫可能也会有这需求..个人做法是这样..安全

我是ASP.net 专案..url

创建一个Class 记得要加入 System.Windows.Formsspa

这时候我创建一只 Class 叫作 WebBrowserCrawler.net

using System.Threading;
using System.Windows.Forms;
 
namespace GetAfterAJAXPage
{
 
 
 
    public class WebBrowserCrawler
    {
        // WebBrowser
        private WebBrowser _WebBrowder;
 
        //最后结果
        private string _Result { get; set; }
 
        //网址
        private string _Path { get; set; }
 
      
        /// <summary>
        /// 对外公开的Method
        /// </summary> www.it165.net
        /// <param name="url">URL Path</param>
        /// <returns></returns>
        public string GetReult(string url)
        {
 
            _Path = url;
 
 
            var mThread = new Thread(FatchDataToResult);
            //Apartment 是处理序当中让物件共享相同执行绪存取需求的逻辑容器。 同一 Apartment 内的全部物件都能收到 Apartment 内任何执行绪所发出的呼叫。 
            //.NET Framework 并不使用 Apartment；Managed 物件必须自行以安全执行绪 (Thread-Safe) 的方式运用一切共享资源。
            //由于 COM 类别使用 Apartment，因此 Common Language Runtime 在 COM Interop 的情况下呼叫出 COM 物件时必须创建 Apartment 而且加以初始化。 
            //Managed 执行绪能够创建而且输入只允许一个执行绪的单一执行绪 Apartment (STA)，或者含有一个以上执行绪的多执行绪 Apartment (MTA)。 
            //只要把执行绪的 ApartmentState 属性设定为其中一个 ApartmentState 列举型别 (Enumeration)，便可控制所创建的 Apartment 属于哪一种型别。 
            //由于特定执行绪一次只能初始化一个 COM Apartment，因此第一次呼叫 Unmanaged 程式码以后就没法再变动 Apartment 型别。
            //From : http://msdn.microsoft.com/zh-tw/library/system.threading.apartmentstate.aspx
            mThread.SetApartmentState(ApartmentState.STA);
            mThread.Start();
            mThread.Join();
 
            return _Result;
 
        }
 
        /// <summary>
        /// Call _WebBrowder 抓取资料
        /// For thread Call
        /// </summary>
        private void FatchDataToResult()
        {
            
            _WebBrowder = new WebBrowser();
 
            _WebBrowder.DocumentCompleted += _WebBrowder_DocumentCompleted;
            _WebBrowder.Navigate(_Path);
 
 
            //处理目前在讯息伫列中的全部 Windows 讯息。
            //若是在程式码中呼叫 DoEvents，您的应用程式就能够处理其余事件。例如，若是您的表单将资料加入 ListBox 并将 DoEvents 加入程式码中，则当另外一个视窗拖到您的表单上时，该表单将从新绘製。
            //若是您从程式码移除 DoEvents，您的表单将不会从新绘製，直到按钮按一下的事件处理常式执行完毕。
            while (_WebBrowder.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }
 
            _WebBrowder.Dispose();
 
        }
 
        //结束后回填
        void _WebBrowder_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
            _Result = (sender as WebBrowser).Document.Body.InnerHtml;
            
        }
 
 
    }
 
 
}

为什要这样写经过Thread 来叫用否则会遇到code

以后我呼叫端:
orm

1. WebBrowserCrawler webBrowserCrawler=new WebBrowserCrawler();

2. File.WriteAllText(Server.MapPath("sample.txt"),webBrowserCrawler.GetReult(http://www.in2.cc/sample/waterfalllab.htm));

其中我是将取得后的资料写入到sample.txt 中… htm