基于WebBrowser 的爬虫程序

Posted ransom

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于WebBrowser 的爬虫程序相关的知识,希望对你有一定的参考价值。

  1. WebBrowser的属性和事件
  2. WebBrowser 如何跳转页面
    1. web.Navigate("");
  3. WebBrowser 如何循环跳转获取页面内容
  4. bool loading = true;   //该变量表示网页是否正在加载.
    
            string html = string.Empty;
    
            WebBrowser browser = new WebBrowser();
    
    
    
            public void GetHtml(string[] urls)
    
            {            
    
                browser.Navigated += new WebBrowserNavigatedEventHandler(browser_Navigated);
    
                foreach (string url in urls)
    
                {
    
                    loading = true;  //表示正在加载
    
                      browser.Navigate(url);
    
    
    
                    while (loading)
    
                    {
    
                        Application.DoEvents();//等待本次加载完毕才执行下次循环.
    
                    }
    
                }
    
            }
    
    
    
            void browser_Navigated(object sender, WebBrowserNavigatedEventArgs e)
    
            {
    
                html = browser.DocumentText;  //获取到的html.
    
    
    
                loading = false;//在加载完成后,将该变量置为false,下一次循环随即开始执行.
    
            }

     

  5. 完整代码下载地址

以上是关于基于WebBrowser 的爬虫程序的主要内容,如果未能解决你的问题,请参考以下文章

webbrowser 内核是ie吗

DELPHI中的webbrowser如何有效防止内存疏漏

爬虫基础(非正则)

如何从托管 WebBrowser 控件的应用程序调用 WebBrowser 控件查看的页面中的 JavaScript 函数?

webbrowser 登录网页

scrapy按顺序启动多个爬虫代码片段(python3)