C#.Net基于正则表达式抓取百度百家文章列表的方法示例

本文实例讲述了C#.Net基于正则表达式抓取百度百家文章列表的方法。分享给大家供大家参考，具体如下：

创新互联长期为近千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为让胡路企业提供专业的成都网站建设、成都网站制作，让胡路网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

工作之余，学习了一下正则表达式，鉴于实践是检验真理的唯一标准，于是便写了一个利用正则表达式抓取百度百家文章的例子，具体过程请看下面源码：

一、获取百度百家网页内容

public List GetUrl()
{
  try
  {
    string url = "http://baijia.baidu.com/";
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse = webRequest.GetResponse();
    StreamReader reader = new StreamReader(webResponse.GetResponseStream());
    string result = reader.ReadToEnd();
    reader.Close();
    webResponse.Close();
    return AnalysisHtml(result);
  }
  catch (Exception ex)
  {
    throw ex;
  }
}

二、通过正则表达式筛选

public List AnalysisHtml(string htmlContent)
{
  List list = new List();
  string strPattern = "(?[^<]+)</a></h4>.*\\s*<p\\s*class=\"feeds-item-text\">(?<Abstract>[^<]+)<a\\s*href=\"(?<Url>.*)\"\\s*target=\"_blank\"\\s*class=\"feeds-item-more\"\\s*mon=\".*\\s*\">.*\\s*</a></p>";
  Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
  if (regex.IsMatch(htmlContent))
  {
    MatchCollection matchCollection = regex.Matches(htmlContent);
    foreach (Match match in matchCollection)
    {
      string[] str = new string[3];
      str[0] = match.Groups[1].Value;//获取到的是列表数据的标题
      str[1] = match.Groups[2].Value;//获取到的是内容
      str[2] = match.Groups[3].Value;//获取到的是链接到的地址
      list.Add(str);
    }
  }
  return list;
}

</pre></div><p><strong>附：</strong>完整实例代码点击此处<strong>本站下载</strong>。</p><p><strong>PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：</strong></p><p><strong>JavaScript正则表达式在线测试工具：<br /></strong>http://tools.jb51.net/regex/javascript</p><p><strong>正则表达式在线生成工具：<br /></strong>http://tools.jb51.net/regex/create_reg</p><p>更多关于C#相关内容感兴趣的读者可查看本站专题：《C#正则表达式用法总结》、《C#编码操作技巧总结》、《C#常见控件用法教程》、《WinForm控件用法总结》、《C#数据结构与算法教程》、《C#面向对象程序设计入门教程》及《C#程序设计之线程使用技巧总结》</p><p>希望本文所述对大家C#程序设计有所帮助。</p>            
            
                        <br>
            网站名称：C#.Net基于正则表达式抓取百度百家文章列表的方法示例            <br>
            浏览路径：<a href="http://dcwzsj.com/article/gjpoog.html">http://dcwzsj.com/article/gjpoog.html</a>
        </div>
    </div>
    <div class="other">
        <h3>其他资讯</h3>
        <ul>
            <li>
                    <a href="/article/dieoehi.html">ios开发视频认证 视频认证是什么</a>
                </li><li>
                    <a href="/article/dieoejo.html">无开发者账号发布ios 开发者尚未在此iphone验证</a>
                </li><li>
                    <a href="/article/dieoeph.html">mysql冲突怎么装 mysql端口冲突</a>
                </li><li>
                    <a href="/article/dieoioc.html">mysql怎么设计表 mysql怎么设计数据库</a>
                </li><li>
                    <a href="/article/dieoico.html">怎么知道mysql用户名 怎么看mysql的用户名和密码</a>
                </li>        </ul>
    </div>
</div>
<div class="footer">
    <div class="contain">
        <div class="foot-nav clearfix">
            <ul class="footer-menu">
                <li class="dropdown" ><a class="dropdown-toggle">服务范围<b class="caret"></b></a>
                    <ul class="child-menu">
                        <li><a href="/website.html">网站建设</a></li>
                        <li><a href="/weixin/" rel="nofollow">微信开发</a></li>
                        <li><a href="/app/" rel="nofollow">APP开发</a></li>
                        <li><a href="/design/" rel="nofollow">品牌设计</a></li>
                        <li><a href="/market/" rel="nofollow">营销推广</a></li>
                    </ul>
                </li>
                <li class="dropdown"><a href="/webcase/" class="dropdown-toggle" title=德昌县做网站案例>德昌县做网站案例<b class="caret"></b></a>
                    <ul class="child-menu">
                        <li><a href="/webcase/jtssgslist.html" id="ctl00_show_85" title="集团上市公司">集团上市公司</a></li>
                        <li><a href="/webcase/ppwzlist.html" id="ctl01_show_81" title="品牌网站">品牌网站</a></li>
                        <li><a href="/webcase/xiangyingshilist.html" id="ctl02_show_82" title="响应式网站">响应式网站</a></li>
                        <li><a href="/Marketingwebsite/index.html" id="ctl03_show_83" title="营销型网站">营销型网站</a></li>
                        <li><a href="/waimaowangzhan/index.html" id="ctl04_show_84" title="外贸网站">外贸网站</a></li>
                    </ul>
                </li>
                <li class="dropdown"><a href="/news/" class="dropdown-toggle">新闻中心 <b class="caret"></b></a>
                    <ul class="child-menu">
            <li><a href="/news/2.html" id="ctl00_show_70" title="德昌县网站建设">德昌县网站建设</a></li><li><a href="/news/3.html" id="ctl00_show_70" title="德昌县网站设计">德昌县网站设计</a></li><li><a href="/news/5.html" id="ctl00_show_70" title="德昌县网站制作">德昌县网站制作</a></li><li><a href="/news/6.html" id="ctl00_show_70" title="德昌县网站优化">德昌县网站优化</a></li>          </ul>
                </li>
                <li class="dropdown"><a href="/Knowledge/" class="dropdown-toggle">知识学堂 <b class="caret"></b></a>
                    <ul class="child-menu">
            <li><a href="/websitelist/8.html" title="德昌县网站建设知识">德昌县网站建设知识</a></li><li><a href="/websitelist/9.html" title="德昌县网站设计知识">德昌县网站设计知识</a></li><li><a href="/websitelist/10.html" title="德昌县微信营销知识">德昌县微信营销知识</a></li><li><a href="/websitelist/11.html" title="德昌县营销推广知识">德昌县营销推广知识</a></li>          </ul>
                </li>
                <li class="dropdown"><a href="/about/" class="dropdown-toggle" rel="nofollow">关于我们 <b class="caret"></b></a>
                    <ul class="child-menu">
                        <li><a href="/about/jj/index.html" id="ctl00_show_1300" title="公司简介" rel="nofollow">公司简介</a></li>
                        <li><a href="/about/history/index.html" id="ctl01_show_1301" title="发展历史" rel="nofollow">发展历史</a></li>
                        <li><a href="/about/jjtd/index.html" id="ctl02_show_1302" title="精英团队" rel="nofollow">精英团队</a></li>
                        <li><a href="/about/join/" rel="nofollow">加入我们</a></li>
                        <li><a href="/about/contact/" rel="nofollow">联系翔捷宏鑫</a></li>
                    </ul>
                </li>
            </ul>
            <dl class="last-dl">
                <dt> <a href="javascript:;" title="联系我们" rel="nofollow">联系翔捷宏鑫</a> </dt>
                <dd class="conta"> <span><img src="/Public/Home/images/zg_ewm.png" width="100" /><br />
          企业微信号</span> </dd>
            </dl>
        </div>
        <div class="childcompan clearfix"> </div>
        <div class="copy">
            友情链接：
            <a href="http://www.qlfdjwx.com/" title="邛崃柴油发电机维修保养公司" target="_blank">邛崃柴油发电机维修保养公司</a>   <a href="https://www.cdcxhl.com/idc/gylt.html" title="贵阳联通机房" target="_blank">贵阳联通机房</a>   <a href="http://www.scanyue.cn/" title="岳网站制作" target="_blank">岳网站制作</a>   <a href="http://www.abwzjs.com/" title="阿坝网站建设" target="_blank">阿坝网站建设</a>   <a href="https://www.91wanzhong.com/" title="成都抖音代运营" target="_blank">成都抖音代运营</a>   <a href="http://www.wjwzjz.com/" title="温江网站建设" target="_blank">温江网站建设</a>   <a href="http://chengdu.cdweb.net/weixinkaifa/fuwuhao.html" title="微信服务号订阅号开发" target="_blank">微信服务号订阅号开发</a>   <a href="http://www.csyarui.cn/" title="雕琢时光食品" target="_blank">雕琢时光食品</a>   <a href="http://www.wzyarui.cn/" title="门店招牌设计安装" target="_blank">门店招牌设计安装</a>   <a href="http://www.muyideyu.com/" title="营山母婴护理中心" target="_blank">营山母婴护理中心</a>           </div>
        <br>
        123ABC<strong> <a href="/">德昌县网站建设</a></strong>，德昌县定制网站建设——全心全意建网站公司 </div>
</div>
<script type="text/javascript" src="/Public/Home/js/meiqia.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery-1.8.3.min.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.easing.1.3.js"></script>
<script type="text/javascript" src="/Public/Home/js/i.js"></script>
<script type="text/javascript" src="/Public/Home/js/script.js"></script>
<script type="text/javascript" src="/Public/Home/js/SuperSlide.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.toTop.min.js"></script>
<script type="text/javascript" src="/Public/Home/js/num-change.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.nicescroll.min.js"></script>
<script type="text/javascript">
    $(".menu li").eq(7).addClass("current-menu-item");
</script>
</body>
</html>
<script>
    $(".con img").each(function(){
        var src = $(this).attr("src");    //获取图片地址
        var str=new RegExp("http");
        var result=str.test(src);
        if(result==false){
            var url = "https://www.cdcxhl.com"+src;    //绝对路径
            $(this).attr("src",url);
        }
    });
    window.onload=function(){
        document.oncontextmenu=function(){
            return false;
        }
    }
</script>