C#.Net基于正则表达式抓取百度百家文章列表的方法示例

2023-09-25 22:30:06 50

本文实例讲述了C#.Net基于正则表达式抓取百度百家文章列表的方法。分享给大家供大家参考，具体如下：

工作之余，学习了一下正则表达式，鉴于实践是检验真理的唯一标准，于是便写了一个利用正则表达式抓取百度百家文章的例子，具体过程请看下面源码：

一、获取百度百家网页内容

publicListGetUrl()
{
try
{
stringurl="http://baijia.baidu.com/";
WebRequestwebRequest=WebRequest.Create(url);
WebResponsewebResponse=webRequest.GetResponse();
StreamReaderreader=newStreamReader(webResponse.GetResponseStream());
stringresult=reader.ReadToEnd();
reader.Close();
webResponse.Close();
returnAnalysisHtml(result);
}
catch(Exceptionex)
{
throwex;
}
}

二、通过正则表达式筛选

publicListAnalysisHtml(stringhtmlContent)
{
Listlist=newList();
stringstrPattern="(?[^<]+)</a></h3>.*\\s*<p\\s*class=\"feeds-item-text\">(?<Abstract>[^<]+)<a\\s*href=\"(?<Url>.*)\"\\s*target=\"_blank\"\\s*class=\"feeds-item-more\"\\s*mon=\".*\\s*\">.*\\s*</a></p>";
Regexregex=newRegex(strPattern,RegexOptions.IgnoreCase|RegexOptions.Multiline|RegexOptions.CultureInvariant);
if(regex.IsMatch(htmlContent))
{
MatchCollectionmatchCollection=regex.Matches(htmlContent);
foreach(MatchmatchinmatchCollection)
{
string[]str=newstring[3];
str[0]=match.Groups[1].Value;//获取到的是列表数据的标题
str[1]=match.Groups[2].Value;//获取到的是内容
str[2]=match.Groups[3].Value;//获取到的是链接到的地址
list.Add(str);
}
}
returnlist;
}

</pre>
<p><strong>附：</strong>完整实例代码点击此处<strong>本站下载</strong>。</p>
<p><strong>PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：</strong></p>
<p><strong>JavaScript正则表达式在线测试工具：<br/>
</strong>http://tools.jb51.net/regex/javascript</p>
<p><strong>正则表达式在线生成工具：<br/>
</strong>http://tools.jb51.net/regex/create_reg</p>
<p>更多关于C#相关内容感兴趣的读者可查看本站专题：《C#正则表达式用法总结》、《C#编码操作技巧总结》、《C#常见控件用法教程》、《WinForm控件用法总结》、《C#数据结构与算法教程》、《C#面向对象程序设计入门教程》及《C#程序设计之线程使用技巧总结》</p>
<p>希望本文所述对大家C#程序设计有所帮助。</p></section>
                </div>
            </div>
            <!--文章阅读上下按钮-->  
            <nav>
                                    <span class="meta-nav"><a href="/article/228457.html" title="PHP基于闭包思想实现的BT(torrent)文件解析工具实例详解" se_prerender_url="complete">上一篇<br>PHP基于闭包思想实现的BT(torrent)文件解析工具实例详解</a></span>
                
                                    <span class="meta-nav"><a href="/article/228454.html" title="用Python实现随机森林算法的示例" se_prerender_url="complete">下一篇<br>用Python实现随机森林算法的示例</a></span>
                            <div class="clear"></div>
            </nav>
            <!-- 文章推荐 -->
            <div class="article-recommend">         
                <h3>热门推荐</h3> 
                                        <div class="title"><span class="s-1">1</span> <a href="/article/10835.html" title="毛坯房验收经验和常识 看了之后再验房心里有底">毛坯房验收经验和常识 看了之后再验房心里有底</a></div>  
                                        <div class="title"><span class="s-2">2</span> <a href="/article/10697.html" title="二手房收房如何交接 二手房收房注意问题">二手房收房如何交接 二手房收房注意问题</a></div>  
                                        <div class="title"><span class="s-3">3</span> <a href="/article/10605.html" title="专业验收毛坯房的价格 商品房验收合格的标准">专业验收毛坯房的价格 商品房验收合格的标准</a></div>  
                                        <div class="title"><span class="s-4">4</span> <a href="/article/10568.html" title="精装房怎么验收 精装房请验房师有用吗">精装房怎么验收 精装房请验房师有用吗</a></div>  
                                        <div class="title"><span class="s-5">5</span> <a href="/article/10567.html" title="一般要到哪里找验房师 验房师有哪些作用呢">一般要到哪里找验房师 验房师有哪些作用呢</a></div>  
                                        <div class="title"><span class="s-6">6</span> <a href="/article/10566.html" title="请人验房一般是多少钱 验房师费用是多少">请人验房一般是多少钱 验房师费用是多少</a></div>  
                                        <div class="title"><span class="s-7">7</span> <a href="/article/10553.html" title="怎样测量房子面积 建筑面积和使用面积怎么算">怎样测量房子面积 建筑面积和使用面积怎么算</a></div>  
                                        <div class="title"><span class="s-8">8</span> <a href="/article/10550.html" title="收房需要注意什么 仔细检查不松懈">收房需要注意什么 仔细检查不松懈</a></div>  
                                        <div class="title"><span class="s-9">9</span> <a href="/article/10548.html" title="收房时三书一证一表是什么 主要作用介绍">收房时三书一证一表是什么 主要作用介绍</a></div>  
                                        <div class="title"><span class="s-10">10</span> <a href="/article/10547.html" title="交房时交房税费有哪些 本文为你一一讲解">交房时交房税费有哪些 本文为你一一讲解</a></div>  
                                        <div class="title"><span class="s-11">11</span> <a href="/article/10526.html" title="验房都需要验什么 要做哪些准备呢">验房都需要验什么 要做哪些准备呢</a></div>  
                                        <div class="title"><span class="s-12">12</span> <a href="/article/10525.html" title="毛坯房验房师有必要请吗 毛坯房装修完如何验收">毛坯房验房师有必要请吗 毛坯房装修完如何验收</a></div>  
                                        <div class="title"><span class="s-13">13</span> <a href="/article/7820.html" title="地下室防水工程质量验收规范详解">地下室防水工程质量验收规范详解</a></div>  
                                        <div class="title"><span class="s-14">14</span> <a href="/article/4947.html" title="水性涂料、油性涂料区别介绍">水性涂料、油性涂料区别介绍</a></div>  
                                        <div class="title"><span class="s-15">15</span> <a href="/article/4517.html" title="零基础布艺DIY工坊 教你做超萌猫头鹰钥匙包">零基础布艺DIY工坊 教你做超萌猫头鹰钥匙包</a></div>  
                                        <div class="title"><span class="s-16">16</span> <a href="/article/4438.html" title="三棵树漆怎么样？三棵树漆官方网站">三棵树漆怎么样？三棵树漆官方网站</a></div>  
                                        <div class="title"><span class="s-17">17</span> <a href="/article/4258.html" title="家庭“装修套餐”中猫腻你知道吗？">家庭“装修套餐”中猫腻你知道吗？</a></div>  
                                        <div class="title"><span class="s-18">18</span> <a href="/article/4051.html" title="小空间大浴望 卫浴间装修巧支招">小空间大浴望 卫浴间装修巧支招</a></div>  
                     
            </div>
            <div class="add-gg">
                <!-- 文章内页广告 -->
                <ins class="adsbygoogle"
                     style="display:block"
                     data-ad-client="ca-pub-4387516810452807"
                     data-ad-slot="9131157744"
                     data-ad-format="auto"
                     data-full-width-responsive="true"></ins>
                <script>
                     (adsbygoogle = window.adsbygoogle || []).push({});
                </script>
            </div>
        </div>
        <!--侧边栏-->
        <div id="sidebar">
            <li class="sidebar-box">
                <h3 class="widget-title">随机推荐</h3>
                <ul>
                                            <li>
                            <a href="/article/54556.html" title="股票里面总资产和总市值什么关系 总资产和总市值的具体内容">股票里面总资产和总市值什么关系 总资产和总市值的具体内容</a>
                        </li>
                                            <li>
                            <a href="/article/54557.html" title="LTE流量和TD流量是什么意思">LTE流量和TD流量是什么意思</a>
                        </li>
                                            <li>
                            <a href="/article/54558.html" title="剑阁峥嵘而崔嵬的峥嵘是什么意思 剑阁峥嵘而崔嵬是谁写的">剑阁峥嵘而崔嵬的峥嵘是什么意思 剑阁峥嵘而崔嵬是谁写的</a>
                        </li>
                                            <li>
                            <a href="/article/54559.html" title="月季花是在几月份开 月季花什么时候开花">月季花是在几月份开 月季花什么时候开花</a>
                        </li>
                                            <li>
                            <a href="/article/54560.html" title="杨梅坑攻略 在哪里">杨梅坑攻略 在哪里</a>
                        </li>
                                            <li>
                            <a href="/article/54561.html" title="保护野生动物有多重要 保护野生动物重要意义">保护野生动物有多重要 保护野生动物重要意义</a>
                        </li>
                                            <li>
                            <a href="/article/54562.html" title="纯牛奶做奶油的方法 教你做奶油的方法">纯牛奶做奶油的方法 教你做奶油的方法</a>
                        </li>
                                            <li>
                            <a href="/article/54563.html" title="木兰花花语 木兰花花语是什么">木兰花花语 木兰花花语是什么</a>
                        </li>
                                            <li>
                            <a href="/article/54564.html" title="花蛤怎么炒好吃 花蛤这样炒才好吃简单三步骤">花蛤怎么炒好吃 花蛤这样炒才好吃简单三步骤</a>
                        </li>
                                            <li>
                            <a href="/article/54565.html" title="逝者已矣生者如斯意思 逝者已矣生者如斯的意思是什么">逝者已矣生者如斯意思 逝者已矣生者如斯的意思是什么</a>
                        </li>
                                            <li>
                            <a href="/article/54566.html" title="魔方最基本的教程 怎么玩魔方">魔方最基本的教程 怎么玩魔方</a>
                        </li>
                                            <li>
                            <a href="/article/54567.html" title="酱肉的制作方法 怎么做酱肉">酱肉的制作方法 怎么做酱肉</a>
                        </li>
                                            <li>
                            <a href="/article/54568.html" title="增加c盘空间怎么做 增加c盘空间做法简述">增加c盘空间怎么做 增加c盘空间做法简述</a>
                        </li>
                                            <li>
                            <a href="/article/54569.html" title="双氧水有毒吗 双氧水是不是有毒的">双氧水有毒吗 双氧水是不是有毒的</a>
                        </li>
                                            <li>
                            <a href="/article/54570.html" title="车辆购置税怎么做会计分录 快来看看以下信息">车辆购置税怎么做会计分录 快来看看以下信息</a>
                        </li>
                                            <li>
                            <a href="/article/54571.html" title="2023年冬天是几月到几月">2023年冬天是几月到几月</a>
                        </li>
                                    </ul>
            </li>
            <li class="sidebar-box">

                 <!-- google文章侧边 -->
                <ins class="adsbygoogle"
                     style="display:block"
                     data-ad-client="ca-pub-4387516810452807"
                     data-ad-slot="8604338277"
                     data-ad-format="auto"
                     data-full-width-responsive="true"></ins>
                <script>
                     (adsbygoogle = window.adsbygoogle || []).push({});
                </script>
            </li>
        </div>
    </div>
</div>

<ul class="suspend">
    <li class="back-top" onclick="backTop()">
        <i class="fa fa-chevron-up"></i>
        <span class="more">返回顶部</span>
    </li>
    <li>
        <a href="http://wpa.qq.com/msgrd?v=3&uin=514930285&site=qq&menu=yes">
            <i class="fa fa-qq"></i>
            <span class="more">514930285</span>
        </a>
    </li>
    <li>
        <a href="mailto:czq8825@qq.com">
            <i class="fa fa-envelope"></i>
            <span class="more">czq8825@qq.com</span>
        </a>
    </li>
<!--     <li>
        <i class="fa fa-weixin"></i>
        <span class="more weixin"><img src="http://www.haoziyuan.cc/Uploads/20210427/6087c019e1f1f.jpg" alt="微信二维码"></span>
    </li> -->
</ul>

<footer class="footer clearfix">
    <p>免责声明：网站资源来源于网络，如有侵权，请及时联系删除。</p>
    <p>Copyright © 2024 <a href="/">好资源导航网</a>. All Rights Reserved.</p>
    <p>
        <a href="https://beian.miit.gov.cn">蜀ICP备2021004611号-4</a>
        <a href="/sitemap.html">网站地图</a>
        <script>
!function(p){"use strict";!function(t){var s=window,e=document,i=p,c="".concat("https:"===e.location.protocol?"https://":"http://","sdk.51.la/js-sdk-pro.min.js"),n=e.createElement("script"),r=e.getElementsByTagName("script")[0];n.type="text/javascript",n.setAttribute("charset","UTF-8"),n.async=!0,n.src=c,n.id="LA_COLLECT",i.d=n;var o=function(){s.LA.ids.push(i)};s.LA?s.LA.ids&&o():(s.LA=p,s.LA.ids=[],o()),r.parentNode.insertBefore(n,r)}()}({id:"JkYxq0Tbzm6jhVv6",ck:"JkYxq0Tbzm6jhVv6"});
</script>    </p>
</footer>
<script src="/Public/Home/js/main.js"></script>
<script type="text/javascript" src="/Public/Home/js/z_stat.js"></script>
</body>
</html>