Python常用爬虫代码总结方便查询-创新互联
beautifulsoup解析页面
from bs4 import BeautifulSoup
soup = BeautifulSoup(htmltxt, "lxml")
# 三种装载器
soup = BeautifulSoup("", "html.parser")
### 只有起始标签的会自动补全，只有结束标签的会自动忽略
### 结果为：
soup = BeautifulSoup("", "lxml")
### 结果为：
soup = BeautifulSoup("", "html5lib")
### html5lib则出现一般的标签都会自动补全
### 结果为：
# 根据标签名、id、class、属性等查找标签
### 根据class、id、以及属性alog-action的值和标签类别查询
soup.find("a",class_="title",id="t1",attrs={"alog-action": "qb-ask-uname"}))
### 查询标签内某属性的值
pubtime = soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content']
### 获取所有class为title的标签
for i in soup.find_all(class_="title"):
print(i.get_text())
### 获取特定数量的class为title的标签
for i in soup.find_all(class_="title",limit = 2):
print(i.get_text())
### 获取文本内容时可以指定不同标签之间的分隔符，也可以选择是否去掉前后的空白。
soup = BeautifulSoup(' The Dormouses story
The Dormouses story
', "html5lib")
soup.find(class_="title").get_text("|", strip=True)
#结果为：The Dormouses story|The Dormouses story
### 获取class为title的p标签的id
soup.find(class_="title").get("id")
### 对class名称正则：
soup.find_all(class_=re.compile("tit"))
### recursive参数，recursive=False时，只find当前标签的第一级子标签的数据
soup = BeautifulSoup('abc','lxml')
soup.html.find_all("title", recursive=False)</pre> <br>
网页标题：Python常用爬虫代码总结方便查询-创新互联 <br>
转载来源：<a href="http://dcwzsj.com/article/hoihh.html">http://dcwzsj.com/article/hoihh.html</a>
</div>
</div>
<div class="other">
<h3>其他资讯</h3>
<ul>
<li>
<a href="/article/seeoic.html">广东正规抖音代运营收费</a>
</li><li>
<a href="/article/seeoep.html">内容营销中短视频的技巧,内容营销中短视频的技巧</a>
</li><li>
<a href="/article/seeoop.html">企业短视频营销培训傲马系统,短视频销售</a>
</li><li>
<a href="/article/seeoed.html">抖音短视频运营有哪些技巧</a>
</li><li>
<a href="/article/seeoie.html">抖音探店分享方法如何去掉位置信息</a>
</li> </ul>
</div>
</div>
<div class="footer">
<div class="contain">
<div class="foot-nav clearfix">
<ul class="footer-menu">
<li class="dropdown" ><a class="dropdown-toggle">服务范围<b class="caret"></b></a>
<ul class="child-menu">
<li><a href="/website.html">网站建设</a></li>
<li><a href="/weixin/" rel="nofollow">微信开发</a></li>
<li><a href="/app/" rel="nofollow">APP开发</a></li>
<li><a href="/design/" rel="nofollow">品牌设计</a></li>
<li><a href="/market/" rel="nofollow">营销推广</a></li>
</ul>
</li>
<li class="dropdown"><a href="/webcase/" class="dropdown-toggle" title=德昌县做网站案例>德昌县做网站案例<b class="caret"></b></a>
<ul class="child-menu">
<li><a href="/webcase/jtssgslist.html" id="ctl00_show_85" title="集团上市公司">集团上市公司</a></li>
<li><a href="/webcase/ppwzlist.html" id="ctl01_show_81" title="品牌网站">品牌网站</a></li>
<li><a href="/webcase/xiangyingshilist.html" id="ctl02_show_82" title="响应式网站">响应式网站</a></li>
<li><a href="/Marketingwebsite/index.html" id="ctl03_show_83" title="营销型网站">营销型网站</a></li>
<li><a href="/waimaowangzhan/index.html" id="ctl04_show_84" title="外贸网站">外贸网站</a></li>
</ul>
</li>
<li class="dropdown"><a href="/news/" class="dropdown-toggle">新闻中心 <b class="caret"></b></a>
<ul class="child-menu">
<li><a href="/news/2.html" id="ctl00_show_70" title="德昌县网站建设">德昌县网站建设</a></li><li><a href="/news/3.html" id="ctl00_show_70" title="德昌县网站设计">德昌县网站设计</a></li><li><a href="/news/5.html" id="ctl00_show_70" title="德昌县网站制作">德昌县网站制作</a></li><li><a href="/news/6.html" id="ctl00_show_70" title="德昌县网站优化">德昌县网站优化</a></li> </ul>
</li>
<li class="dropdown"><a href="/Knowledge/" class="dropdown-toggle">知识学堂 <b class="caret"></b></a>
<ul class="child-menu">
<li><a href="/websitelist/8.html" title="德昌县网站建设知识">德昌县网站建设知识</a></li><li><a href="/websitelist/9.html" title="德昌县网站设计知识">德昌县网站设计知识</a></li><li><a href="/websitelist/10.html" title="德昌县微信营销知识">德昌县微信营销知识</a></li><li><a href="/websitelist/11.html" title="德昌县营销推广知识">德昌县营销推广知识</a></li> </ul>
</li>
<li class="dropdown"><a href="/about/" class="dropdown-toggle" rel="nofollow">关于我们 <b class="caret"></b></a>
<ul class="child-menu">
<li><a href="/about/jj/index.html" id="ctl00_show_1300" title="公司简介" rel="nofollow">公司简介</a></li>
<li><a href="/about/history/index.html" id="ctl01_show_1301" title="发展历史" rel="nofollow">发展历史</a></li>
<li><a href="/about/jjtd/index.html" id="ctl02_show_1302" title="精英团队" rel="nofollow">精英团队</a></li>
<li><a href="/about/join/" rel="nofollow">加入我们</a></li>
<li><a href="/about/contact/" rel="nofollow">联系翔捷宏鑫</a></li>
</ul>
</li>
</ul>
<dl class="last-dl">
<dt> <a href="javascript:;" title="联系我们" rel="nofollow">联系翔捷宏鑫</a> </dt>
<dd class="conta"> <span><img src="/Public/Home/images/zg_ewm.png" width="100" /><br />
企业微信号</span> </dd>
</dl>
</div>
<div class="childcompan clearfix"> </div>
<div class="copy">
友情链接：
<a href="http://www.jinhuajc.com/" title="橡塑板" target="_blank">橡塑板</a> <a href="http://www.zzjierui.cn/" title="广安网站建设" target="_blank">广安网站建设</a> <a href="http://www.ptruijie.cn/" title="新都网站建设" target="_blank">新都网站建设</a> <a href="https://www.cdcxhl.com/qiye.html" title="企业网站建设" target="_blank">企业网站建设</a> <a href="http://www.scjbgc.com/" title="scjbgc.com" target="_blank">scjbgc.com</a> <a href="http://www.cdhuace.com/zhaopai.html" title="发光字制作" target="_blank">发光字制作</a> <a href="http://www.fjlewan.com/" title="广告招牌设计" target="_blank">广告招牌设计</a> <a href="http://www.ytwzsj.com/" title="帝美豪门窗" target="_blank">帝美豪门窗</a> <a href="http://www.bjruijie.cn/" title="bjruijie.cn" target="_blank">bjruijie.cn</a> <a href="https://www.cdcxhl.com/ssl/chengdu.html" title="网站ssl证书" target="_blank">网站ssl证书</a> </div>
<br>
123ABC<strong> <a href="/">德昌县网站建设</a></strong>，德昌县定制网站建设——全心全意建网站公司 </div>
</div>
<script type="text/javascript" src="/Public/Home/js/meiqia.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery-1.8.3.min.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.easing.1.3.js"></script>
<script type="text/javascript" src="/Public/Home/js/i.js"></script>
<script type="text/javascript" src="/Public/Home/js/script.js"></script>
<script type="text/javascript" src="/Public/Home/js/SuperSlide.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.toTop.min.js"></script>
<script type="text/javascript" src="/Public/Home/js/num-change.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.nicescroll.min.js"></script>
<script type="text/javascript">
$(".menu li").eq(7).addClass("current-menu-item");
</script>
</body>
</html>
<script>
$(".con img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
window.onload=function(){
document.oncontextmenu=function(){
return false;
}
}
</script>