Python爬虫如何获取页面内所有URL链接？本文详解

素颜马尾好姑娘i 2023-02-13 11:54 48阅读 0赞

# 如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 #

![format_png][]

**什么是Beautiful Soup？**

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快。

**全部代码：**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 </td> 
 <td> <code>from&nbsp;bs4&nbsp;import&nbsp;BeautifulSoup</code> <code>import&nbsp;time,re,urllib2</code> <code>t=time.time()</code> <code>websiteurls={}</code> <code>def&nbsp;scanpage(url):</code> <code>&nbsp;&nbsp;</code><code>websiteurl=url</code> <code>&nbsp;&nbsp;</code><code>t=time.time()</code> <code>&nbsp;&nbsp;</code><code>n=0</code> <code>&nbsp;&nbsp;</code><code>html=urllib2.urlopen(websiteurl).read()</code> <code>&nbsp;&nbsp;</code><code>soup=BeautifulSoup(html)</code> <code>&nbsp;&nbsp;</code><code>pageurls=[]</code> <code>&nbsp;&nbsp;</code><code>Upageurls={}</code> <code>&nbsp;&nbsp;</code><code>pageurls=soup.find_all(</code><code>"a"</code><code>,href=True)</code> <code>&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>links&nbsp;in&nbsp;pageurls:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>websiteurl&nbsp;in&nbsp;links.get(</code><code>"href"</code><code>)&nbsp;</code><code>and</code>&nbsp;<code>links.get(</code><code>"href"</code><code>)&nbsp;not&nbsp;in&nbsp;Upageurls&nbsp;</code><code>and</code>&nbsp;<code>links.get(</code><code>"href"</code><code>)&nbsp;not&nbsp;in&nbsp;websiteurls:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Upageurls[links.get(</code><code>"href"</code><code>)]=0</code> <code>&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>links&nbsp;in&nbsp;Upageurls.keys():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>urllib2.urlopen(links).getcode()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>except:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>"connect&nbsp;failed"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>t2=time.time()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Upageurls[links]=urllib2.urlopen(links).getcode()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>n,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>links,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>Upageurls[links]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>t1=time.time()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>t1-t2</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>n+=1</code> <code>&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>(</code><code>"total&nbsp;is&nbsp;"</code><code>+repr(n)+</code><code>"&nbsp;links"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>print</code>&nbsp;<code>time.time()-t</code> <code>scanpage(</code><code>"http://news.163.com/"</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

利用BeautifulSoup还可以有针对性的获取网页链接：Python爬虫获取网页上的链接，通过beautifulsoup的findall()方法对匹配的标签进行查找。  
最后注意：光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频教程，可以去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，还可以跟老司机交流讨教！

*本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。*

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cueWh0Ny5jb20vdXBsb2FkL2ltYWdlLzIwMjAwMTE0LzVkMGFlNWFhMDIyMDk0NjcuanBn?x-oss-process=image/format,png