python 抓取文件保存pdf文件

我会带着你远行 2022-12-29 00:23 257阅读 0赞

今天的例子以廖雪峰老师的Python教程网站为例：http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000

**二、准备工作**

**1. PyPDF2的安装使用（用来合并PDF）：**

PyPDF2版本：1.25.1

[https://pypi.python.org/pypi/PyPDF2/1.25.1][https_pypi.python.org_pypi_PyPDF2_1.25.1]

或

[https://github.com/mstamy2/PyPDF2][https_github.com_mstamy2_PyPDF2]

安装：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>pip install PyPDF2</code> </td> 
 </tr> 
 </tbody> 
</table>

使用示例：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>from</code> <code>PyPDF2 </code><code>import</code> <code>PdfFileMerger</code> <code>merger </code><code>=</code> <code>PdfFileMerger()</code> <code>input1 </code><code>=</code> <code>open</code><code>(</code><code>"hql_1_20.pdf"</code><code>, </code><code>"rb"</code><code>)</code> <code>input2 </code><code>=</code> <code>open</code><code>(</code><code>"hql_21_40.pdf"</code><code>, </code><code>"rb"</code><code>)</code> <code>merger.append(input1)</code> <code>merger.append(input2)</code> <code># Write to an output PDF document</code> <code>output </code><code>=</code> <code>open</code><code>(</code><code>"hql_all.pdf"</code><code>, </code><code>"wb"</code><code>)</code> <code>merger.write(output)</code> </td> 
 </tr> 
 </tbody> 
</table>

**2. requests、beautifulsoup 是爬虫两大神器，reuqests 用于网络请求，beautifusoup 用于操作 html 数据。**有了这两把梭子，干起活来利索。scrapy 这样的爬虫框架我们就不用了，这样的小程序派上它有点杀鸡用牛刀的意思。此外，既然是把 html 文件转为 pdf，那么也要有相应的库支持， wkhtmltopdf 就是一个非常的工具，它可以用适用于多平台的 html 到 pdf 的转换，pdfkit 是 wkhtmltopdf 的Python封装包。首先安装好下面的依赖包

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>pip install requests</code> <code>pip install beautifulsoup4</code> <code>pip install pdfkit</code> </td> 
 </tr> 
 </tbody> 
</table>

**3. 安装 wkhtmltopdf**

Windows平台直接在 [http://wkhtmltopdf.org/downloads.html][http_wkhtmltopdf.org_downloads.html] 下载稳定版的 wkhtmltopdf 进行安装，安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中，否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”。Ubuntu 和 CentOS 可以直接用命令行进行安装

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>$ sudo apt</code><code>-</code><code>get install wkhtmltopdf </code><code># ubuntu</code> <code>$ sudo yum intsall wkhtmltopdf&nbsp;&nbsp; </code><code># centos</code> </td> 
 </tr> 
 </tbody> 
</table>

**三、数据准备**

**1. 获取每篇文章的url**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 </td> 
 <td> <code>def</code> <code>get_url_list():</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>获取所有URL目录列表</code> <code>&nbsp;&nbsp;</code><code>:return:</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>response </code><code>=</code> <code>requests.get(</code><code>"<a href="http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000" rel="nofollow">http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000</a>"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>soup </code><code>=</code> <code>BeautifulSoup(response.content, </code><code>"html.parser"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>menu_tag </code><code>=</code> <code>soup.find_all(</code><code>class_</code><code>=</code><code>"uk-nav uk-nav-side"</code><code>)[</code><code>1</code><code>]</code> <code>&nbsp;&nbsp;</code><code>urls </code><code>=</code> <code>[]</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>li </code><code>in</code> <code>menu_tag.find_all(</code><code>"li"</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url </code><code>=</code> <code>"<a href="http://www.liaoxuefeng.com" rel="nofollow">http://www.liaoxuefeng.com</a>"</code> <code>+</code> <code>li.a.get(</code><code>'href'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>urls.append(url)</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>urls</code> </td> 
 </tr> 
 </tbody> 
</table>

**2. 通过文章url用模板保存每篇文章的HTML文件**

html模板：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 </td> 
 <td> <code>html_template </code><code>=</code> <code>"""</code> <code>&lt;!DOCTYPE html&gt;</code> <code>&lt;html lang="en"&gt;</code> <code>&lt;head&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;meta charset="UTF-8"&gt;</code> <code>&lt;/head&gt;</code> <code>&lt;body&gt;</code> <code>{content}</code> <code>&lt;/body&gt;</code> <code>&lt;/html&gt;</code> <code>"""</code> </td> 
 </tr> 
 </tbody> 
</table>

进行保存：

**3. 把html转换成pdf**

**4. 把转换好的单个PDF合并为一个PDF**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>merger </code><code>=</code> <code>PdfFileMerger()</code> <code>for</code> <code>pdf </code><code>in</code> <code>pdfs:</code> <code>&nbsp;&nbsp;</code><code>merger.append(</code><code>open</code><code>(pdf,</code><code>'rb'</code><code>))</code> <code>&nbsp;&nbsp;</code><code>print</code> <code>u</code><code>"合并完成第"</code><code>+</code><code>str</code><code>(i)</code><code>+</code><code>'个pdf'</code><code>+</code><code>pdf</code> </td> 
 </tr> 
 </tbody> 
</table>

**完整源码：**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 </td> 
 <td> <code># coding=utf-8</code> <code>import</code> <code>os</code> <code>import</code> <code>re</code> <code>import</code> <code>time</code> <code>import</code> <code>logging</code> <code>import</code> <code>pdfkit</code> <code>import</code> <code>requests</code> <code>from</code> <code>bs4 </code><code>import</code> <code>BeautifulSoup</code> <code>from</code> <code>PyPDF2 </code><code>import</code> <code>PdfFileMerger</code> <code>html_template </code><code>=</code> <code>"""</code> <code>&lt;!DOCTYPE html&gt;</code> <code>&lt;html lang="en"&gt;</code> <code>&lt;head&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;meta charset="UTF-8"&gt;</code> <code>&lt;/head&gt;</code> <code>&lt;body&gt;</code> <code>{content}</code> <code>&lt;/body&gt;</code> <code>&lt;/html&gt;</code> <code>"""</code> <code>def</code> <code>parse_url_to_html(url, name):</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>解析URL，返回HTML内容</code> <code>&nbsp;&nbsp;</code><code>:param url:解析的url</code> <code>&nbsp;&nbsp;</code><code>:param name: 保存的html文件名</code> <code>&nbsp;&nbsp;</code><code>:return: html</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>response </code><code>=</code> <code>requests.get(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>soup </code><code>=</code> <code>BeautifulSoup(response.content, </code><code>'html.parser'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code># 正文</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>body </code><code>=</code> <code>soup.find_all(</code><code>class_</code><code>=</code><code>"x-wiki-content"</code><code>)[</code><code>0</code><code>]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code># 标题</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>title </code><code>=</code> <code>soup.find(</code><code>'h4'</code><code>).get_text()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code># 标题加入到正文的最前面，居中显示</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>center_tag </code><code>=</code> <code>soup.new_tag(</code><code>"center"</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>title_tag </code><code>=</code> <code>soup.new_tag(</code><code>'h1'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>title_tag.string </code><code>=</code> <code>title</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>center_tag.insert(</code><code>1</code><code>, title_tag)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>body.insert(</code><code>1</code><code>, center_tag)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html </code><code>=</code> <code>str</code><code>(body)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code># body中的img标签的src相对路径的改成绝对路径</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pattern </code><code>=</code> <code>"(&lt;img .*?src=\")(.*?)(\")"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code> <code>func(m):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>not</code> <code>m.group(</code><code>3</code><code>).startswith(</code><code>"http"</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>rtn </code><code>=</code> <code>m.group(</code><code>1</code><code>) </code><code>+</code> <code>"<a href="http://www.liaoxuefeng.com" rel="nofollow">http://www.liaoxuefeng.com</a>"</code> <code>+</code> <code>m.group(</code><code>2</code><code>) </code><code>+</code> <code>m.group(</code><code>3</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>rtn</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>m.group(</code><code>1</code><code>)</code><code>+</code><code>m.group(</code><code>2</code><code>)</code><code>+</code><code>m.group(</code><code>3</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html </code><code>=</code> <code>re.</code><code>compile</code><code>(pattern).sub(func, html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html </code><code>=</code> <code>html_template.</code><code>format</code><code>(content</code><code>=</code><code>html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>html </code><code>=</code> <code>html.encode(</code><code>"utf-8"</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>with </code><code>open</code><code>(name, </code><code>'wb'</code><code>) as f:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>f.write(html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>name</code> <code>&nbsp;&nbsp;</code><code>except</code> <code>Exception as e:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>logging.error(</code><code>"解析错误"</code><code>, exc_info</code><code>=</code><code>True</code><code>)</code> <code>def</code> <code>get_url_list():</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>获取所有URL目录列表</code> <code>&nbsp;&nbsp;</code><code>:return:</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>response </code><code>=</code> <code>requests.get(</code><code>"<a href="http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000" rel="nofollow">http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000</a>"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>soup </code><code>=</code> <code>BeautifulSoup(response.content, </code><code>"html.parser"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>menu_tag </code><code>=</code> <code>soup.find_all(</code><code>class_</code><code>=</code><code>"uk-nav uk-nav-side"</code><code>)[</code><code>1</code><code>]</code> <code>&nbsp;&nbsp;</code><code>urls </code><code>=</code> <code>[]</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>li </code><code>in</code> <code>menu_tag.find_all(</code><code>"li"</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url </code><code>=</code> <code>"<a href="http://www.liaoxuefeng.com" rel="nofollow">http://www.liaoxuefeng.com</a>"</code> <code>+</code> <code>li.a.get(</code><code>'href'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>urls.append(url)</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>urls</code> <code>def</code> <code>save_pdf(htmls, file_name):</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>把所有html文件保存到pdf文件</code> <code>&nbsp;&nbsp;</code><code>:param htmls: html文件列表</code> <code>&nbsp;&nbsp;</code><code>:param file_name: pdf文件名</code> <code>&nbsp;&nbsp;</code><code>:return:</code> <code>&nbsp;&nbsp;</code><code>"""</code> <code>&nbsp;&nbsp;</code><code>options </code><code>=</code> <code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'page-size'</code><code>: </code><code>'Letter'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'margin-top'</code><code>: </code><code>'0.75in'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'margin-right'</code><code>: </code><code>'0.75in'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'margin-bottom'</code><code>: </code><code>'0.75in'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'margin-left'</code><code>: </code><code>'0.75in'</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'encoding'</code><code>: </code><code>"UTF-8"</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'custom-header'</code><code>: [</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>'Accept-Encoding'</code><code>, </code><code>'gzip'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'cookie'</code><code>: [</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>'cookie-name1'</code><code>, </code><code>'cookie-value1'</code><code>),</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>'cookie-name2'</code><code>, </code><code>'cookie-value2'</code><code>),</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>],</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'outline-depth'</code><code>: </code><code>10</code><code>,</code> <code>&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;</code><code>pdfkit.from_file(htmls, file_name, options</code><code>=</code><code>options)</code> <code>def</code> <code>main():</code> <code>&nbsp;&nbsp;</code><code>start </code><code>=</code> <code>time.time()</code> <code>&nbsp;&nbsp;</code><code>file_name </code><code>=</code> <code>u</code><code>"liaoxuefeng_Python3_tutorial"</code> <code>&nbsp;&nbsp;</code><code>urls </code><code>=</code> <code>get_url_list()</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>index, url </code><code>in</code> <code>enumerate</code><code>(urls):</code> <code>&nbsp;&nbsp;&nbsp;</code><code>parse_url_to_html(url, </code><code>str</code><code>(index) </code><code>+</code> <code>".html"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>htmls </code><code>=</code><code>[]</code> <code>&nbsp;&nbsp;</code><code>pdfs </code><code>=</code><code>[]</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>i </code><code>in</code> <code>range</code><code>(</code><code>0</code><code>,</code><code>124</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>htmls.append(</code><code>str</code><code>(i)</code><code>+</code><code>'.html'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pdfs.append(file_name</code><code>+</code><code>str</code><code>(i)</code><code>+</code><code>'.pdf'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>save_pdf(</code><code>str</code><code>(i)</code><code>+</code><code>'.html'</code><code>, file_name</code><code>+</code><code>str</code><code>(i)</code><code>+</code><code>'.pdf'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code> <code>u</code><code>"转换完成第"</code><code>+</code><code>str</code><code>(i)</code><code>+</code><code>'个html'</code> <code>&nbsp;&nbsp;</code><code>merger </code><code>=</code> <code>PdfFileMerger()</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>pdf </code><code>in</code> <code>pdfs:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>merger.append(</code><code>open</code><code>(pdf,</code><code>'rb'</code><code>))</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code> <code>u</code><code>"合并完成第"</code><code>+</code><code>str</code><code>(i)</code><code>+</code><code>'个pdf'</code><code>+</code><code>pdf</code> <code>&nbsp;&nbsp;</code><code>output </code><code>=</code> <code>open</code><code>(u</code><code>"廖雪峰Python_all.pdf"</code><code>, </code><code>"wb"</code><code>)</code> <code>&nbsp;&nbsp;</code><code>merger.write(output)</code> <code>&nbsp;&nbsp;</code><code>print</code> <code>u</code><code>"输出PDF成功！"</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>html </code><code>in</code> <code>htmls:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>os.remove(html)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code> <code>u</code><code>"删除临时文件"</code><code>+</code><code>html</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>pdf </code><code>in</code> <code>pdfs:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>os.remove(pdf)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code> <code>u</code><code>"删除临时文件"</code><code>+</code><code>pdf</code> <code>&nbsp;&nbsp;</code><code>total_time </code><code>=</code> <code>time.time() </code><code>-</code> <code>start</code> <code>&nbsp;&nbsp;</code><code>print</code><code>(u</code><code>"总共耗时：%f 秒"</code> <code>%</code> <code>total_time)</code> <code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>'__main__'</code><code>:</code> <code>&nbsp;&nbsp;</code><code>main()</code> </td> 
 </tr> 
 </tbody> 
</table>

[https_pypi.python.org_pypi_PyPDF2_1.25.1]: https://pypi.python.org/pypi/PyPDF2/1.25.1
[https_github.com_mstamy2_PyPDF2]: https://github.com/mstamy2/PyPDF2
[http_wkhtmltopdf.org_downloads.html]: http://wkhtmltopdf.org/downloads.html