如何在python中使用pywebcopy克隆网页？

阳光穿透心脏的1/2处 2024-03-23 20:36 127阅读 0赞

![如何在python中使用pywebcopy克隆网页？][python_pywebcopy]

Python提供了Pywebcopy模块，允许我们将整个网站下载并存储到我们的机器上，包括所有图像，HTML页面和其他文件。在这个模块中，我们有一个函数，即 save\_webpage（），它允许我们克隆网页。

### 安装 pywebcopy 模块 ###

首先，我们必须使用以下代码在 python 环境中安装 pywebcopy 模块。

pip install pywebcopy

成功安装后，我们将得到以下输出 –

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ Collecting pywebcopy   Downloading pywebcopy-7.0.2-py2.py3-none-any.whl (46 kB)      . . . . . . . . . . . . . . . . . . . . . . . . . .       . . . . . . . . . . . . . . . . . . . . . . . . . .       . . . . . . . . . . . . . . . . . . . . . . . . . .  Installing collected packages: pywebcopy Successfully installed pywebcopy-7.0.2

#### 语法 ####

以下是使用 Pywebcopy 模块 save\_webpage（） 函数的语法。

from pywebpage import save_webpage kwargs = {‘bypass_robots’: True, ‘project_name’:’example’} save_webpage(url,folder,**kwargs)

哪里

*  kwargs 是我们在下载网页时可以使用的可选关键字参数
 *  bypass\_robots是允许机器人.txt文件与网页一起下载的关键字
 *  project\_name是下载的网页的名称
 *  save\_webpage是函数
 *  网址是网页的链接。
 *  文件夹是我们保存下载文件的位置。

#### 例 ####

下面是一个示例，我们将指定网页 URL、存储文件的位置以及 pywebcopy 模块的 save\_webpage（） 函数的其他关键字参数，然后定义的网页将以指定的名称保存在定义的位置。

from pywebcopy import save_webpage url = 'https://www.10zhan.com/' folder = 'Desktop/March 2023' kwargs = {'bypass_robots': True, 'project_name': 'sample_webpage'} save_webpage(url, folder, **kwargs) print("webpage saved in the location:",folder)

#### 输出 ####

当我们运行上面的代码时，将生成以下输出 -

webpage saved in the location: Desktop/March 2023

#### 例 ####

让我们再看一个例子——

from pywebcopy import save_webpage url = 'https://www.10zhan.com/' folder = 'Articles/March 2023' kwargs = {'bypass_robots': False, 'project_name': 'webpage'} save_webpage(url, folder, **kwargs) print("webpage saved in the location:",folder)

#### 输出 ####

以下是保存网页的输出。

webpage saved in the location: Articles/March 2023

[python_pywebcopy]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8756e267aafa4c64a3fa655dfc7bf5fe.png