jsoup教程_1 简介

蔚落 2023-01-08 03:25 333阅读 0赞

## 1.1 jsoup 概念 ##

> jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，
> 
> 可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

## 1.2 WebMagic 概念 ##

*  完全模块化的设计，强大的可扩展性。
 *  核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
 *  提供丰富的抽取页面API。
 *  无配置，但是可通过POJO+注解形式实现一个爬虫。
 *  支持多线程。
 *  支持分布式。
 *  支持爬取js动态渲染的页面。
 *  无框架依赖，可以灵活的嵌入到项目中去。

![img][]

架构

WebMagic的四个组件：

**1.Downloader**

Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了[Apache HttpClient][]作为下载工具。

**2.PageProcessor**

PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用[Jsoup][]作为HTML解析工具，并基于其开发了解析XPath的工具[Xsoup][]。

在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

**3.Scheduler**

Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。

**4.Pipeline**

Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

[img]: /images/20221119/feee914942384103ab31097ac0db1292.png
[Apache HttpClient]: http://hc.apache.org/index.html
[Jsoup]: http://jsoup.org/
[Xsoup]: https://github.com/code4craft/xsoup

发表评论取消回复

表情：

评论列表（有 0 条评论，333人围观）

还没有评论，来说两句吧...

相关阅读

相关 jsoup教程_3 Jsoup 讲解

项目源代码 https://gitee.com/fakerlove/jsoup 文章目录 3. Jsoup 讲解 3.1 解析Url

￡神魔★判官ぃ/ 2023年01月08日 03:25/ 0 赞/ 280 阅读

相关 jsoup教程_1 简介

1.1 jsoup 概念 > jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， > > 可通过D

蔚落/ 2023年01月08日 03:25/ 0 赞/ 334 阅读

相关 Nacos教程_1 简介和安装

> 教程原稿–https://gitee.com/fakerlove/joker-nacos 文章目录 nacos 教程 1. 简介 1.1 介

素颜马尾好姑娘i/ 2023年01月06日 11:44/ 0 赞/ 625 阅读

相关 Git教程_1 简介

https://gitee.com/fakerlove/git 文章目录 git 教程 1. 简介 1.1 介绍 1.2 环

迷南。/ 2023年01月05日 03:56/ 0 赞/ 274 阅读

相关 Echarts教程_1-2 简介

https://gitee.com/fakerlove/echarts 文章目录 echarts 教程 1. 简介 2. 入门 2.

傷城~/ 2023年01月05日 01:17/ 0 赞/ 271 阅读

相关 docker教程_1 简介和安装

https://gitee.com/fakerlove/docker 文章目录 Docker 教程 1. 简介 1.1 概念

朴灿烈づ我的快乐病毒、/ 2023年01月02日 14:25/ 0 赞/ 272 阅读

相关 1 软件架构设计教程简介

简介按照惯例，该写教程先说两句，当然重点不是为了让大家更好的了解，而是如果没有一个简介，总感觉不正规本教程主要简绍了软件架构的整体过程，教程不一定是 100% 正

浅浅的花香味﹌/ 2022年11月27日 05:26/ 0 赞/ 232 阅读

相关 1 领域驱动设计教程简介

前言该系列教程为依据个人理解，如果有不对的地方（有些地方我也很疑惑，不知道对不对），欢迎指出，我会进行改正前提知识本教程不作为入门教程，在阅读本教程前因该对

痛定思痛。/ 2022年11月26日 08:39/ 0 赞/ 236 阅读

相关 jenkins教程_1 简介

> 文章内容 > https://gitee.com/fakerlove/jenkins 文章目录 1. 简介 1.1 介绍 1.2

ゞ浴缸里的玫瑰/ 2022年10月17日 10:54/ 0 赞/ 302 阅读

相关 jsoup简介

jsoup简介 jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQ

待我称王封你为后i/ 2022年08月20日 08:20/ 0 赞/ 226 阅读