做视频没有背景音乐，我爬取了一批音乐素材

淡淡的烟草味﹌ 2022-06-01 00:45 218阅读 0赞

webCollector 提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。webCollector 致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了 Jsoup，可进行精准的网页解析。

以上内容摘抄于开源社区对webCollector的介绍，参考文档链接：[点击打开链接][Link 1]

webCollector中提供了visit()、addSeed()、addRegex()和start()等方法。

1.visit()：

核心方法，在整个抓取过程中，只要抓到一个页面，webCollector都会回调该方法，并传入一个包含了该页面所有信息的page对象。

2.addSeed()：

添加种子链接，种子链接会在爬虫启动之前加入到抓取信息中并标记为未抓取状态，可以简单理解为爬虫启动的入口。

3.addRegex()：

设定一个url的正则表达式，过滤不必抓取的链接比如.js、.jpg、.css等，或者指定抓取链接的规则。

4.start()：

启动爬虫，start(5)表示抓取的深度为5层。深度可以理解为：当只添加了一个种子, 抓这个种子链接为第1层，解析抓取这个种子链接得到数据，根据正则过滤数据得到想要的链接保存至待抓取记录，抓取这些新得到的链接则为第2层，依次类推。

使用webCollector抓取包图网的音乐素材（标题、访问链接），项目使用maven管理jar包，实现思路整体如下：

1：继承BreadthCrawler，重写构造方法和visit()方法

2：在构造方法中设置采集规则

3：在visit()中利用正则表达式匹配抓取到链接，得到我们要的链接

4：根据page对象和网页的结构，获取想要的数据

5：调用start()方法启动爬虫

项目源码：

public class MusicCrawler extends BreadthCrawler{
    
        /**
         * 重写构造方法
         * @param crawlPath
         * @param autoParse
         */
        public MusicCrawler(String crawlPath, boolean autoParse) {
            super(crawlPath, autoParse);
            //添加种子页面
            this.addSeed("http://ibaotu.com/peiyue/11-0-0-0-0-1.html");
            //设置采集规则的类型网页
            this.addRegex("http://ibaotu.com/peiyue/11-[0-9]+-[0-9]+-[0-9]+-[0-9]+-[0-9]+\\.html");
            //设置线程数
            this.setThreads(5);
            //不匹配图片
            this.addRegex("-.*\\.(jpg|png|gif).*");
            //爬取URL上限
            getConf().setTopN(50000);
        }
    
        public void visit(Page page, CrawlDatums next) {
            String url = page.url();
            if(page.matchUrl("http://ibaotu.com/peiyue/11-[0-9]+-[0-9]+-[0-9]+-[0-9]+-[0-9]+\\.html")){
                String title = page.select("div[class=audio-info]>a").first().text();
                String audio = page.select("audio>source").attr("src");
                System.out.println("title:\n"+title);
                System.out.println("audio:\n"+audio);
            }
        }
    
        public static void main(String[] args) throws Exception{
            MusicCrawler musicCrawler = new MusicCrawler("crawl",true);
            //设置爬虫深度
            musicCrawler.start(5);
        }
    }

上面只显示了核心代码，全部代码已托管，地址：[https://gitee.com/lveex/easycrawler.git][https_gitee.com_lveex_easycrawler.git]

运行结果：

![SouthEast][]

[Link 1]: http://www.oschina.net/p/webcollector
[https_gitee.com_lveex_easycrawler.git]: https://gitee.com/lveex/easycrawler.git
[SouthEast]: /images/20220601/340532a8968c43029e225d0a3a368fad.png