下载图片webcollector

心已赠人 2022-08-21 14:55 210阅读 0赞

import cn.edu.hfut.dmic.webcollector.crawler.BreadthCrawler;
    import cn.edu.hfut.dmic.webcollector.model.Page;
    import cn.edu.hfut.dmic.webcollector.util.FileUtils;
     
    import java.io.IOException;
    import java.util.concurrent.atomic.AtomicInteger;
    import java.util.regex.Pattern;
     
    /**
     * 用WebCollector爬虫爬取整站图片
     */
    public class PicCrawler extends BreadthCrawler{
     
        /*用一个整数，不断自增，来作为下载的图片的文件名*/
        AtomicInteger id=new AtomicInteger(0);
     
        @Override
        public void visit(Page page) {
     
            /*不处理非jpg的网页/文件*/
            if(!Pattern.matches(".*jpg$",page.getUrl())){
                return;
            }
            /*将图片内容保存到文件，page.getContent()获取的是文件的byte数组*/
            try {
                FileUtils.writeFileWithParent("download/"+id.incrementAndGet()+".jpg",page.getContent());
                System.out.println("download:"+page.getUrl());
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
     
        public static void main(String[] args) throws Exception {
            PicCrawler crawler=new PicCrawler();
            crawler.addSeed("http://www.meishij.net/");
            crawler.addRegex("http://.*meishij.net/.*");
            crawler.setThreads(50);
            crawler.start(10);
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关 ResponseEntity返回图片，下载图片

ResponseEntity返回图片代码如下所示 @RequestMapping("/getImageByte") @Response

忘是亡心i/ 2023年06月09日 15:26/ 0 赞/ 37 阅读

相关 Java利用WebCollector抓取网站列表和图片

![0ed7094925c4c800a9ebbf24d1d1c56e.png][] 前言 -------------------- 上一篇文章我们简单的说了如何通过W

刺骨的言语ヽ痛彻心扉/ 2023年01月08日 12:25/ 0 赞/ 174 阅读

相关 java下载图片到本地，例如从网上下载图片，下载淘宝图片，下载百度图片等

java下载图片到本地，例如从网上下载图片，下载淘宝图片，下载百度图片。直接上代码如下： > public static void download(String

刺骨的言语ヽ痛彻心扉/ 2022年10月29日 07:41/ 0 赞/ 346 阅读

相关下载图片webcollector

import cn.edu.hfut.dmic.webcollector.crawler.BreadthCrawler; import cn.edu.hfut.

心已赠人/ 2022年08月21日 14:55/ 0 赞/ 211 阅读

相关 python下载图片

import urllib import urllib2 import os import re f=open("

妖狐艹你老母/ 2022年08月07日 06:37/ 0 赞/ 385 阅读

相关 WebCollector初学教程

Java开源爬虫框架WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫 by [briefcopy][]· Published 2

忘是亡心i/ 2022年06月16日 09:13/ 0 赞/ 265 阅读

相关根据图片地址下载图片

public static void saveFp(String url, String savePath,String filename){ Http

Myth丶恋晨/ 2022年06月02日 10:15/ 0 赞/ 375 阅读

相关 python 下载图片

coding:utf-8 import os import requests if not os.pat

朴灿烈づ我的快乐病毒、/ 2022年05月20日 04:56/ 0 赞/ 434 阅读

相关 js 图片下载

downloadIamge(imgsrc, name) {//下载图片地址和图片名 let image = new Image();

灰太狼/ 2021年08月13日 22:00/ 0 赞/ 552 阅读

相关 Java爬虫框架WebCollector学习

webCollector简介： 1.是一个无须配置、便于二次开发的 Java 爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。WebColl

约定不等于承诺〃/ 2021年06月24日 14:37/ 0 赞/ 539 阅读