JAVA使用webmagic爬虫获取数据

旧城等待， 2022-12-21 06:28 311阅读 0赞

<dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-core</artifactId>
                <version>0.7.3</version>
            </dependency>
            <dependency>
                <groupId>us.codecraft</groupId>
                <artifactId>webmagic-extension</artifactId>
                <version>0.7.3</version>
            </dependency>

package com.china;
    
    import us.codecraft.webmagic.Page;
    import us.codecraft.webmagic.Site;
    import us.codecraft.webmagic.Spider;
    import us.codecraft.webmagic.pipeline.ConsolePipeline;
    import us.codecraft.webmagic.processor.PageProcessor;
    
    public class Test implements PageProcessor { 
    	// 定义重试三次，间隔1000毫秒
        private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
    
        @Override
        public void process(Page page) { 
            page.putField("city",
                    page.getHtml().xpath("//span[@class='weather2-item']/text()").toString());
            page.putField("info_today",
                    page.getHtml().xpath("//div[@data-hook='weather']/text()").toString());
            page.putField("tempera_today",
                    page.getHtml().xpath("//div[@data-hook='tempera']/text()").toString());
        }
    
        @Override
        public Site getSite() { 
            return site;
        }
    
    	// 主线程
        public static void main(String[] args) { 
            Spider.create(new Test()).addUrl("https://www.hao123.com")
            .thread(1)
            .addPipeline(new ConsolePipeline()).run();
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，311人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫——WebMagic的使用

目录 1、简介 2、jar包的下载 3、入门案例（翻页数据采集） 4、相关配置 4.1、User

深碍√TFBOYSˉ_/ 2023年10月13日 22:46/ 0 赞/ 32 阅读

相关【Java爬虫】003-WebMagic学习笔记

一、WebMagic介绍 1、简单介绍 WebMagic是一款爬虫框架，其底层是对HttpClient和Jsoup的封装。WebMagic项目代码分为核心和扩展两部

叁歲伎倆/ 2023年10月05日 08:07/ 0 赞/ 23 阅读

相关 java爬虫框架(java爬虫框架webmagic)

Java页面框架有哪些呢？主要应用技术：EJB等出处：java.sun.com/blueprints/code/index.简述：这是SUN在展示J2EE平台时所用的例

向右看齐/ 2023年09月25日 08:18/ 0 赞/ 140 阅读

相关 JAVA使用webmagic爬虫获取数据

<dependency> <groupId>us.codecraft</groupId> <artifa

旧城等待，/ 2022年12月21日 06:28/ 0 赞/ 312 阅读

相关基于WebMagic爬虫

基于WebMagic爬虫一、WebMagic简介 > WebMagic是一个简单灵活的爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。 >

╰半橙微兮°/ 2022年07月15日 14:07/ 0 赞/ 367 阅读

相关 WebMagic 爬虫框架的入门使用

代码： package test; import us.codecraft.webmagic.Page; import us.codecr

朴灿烈づ我的快乐病毒、/ 2022年06月12日 10:52/ 0 赞/ 361 阅读

相关 Webmagic网络爬虫（JAVA）

Webmagic网络爬虫（JAVA） Webmagic----JAVA爬虫框架。 [跳转至使用说明][Link 1] [Link 1]: http

旧城等待，/ 2022年06月03日 04:29/ 0 赞/ 438 阅读

相关 java 爬虫学习笔记一使用爬虫框架 WebMagic

1.WebMagic 官方文档地址 [http://webmagic.io/docs/zh/][http_webmagic.io_docs_zh] 引入WebMagic的j

逃离我推掉我的手/ 2022年05月21日 11:49/ 0 赞/ 490 阅读

相关 webmagic 爬虫

[https://blog.csdn.net/qq598535550/article/details/51287630][https_blog.csdn.net_qq59853

待我称王封你为后i/ 2022年04月23日 12:38/ 0 赞/ 407 阅读

相关（11）Java爬虫框架webmagic实战

Java爬虫框架webmagic实战本文是我关于webmagic爬虫框架的实战——爬取古诗词网站的诗词数据。此代码只用于爬虫学习，勿用于商业用途。安装webmag

r囧r小猫/ 2022年04月04日 06:10/ 0 赞/ 549 阅读