node爬取cnode首页数据

落日映苍穹つ 2023-05-31 06:58 11阅读 0赞

源码如下，其中 cheerio类似jquery，具体[文档][Link 1] 直接使用npm安装就行，运行  
node index.js即可

const https = require('https');
    const cheerio = require('cheerio');
    const fs = require('fs');
    
    let page = 1
    let endPage = 50 // 最后一页
    let url = `https://cnodejs.org/?tab=all&page=${ page}`
    let dataSource = []; // 存储数据
    let dataLength = 0; // 数据长度
    grabPage(url);
    
    function grabPage(url) {  // 抓取页面
      if (page === 1) { 
        console.log('开始请求数据!');
      }
      sendRequest(url) // 发送请求
    };
    
    function sendRequest(url) { 
      https.get(url, res => { 
        if (page === 1) { 
          console.log('开始解析数据!');
        }
        let _html = '';
        res.on('data', chunk => { 
          _html += chunk;
        })
    
        res.on('end', () => { 
          const $ = cheerio.load(_html);
          let cell = $('.cell');
          let len = cell.length;
          dataLength += len;
          if (len === 0 || page === endPage) { 
            if (dataLength > 0) { 
              console.log('开始存储文件');
              saveFile(dataSource); // 储存之json文件
            }
            return
          }
          cell.each(function (i) { 
            let temp = { 
              "id": i,
              "avatar": "", // 头像
              "response": "",// 回复
              "view": "",// 查看
              "title": "",// 标题
              "href": "", // 标题链接
              "lastTimeAvatar": "", // 最后回复人的头像
              "date": "" // 事件
            }
            temp.avatar = $(this).find('.user_avatar img').attr('src');
            temp.response = $(this).find('.reply_count .count_of_replies').text();
            temp.view = $(this).find('.reply_count .count_of_visits').text();
            temp.title = $(this).find('.topic_title_wrapper .topic_title').text();
            temp.href = $(this).find('.topic_title_wrapper .topic_title').attr('href');
            temp.lastTimeAvatar = $(this).find('.last_time img').attr('src');
            temp.date = $(this).find('.last_time .last_active_time').text();
            dataSource.push(temp);
          })
          page++;
          grabPage(url);
        })
      }).on('error', error => console.log(error))
    }
    
    function saveFile(data) { 
      fs.appendFile('text.json', JSON.stringify(data), 'utf-8', function (err) { 
        if (err) { 
          console.log(err)
          return
        }
        console.log('存储文件完成!');
        console.log(`成功抓取${ dataLength}条数据`);
      })
    }

[Link 1]: https://cheerio.js.org/

发表评论取消回复

表情：

评论列表（有 0 条评论，11人围观）

还没有评论，来说两句吧...

相关阅读

相关 node爬取cnode首页数据

源码如下，其中 cheerio类似jquery，具体[文档][Link 1] 直接使用npm安装就行，运行 node index.js即可 const https

落日映苍穹つ/ 2023年05月31日 06:58/ 0 赞/ 12 阅读

相关【Python爬虫】爬取搜狗首页的页面数据

分析 1、指定url 首先进入搜狗搜索页面，指定url，并进行UA伪装。 UA就是User-Agent，UA伪装就是让爬虫对应的请求载体身份标识伪装成某一款浏览器

ゝ一纸荒年。/ 2022年12月13日 14:09/ 0 赞/ 233 阅读

相关 python爬虫之requests篇1 爬取搜狗首页

python爬虫之requests篇1 爬取搜狗首页引入第三方requests库 import requests if __name__ ==

怼烎@/ 2022年12月11日 01:30/ 0 赞/ 224 阅读

相关 Python爬虫之爬取B站首页热门推荐视频

文章目录前言原理一.首先先找出推荐视频栏所在位置并找到各个视频的url 二. 找到音频相关标签和url 三. 进

小鱼儿/ 2022年09月03日 05:16/ 0 赞/ 397 阅读

相关使用Scrapy爬取CSDN博客首页文章

> Scrapy, a fast high-level web crawling & scraping framework for Python CSDN博客首页如下，

妖狐艹你老母/ 2022年06月03日 06:21/ 0 赞/ 397 阅读

相关 requests + pyquery爬取知乎发现首页

简述学习了崔神的代码。然后自己手动敲了下，mark一下代码 import requests from pyquery import Py

短命女/ 2022年05月22日 05:19/ 0 赞/ 363 阅读

相关爬取猫眼电影首页榜单电影信息

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

分手后的思念是犯贱/ 2022年01月27日 17:13/ 0 赞/ 417 阅读

相关使用node.js爬取博客园首页的博客

一个简单的博客园爬虫声明：本人第一次写博客，文中有什么错误之处还请指出，本例本着学习的精神，拿博客园做了一个例子，也不知道博客园有没有这块的规定，如有不当之处，望海涵！

青旅半醒/ 2021年11月01日 09:14/ 0 赞/ 556 阅读

相关爬虫实战-爬取兴盛优选首页所有商品数据并写入excel

兴盛优选这个小程序很火，小编今天就教大家如何爬取兴盛优选的所有商品数据信息吧 1.首先获取windowid 这个请求是获取所有的windows的id的这个请求实际返回wi

亦凉/ 2021年10月29日 12:42/ 0 赞/ 285 阅读

相关 node puppeteer爬虫，爬取微博热搜数据

> 确保自己熟练使用async与await以及分析dom结构 `npm i puppeteer` 在node引用 const puppeteer = requ

刺骨的言语ヽ痛彻心扉/ 2021年10月01日 11:20/ 0 赞/ 525 阅读