java 新浪微博爬虫_基于Java的新浪微博爬虫研究与实现_陈珂.pdf

小咪咪 2022-11-02 11:40 340阅读 0赞

27 9 计算机技术与发展 Vol．27 No．9

第 卷 第 期

2017 9 Sep． 2017

年 月 COMPUTEＲ TECHNOLOGY AND DEVELOPMENT

基于Java 的新浪微博爬虫研究与实现

， ， ， ，

陈 珂 蓝鼎栋 柯文德 黎树俊 邓文天

( ， 525000)

广东石油化工学院计算机与电子信息学院 广东茂名

: ， API (com )

摘 要 为了高效获取更多的微博数据 针对调用微博 和网页版 版 等传统微博爬虫在数据采集中所存在的问

， Java Weibo．cn 。 UＲL

题 设计开发了一个基于 的采集新浪微博 站点的网络爬虫系统 该系统通过广度遍历结合组拼 的方

， ， ， HTML 。

式采集网页源码 使网页源码更加简洁 纯净度更高 降低了网络传输压力并减少了 源码解析时间 主要实现了微

、 、 ， ，

博模拟登陆 微博网页爬取 微博页面数据提取和任务调度控制 并对爬取数据进行了分析 在爬虫中添加了主题微博筛

。 ， 。 ，

选功能 为验证该系统的有效性和可行性 与其他传统方法进行了分析对比 实验验结果表明 所提出的系统爬取效率

， 。

更高 实现代码更简便

: ; ;Java ;

关键词 新浪微博 网络爬虫 数据挖掘

中图分类号:TP39 文献标识码:A 文章编号:1673－629X (2017)09－0191－06

doi :10．3969 /j ．issn．1673－629X ．2017．09．042

Ｒesearch and Ｒealization of Weibo Crawler with Java

CHEN Ke ，LAN Ding －dong ，KE Wen－de ，LI Shu－jun ，DENG Wen－tian

(College of Computer and Electronic Information ，Guangdong University of

Petrochemical Technology ，M aoming 525000 ，China)

Abstract :In order to obtain more microblog data efficiently ，a Java－based acquisition sy stem of Sina is designed and developed

发表评论取消回复

表情：

评论列表（有 0 条评论，340人围观）

还没有评论，来说两句吧...

相关阅读

相关地图说微博 - 新浪微博应用

之前开发了一个基于新浪微博的应用“[地图说微博][Link 1]”，后来又做了一些改进，现在来推广一下。欢迎有新浪微博账号的朋友测试使用，觉得不错的话，可以帮忙推广一下。

痛定思痛。/ 2023年10月18日 10:50/ 0 赞/ 318 阅读

相关新浪微博第二天

一、概述微博应用第一天，我们实现了整体框架的搭建工作。第二天实现内容--先来几张效果图吧！ ![538831-20160114095428319-1796818908

雨点打透心脏的1/2处/ 2023年10月10日 08:00/ 0 赞/ 225 阅读

相关新浪微博

\import <Social/Social.h> \import <ACCOUNTS/ACAccount.h> - (IBAction)Tou

ゝ一纸荒年。/ 2023年10月08日 11:59/ 0 赞/ 248 阅读

相关 java 新浪微博爬虫_基于Java的新浪微博爬虫研究与实现_陈珂.pdf

27 9 计算机技术与发展 Vol．27 No．9 第卷第期 2017 9 Sep． 2017 年月 COMPUTEＲ TECHNOLOGY AND DEVELO

小咪咪/ 2022年11月02日 11:40/ 0 赞/ 341 阅读

相关新浪微博api使用

　如今社交网络异常活跃，接触到的几乎每个应用都使用有一个功能：分享。分享到各种SNS上，现今以新浪微博最火，其提供了良好的API接口等文档供开发者使用，正好称此有机会也来接

深碍√TFBOYSˉ_/ 2022年08月21日 02:15/ 0 赞/ 488 阅读

相关 IOS基于新浪微博开放平台微博APP

1.基于新浪微博开放平台APP源代码 ![readme.gif][] 2.gitHub源码下载地址 [https://github.co

àì夳堔傛蜴生んèń/ 2022年08月11日 11:30/ 0 赞/ 402 阅读

相关新浪微博发布效果

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8">

左手的ㄟ右手/ 2022年07月14日 11:20/ 0 赞/ 507 阅读

相关新浪微博笔试

1、mysql的查询缓存：看这里：[mysql查询缓存][mysql] 汗，第一次听说 2、数据库优化： master-slave数据库: 在做web应用系统

浅浅的花香味﹌/ 2022年06月18日 12:08/ 0 赞/ 563 阅读

相关定向爬虫 - Python模拟新浪微博登录

当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息。模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容。实现微博登

不念不忘少年蓝@/ 2022年01月12日 12:57/ 0 赞/ 520 阅读

相关新浪微博接口--初探

大家应该很多都用过新浪微博，最近在写项目时候用到微博的功能，比如授权登陆，发微博，微博信息显示等等。可是国内这些接口的文档，笔者实在不敢恭维。在请教了老师之后。终于完成了部

古城微笑少年丶/ 2022年01月09日 15:43/ 0 赞/ 575 阅读