爬了掘金的 1W 多条数据，发现前端三年写的文章内容大同小异

本是古典何须时尚 2022-01-20 02:13 462阅读 0赞

### 图，依序为 2017 年、2018年、2019年 ###

--------------------

从上面三张图可以看到，掘金前端类目下的文章基本都在讲 React、Vue、JS、源码、CSS、实践、异步、性能、原理等等老生常谈的知识点。值得注意的是 Flutter 在 2019 年的掘金文章中开始占有一席之地，有兴趣写点新东西的胖友或许可以考虑开始写 Flutter（但是不知道有没有人看）。

## 怎么做的 ##

简单讲分三步：

*  爬取掘金前端类目下的文章标题并保存
 *  数据处理
 *  生成词云

### 爬取掘金数据 ###

掘金似乎没有做反爬的措施，对于爬虫小白来讲太友好了。前端类目下的数据统统放在了：「[timeline-merger-ms.juejin.im/v1/get\_entr…][timeline-merger-ms.juejin.im_v1_get_entr] 。使用 Request 库发起请求就行：

r = requests.get(url, params = payload, headers = header)
    复制代码

爬到的数据可以直接保存到 mysql，方便后续处理。 python 与数据库的交互可以使用 pymysql 这个库：

conn = pymysql.connect(host=host, user=user, passwd=passwd, db=db,
                                            port=3306, charset='utf8mb4')
    self.cursor = self.conn.cursor()
    复制代码

charset 要设置为 'utf8mb4'，因为有些标题会带 emoij 字符等特殊的符号，设置成 utf8 这些符号写不进数据库，会出错。

### 数据处理 ###

数据处理部分我用了 R 来做，因为 Python 用的不熟。 第一步当然是要从 Mysql 里将数据读取出来。用 RMySQL：

library(RMySQL)
    jjDb <- dbConnect(MySQL(), user = user, host = host, password = password, db = db)
    dbSendQuery(jjDb,'SET NAMES utf8')
    df  <- dbGetQuery(jjDb,'SELECT * FROM juejintimeline')
    dbDisconnect(jjDb)
    复制代码

「juejintimeline」是保存的数据表的名字。

这里有两个坑，第一个是链接数据库的时候，我的 Mac 安装的是 MySQL 8.0，用的 Strong Password Encryption，需要在系统偏好设置 -> MySQL -> initialize Database -> Use Legacy Password Encryption 中改成 Legacy Password Encryption。

这一步会把 MySQL 实例中的数据库清空，所以如果 MySQL 实例中有重要数据库，搜一搜别的办法吧（也请留言告诉我?）

另一个坑是直接在 MySQL 中 「SET NAMES utf8」读取的中文不显示，要在与数据库建立链接之后`dbSendQuery(jjDb,'SET NAMES utf8')`才正常。

读取的数据难免有重复，上 dplyr 包：

library(dplyr)
    df <- df %>% group_by(objectId) %>% filter(row_number() == 1) %>% ungroup()
    复制代码

通过把 objectId 一样的数据过滤掉，去重。

因为掘金返回的数据时间格式是 Datetime:「2019-03-23T00:33:26.392Z」,想按年对数据进行划分需要把 year 提取出来。R 中的 lubridate 专门用来处理时间：

library('lubridate')
    df$createdAt <- ymd_hms(df$createdAt)
    df$year <- year(df$createdAt)
    复制代码

### 分词并制作词云 ###

以2019年数据为例，在数据处理部分已经给数据增加了一个维度：year。要提取 2019 年的数据就非常简单了：

df2019 <- df %>% filter(year == 2019)
    复制代码

文章的 title 保存在了 df2019$title 中，是一个 series，使用 paste() 将 series 聚合为 Vector：

title2018<-paste(df2018$title,sep = ',',collapse = ',')
    复制代码