实战 | Python爬取B站柯南弹幕+Gephi梳理主线剧情

蔚落 2022-12-08 15:54 346阅读 0赞

![format_png][]

作者：皖渝

来源：凹凸数据

![format_png 1][]

## 一、爬取介绍 ##

利用Chrome浏览器抓包可知，B站的弹幕文件以XML文档式进行储存，如下所示(共三千条实时弹幕)

![format_png 2][]

其URL为：`http://comment.bilibili.com/183362119.xml`

**数字183362119**则代表**该视频专属ID**，通过改变数字即可得到相应的弹幕文件。打开第1集的视频，查看源码，如下图所示。

![format_png 3][]不难看出，**CID则是对应着各个视频的ID**，接下来用正则提取即可。

完整爬取代码如下

import requests
    import re
    from bs4 import BeautifulSoup as BS
    import os
    path='C:/Users/dell/Desktop/柯南'
    if os.path.exists(path)==False:
        os.makedirs(path)
    os.chdir(path)
    
    def gethtml(url,header):
        r=requests.get(url,headers=header)
        r.encoding='utf-8'
        return r.text
    
    def crawl_comments(r_text):
        txt1=gethtml(url,header)
        pat='"cid":(\d+)'
        chapter_total=re.findall(pat,txt1)[1:-2]
        count=1
        for chapter in chapter_total:
            url_base='http://comment.bilibili.com/{}.xml'.format(chapter)
            txt2=gethtml(url_base,header)
            soup=BS(txt2,'lxml')
            all_d=soup.find_all('d')
            with open('{}.txt'.format(count),'w',encoding='utf-8') as f:
                for d in all_d:
                    f.write(d.get_text()+'\n')
            print('第{}话弹幕写入完毕'.format(count))
            count+=1
    
    if __name__=='__main__':
        url='https://www.bilibili.com/bangumi/play/ep321808'
        header={'user-agent':'Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02'}
        r_text=gethtml(url,header)
        crawl_comments(r_text)

最终的全部弹幕文件都在桌面的"柯南"文件下

![format_png 4][]

**注**：这里共爬取到980个弹幕文件。【B站的柯南自941集后就跳到994集(大会员才能观看的)。虽然目前更新到1032话，但**并没有1032集内容**，如下图所示】

![format_png 5][]

## 二、弹幕可视化 ##

### I.主要人物讨论总次数分析 ###

**（1）统计人数总次数**

**注**：**role.txt**是主要人物名文件(需考虑到弹幕一般不会对人物的全名进行称呼，**多数使用的是昵称**，否则可能与实际情况相差较大。）

import jieba
    import os
    import pandas as pd
    os.chdir('C:/Users/dell/Desktop')
    jieba.load_userdict('role.txt')
    role=[ i.replace('\n','') for i in open('role.txt','r',encoding='utf-8').readlines()]
    txt_all=os.listdir('./柯南/')
    txt_all.sort(key=lambda x:int(x.split('.')[0]))  #按集数排序
    count=1
    def role_count():
    df = pd.DataFrame()
     for chapter in txt_all:
         names={}
         data=[]
         with open('./柯南/{}'.format(chapter),'r',encoding='utf-8') as f:
             for line in f.readlines():
                 poss=jieba.cut(line)
                 for word in poss:
                     if word in role:
                         if names.get(word) is None:
                             names[word]=0
                         names[word]+=1
             df_new = pd.DataFrame.from_dict(names,orient='index',columns=['{}'.format(count)])   
             df = pd.concat([df,df_new],axis=1)
         print('第{}集人物统计完毕'.format(count))
         count+=1
    df.T.to_csv('role_count.csv',encoding='gb18030')

**（2）可视化**

import numpy as np
    import matplotlib.pyplot as plt
    plt.rcParams['font.sans-serif']=['kaiti']
    plt.style.use('ggplot')
    df=pd.read_csv('role_count.csv',encoding='gbk')
    df=df.fillna(0).set_index('episode')
    plt.figure(figsize=(10,5))
    role_sum=df.sum().to_frame().sort_values(by=0,ascending=False)
    g=sns.barplot(role_sum.index,role_sum[0],palette='Set3',alpha=0.8)
    index=np.arange(len(role_sum))
    for name,count in zip(index,role_sum[0]):
        g.text(name,count+50,int(count),ha='center',va='bottom',)
    plt.title('B站名侦探柯南弹幕——主要人物讨论总次数分布')
    plt.ylabel('讨论次数')
    plt.show()

![format_png 6][]虽说是万年小学生，柯南还是有变回新一的时候，且剧情也并不只是"找犯人—抓犯人"。接下来从数据的角度来，扒扒一些精彩剧情集数。

### II.柯南变回新一集数统计 ###

考虑到部分集数中新一是在回忆中出现的，为减少偏差，将讨论的阈值设为250次，绘制如下分布图

![format_png 7][]

其讨论次数结果及剧集名如下表所示

![format_png 8][]

有兴趣的朋友可以码一下，除235集外，均是柯南变回新一的集数。

相关代码如下：

df=pd.read_csv('role_count.csv',encoding='gbk')
    df=df.fillna(0).set_index('episode')
    xinyi=df[df['新一']>=250]['新一'].to_frame()
    print(xinyi) #新一登场集数
    plt.figure(figsize=(10,5))
    plt.plot(df.index,df['新一'],label='新一',color='blue',alpha=0.6)
    plt.annotate('集数:50,讨论次数:309', 
                 xy=(50,309),
                 xytext=(40,330),
                 arrowprops=dict(color='red',headwidth=8,headlength=8)
                )
    plt.annotate('集数:206,讨论次数:263', 
                 xy=(206,263),
                 xytext=(195,280),
                 arrowprops=dict(color='red',headwidth=8,headlength=8)
                )
    plt.annotate('集数:571,讨论次数:290', 
                 xy=(571,290),
                 xytext=(585,310),
                 arrowprops=dict(color='red',headwidth=8,headlength=8)
                )
    plt.hlines(xmin=df.index.min(),xmax=df.index.max(),y=250,linestyles='--',colors='red')
    plt.legend(loc='best',frameon=False)
    plt.xlabel('集数')
    plt.ylabel('讨论次数')
    plt.title('工藤新一讨论次数分布图')
    plt.show()

以讨论次数最多的572集，绘制词云图(剔除了高频词"新一"，防止遗漏其他信息)如下所示：![format_png 9][]从图中可看出，出现频率较高地词有**整容**、**服部**、**声音**、**爱情**等。(看来凶手是整成了新一的模样进行犯罪的，还有新兰的感情戏在里面，值得一看）

### III.主线集数内容分析 ###

主线剧情主要是围绕着组织成员(琴酒、伏特加、贝尔摩德)展开，绘制分布图如下：

plt.figure(figsize=(10,5))
    names=['琴酒','伏特加','贝姐']
    colors=['#090707','#004e66','#EC7357']
    alphas=[0.8,0.7,0.6]
    for name,color,alpha in zip(names,colors,alphas):
        plt.plot(df.index,df[name],label=name,color=color,alpha=alpha)
    plt.legend(loc='best',frameon=False)
    plt.annotate('集数:{},讨论次数:{}'.
                 format(df['贝姐'].idxmax(),int(df['贝姐'].max())), 
                 xy=(df['贝姐'].idxmax(),df['贝姐'].max()),
                 xytext=(df['贝姐'].idxmax()+30,df['贝姐'].max()),
                 arrowprops=dict(color='red',headwidth=8,headlength=8)
                )
    plt.xlabel('集数')
    plt.ylabel('讨论次数')
    plt.title('酒厂成员讨论次数分布图')
    plt.hlines(xmin=df.index.min(),xmax=df.index.max(),y=200,linestyles='--',colors='red')
    plt.ylim(0,400)
    
    #输出主线剧集
    mainline=set(list(df[df['贝姐']>=200].index)+list(df[df['琴酒']>=200].index))  #伏特加可忽略不计
    print(mainline)

![format_png 10][]

从上图分析可知，组织成员的行动基本一致，其中贝姐(贝尔摩德)的人气在三人中是较高的，特别是在**375集(与黑暗组织直面对决系列)**，讨论次数高达379。此外，统计其讨论次数大于200次的集数，结果如下：

![format_png 11][]

以讨论次数最高的375集为内容，绘制词云图(剔除了高频词"贝姐"，防止遗漏其他信息)如下

![format_png 12][]从图中可知，**天使、琴酒、干妈、心疼、狙击手**等词汇出现频率较高。从词频较低的**败北主线**中可以看出，这次酒厂行动应该是失败告终。

## 三、人物形象网络分析 ##

### I.合并txt文件 ###

为尽可能反映出弹幕观众对人物形象的描述，考虑到一集弹幕共3000条，为减少运行成本，这里仅选取**特定人物讨论次数最多的20集**合并后再进行分析。

import os
    import pandas as pd
    df=pd.read_csv('role_count.csv',encoding='gbk')
    df=df.fillna(0).set_index('episode')
    huiyuan_ep=list(df.sort_values(by='灰原哀',ascending=False).index[:20])
    mergefiledir = 'C:/Users/dell/Desktop/柯南'
    file=open('txt_all.txt','w',encoding='UTF-8')   
    count=0
    for filename in huiyuan_ep:
        filepath=mergefiledir+'/'+str(filename)+'.txt'
        for line in open(filepath,encoding='UTF-8'):
            file.writelines(line)
        file.write('\n')
        count+=1
        print('第{}集写入完毕'.format(count))
    file.close()

### II.人物形象可视化 ###

借助共现矩阵的思想，即同一句话中出现两个指定的词则计数1。指定起始点Source为灰原哀，代码如下所示：(**注：其中，stopwods.txt为停止词文件，role.txt为人物昵称文件**)

import codecs
    import csv
    import jieba
    linesName=[]
    names={}
    relationship={}
    jieba.load_userdict('role.txt')
    txt=[ line.strip() for line in open('stopwords.txt','r',encoding='utf-8')]
    name_list=[ i.replace('\n','') for i in open('role.txt','r',encoding='utf-8').readlines()]
    
    def base(path):
        with codecs.open(path,'r','UTF-8') as f:
            for line in f.readlines():
                line=line.replace('\r\n','')
                poss = jieba.cut(line)
                linesName.append([])
                for word in poss:  
                    if word in txt:
                        continue
                    linesName[-1].append(word)
                    if names.get(word) is None:
                        names[word]=0
                        relationship[word]={}
                    names[word]+=1
        return linesName,relationship
    
    def relationships(linesName,relationship,name_list):          
        for line in linesName:
            for name1 in line:
                if name1 in name_list:
                    for name2 in line:
                        if name1==name2:
                            continue
                        if relationship[name1].get(name2) is None:
                            relationship[name1][name2]=1
                        else:
                            relationship[name1][name2]+=1
        return relationship
    
    def write_csv(relationship):
        csv_writer2=open('edges.csv','w',encoding='gb18030')
        writer=csv.writer(csv_writer2,delimiter=',',lineterminator='\n')
        writer.writerow(['Source','Target','Weight'])
        for name,edges in relationship.items():
            for k,v in edges.items():
                if v>10:
                    writer.writerow([name,k,v])
        csv_writer2.close()    
    
    if __name__=='__main__':
        linesName,relationship=base('txt_all.txt')
        data=relationships(linesName,relationship,name_list)
        write_csv(data)

将生成的文件导入Gephi，得到如下人物形象图

![format_png 13][]

线条越粗的线，代表该人物特征越明显。不难看出，大家对于哀酱的评价主要是**美腻**、**可爱**、**心疼**。

再做一张琴酒的~![format_png 14][]哈哈哈，大家对琴酒的评价就比较逗逼了，**变态，痴汉，聪明**啥都有~

你以为的琴酒，实际上的琴酒（手动滑稽

![format_png 15][] ![format_png 16][]

以上就是本次python实战的全部内容~

欢迎大家关注皖渝的博客：

https://blog.csdn.net/shine4869/article/details/107381791

## 福利时间 ##

豆瓣评分9.1，最经典编程入门教材的"蟒蛇书"第2版，全面修订升级!本书是针对所有层次 Python 读者而作的Python入门书。

本书内容分为**“基础知识”**和**“项目”****两**部分。读完本书，读者不仅能快速掌握编程基础知识，还能编写出解决实际问题的代码并开发复杂的项目。

听说图灵社区提前解锁了本书的抢读版，每周解锁新章节，原价 **130**元的纸质书+电子书，**10月11日前**，购买抢读版仅需**78**元。

![format_png 17][]

感谢图灵社区的大力支持！「凹凸数据」???? 继续**300积分**免费兑换啦，兑换的是现在可以抢先阅读pdf版本，图书正式发售后另外寄给你一本纸质书。阅读原文直达速抢

![format_png 18][]

[![format_png 19][]][format_png 19 1]

[![format_png 20][]][format_png 20 1]

![format_png 21][]![format_png 22][]

[format_png]: /images/20221123/8e58313bb474478cb456103eb7a0afc8.png
[format_png 1]: /images/20221123/ac9afa6f43794d338113a650482dae84.png
[format_png 2]: /images/20221123/8e351ee09b3a4280a2d55b119a583949.png
[format_png 3]: /images/20221123/5d176c614d00450980fa91aae89571a2.png
[format_png 4]: /images/20221123/c476b6cd58f54607a9aa73f51f38f7dd.png
[format_png 5]: /images/20221123/5cf1fb4f69ae436f9a04fe20556a687f.png
[format_png 6]: /images/20221123/c7f30827f2a74550898573877f649aea.png
[format_png 7]: /images/20221123/c9051a4663734ce1b34b1edc3769545c.png
[format_png 8]: /images/20221123/e556493022294e2c952b569452742434.png
[format_png 9]: /images/20221123/b01316c3414b4826a8980c407e9f862f.png
[format_png 10]: /images/20221123/ac5e69e576aa48669fa1db79ad28f616.png
[format_png 11]: /images/20221123/d7f14e67e6e24854a9cdaaf011b2f19e.png
[format_png 12]: /images/20221123/ec8925a3efe2480695bb8c9754a0e933.png
[format_png 13]: /images/20221123/dde31f21d4e842c2a8c76d618dca5763.png
[format_png 14]: /images/20221123/bb4c4e82bfbf42feb8c3e61c3b46c90f.png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGptcGljeE5LVkpnbEJ6TGtKdFp3UlRZS1QzemZJUGRaaWFHTWljRXlGMnZBT3BpY2t5cW5OMENjb2tFbm1JSEtBOTRiU3hkWTZHeExxa0tRLzY0MA?x-oss-process=image/format,png
[format_png 16]: /images/20221123/bea185e2ed1e4bc7aa58fb8bb01779e0.png
[format_png 17]: /images/20221123/0eee360199c0415f972b1945fe7ec31c.png
[format_png 18]: /images/20221123/fb603b3fe63a45b49d463dcf4a7e2e96.png
[format_png 19]: /images/20221123/344f474612fb4fe29eff46c91bf26407.png
[format_png 19 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ed743c9395e55683c10db4a05ba91294ae8fa2d7b119723c29f04a6dfa62eab2a01cf1a9c&idx=2&mid=2247496391&scene=21&sn=fe62fd0b9ca43413978bf707fddc65dd#wechat_redirect
[format_png 20]: /images/20221123/b73b114c864e490f9c80abfa4b3136c4.png
[format_png 20 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ed7dfc9395ec974ed6e9e4814f1e0a05ead223de739e1bc3ca4dbbcdc43843bdeca3fbc1d&idx=1&mid=2247496283&scene=21&sn=28d890c2d2784ee316d36ca772058cd4#wechat_redirect
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90WFlpY3Q0MHhmTGhwZjNzcEJTbkx2Zk56WklaNkVLb0JBYmsxd1d4TTFqaWNZVTQ0clF2c2FvUmN6VHRpYlJTOFVtbWI3Vk1hTldvM1M3cjRnMVlETnduQS82NDA?x-oss-process=image/format,png
[format_png 22]: /images/20221123/17f9e217b50741ec9472d7f8ff4665e3.png