用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！
, R7 F- `& C( A* b- g2 n% G0 U, [


; k' |" m7 u8 R5 f
开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。

# B+ U1 ]  O8 B1 S$ h4 c$ y
# O: y  C2 X! Q如何安装模块:
$ Q5 S! `+ ~/ W) R0 ~# j) _% n
1 v1 _& O" E1 ^$ T
. k( n9 n# p- A6 a: {5 pwin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
3 J5 k% f7 t+ n: ~* Jpycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
4 B% Q" z. Y' h0 R2 n, c$ W

提示：pip 不是内部命令
2 y0 s' K6 p8 f( R你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
  B6 a0 N4 B+ B你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
  h4 w; S) I0 R0 _可能安装了多个python版本
# ]( Q& M1 O# h8 c  s/ Z# v安装一个版本即可
* W" W* r- b. \1 ?* A6 {Python做爬虫到底可以做些什么呢？

% |0 B/ a0 ]& Y8 C! |3 V
7 ^6 `9 Q' V/ ~$ h2 x2 \" M- t常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
2 V) U% G5 h* j  s) A' m模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
1 `( J& m) u8 t' Y普通B站视频可以爬 番剧是需要会员的
' \3 q- }% |+ s% L6 Q1 O1 v
. L* d- }, \1 F% m( |
  O1 c; q# K6 T9 C8 i爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
! @. ]1 n) b* w
/ N( w  U* W) \  R; M# c2 ]" C
$ j' p  ~2 f# I1 Q, {% W( n, F" P3 G1. 确定目标需求 (弹幕数据 那个视频弹幕)
: w  l0 O7 [8 k! I( _4 L( ]; p    确定了
2. 找数据 (数据的来源分析)
- R. t/ n& `! E    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
, V( G& N4 ]; O" K3 V    请求头:
    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
; n8 [/ j6 W) q0 i, ~2 K7 e0 a4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
  n2 h' R7 l: r7 U1 a5 N+ r- Q5. 解析数据
: U" U3 k3 f. W9 U    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
4 o: K- N1 t( C3 O6. 保存数据
1 s# M  `, k7 `/ I( r" w1
2
7 D! h+ f1 o, V3
$ Q4 C! h  J; G% L4 O( F4
5
6
6 c& ^3 S0 S& T" ]7
- _& z( g7 e8 ^! Y; Z9 a8
! `5 V) {0 @! Y. }9
. F! D/ ?* e" {3 Z4 n5 a' g( f% I10
2 N  |4 o. r- V+ b, H5 H11
+ u! F% `4 O; ^* h+ j$ D* q12
" G* e% a0 X3 y  F) [. `& O13
14
15
6 q& {& W8 U, P  g* i$ r# S/ Z16
; j: p- F2 F, wpython除了做爬虫数据采集，还可以做什么?
6 b7 k% F# ?+ n1 @* ?; }兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
: m$ x  X+ V- K+ w: t+ g

网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
. j4 X1 [5 a) o8 r; d比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
, H9 t) B& [: z4 \( U. [: t- @我可以做到这样么?
9 J/ N' s7 L) D" a$ {% Q0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
/ t3 ^# G$ T  f, H5 [

9 o# C* k$ [2 z爬虫开发(脚本)(就业/外包) 可见即可爬
9 |* A* ?: e; y( f虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
- K: |& T5 v1 }很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
1 U3 Z0 X& ?0 W7 }3 X) o' @之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

' v! ~4 e8 _0 R
数据分析(就业/外包)
9 a+ i- `( R1 f3 |" G& l4 m) Q; o

自动化(脚本)
* Z6 K/ Z$ ^- v  q& n1 q2 W

. `4 J; t% c0 Y! \2 z  q. p8 C游戏开发/辅助(脚本)


# g1 R( K3 q2 B: a% _! [1 F. k人工智能(研究生以上学历 要求很高)

+ I9 s- a6 U2 ]) @# x4 y/ e3 B
3 E" p4 N+ A5 U+ Y9 _. \等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
; C  c+ K4 I! v! n

; L2 r3 t: j" X% S' [我们开始正题吧
, O) Q2 Z5 F+ _) X* \

* W9 R- q) Q6 O爬虫部分：
发送请求 第三方模块 需要pip install requests
3 [- `; C  s9 I& ]2 k

import requests
+ g0 D3 z9 H# x, eimport re  # 内置模块
5 Z- }! q! V- `" C  ^; i1 I

1 W, f4 \4 h$ B! o) Y. Uurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
6 r6 x8 F( t( i% e( R6 Y  [2 G3
4
请求头的作用就是伪装


; @2 O$ I9 M: [$ _! ^headers = {
7 a, A  o! G. V, o1 D    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
2
0 }# {9 W6 e2 N; b3
0 T  e' H& x, a8 d模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
* r2 ]: w' {& b" o* W函数传参

, `" Y1 i! o2 q1 C- P$ w* Q7 c
response = requests.get(url=url, headers=headers)
( d# w) ?. V" I8 R. M  n1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
获取数据 文本数据
: h7 Y9 ^$ {' e2 _  i自动识别编码
' P; l! G7 c0 e, D. m9 \; V# E
1 [  B/ p# s$ i( `+ t
response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2 T5 K+ s3 D6 z$ C2
/ @! _! E- x) P( e( Ucontent_str = ‘\n’.join(html_data)
% c4 `2 B, n9 [  M9 V  F

要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
for content in html_data:
6 [' v3 [! o3 u4 c( m- j    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
9 j8 D" n' O+ y! m; D! C        f.write('\n')
& A6 O' e, T. Z) i6 ^' V! Y% f# }

# print(content_str)
; P9 H3 g! h! b" L9 K+ u. i; d& L1
) r& i7 D3 S3 O7 S" C  H2
$ F! A4 Q2 k9 ^3
3 H2 q% B6 R/ y. X# X! v4
$ I7 o+ `% p7 M. {# f% R5
' P' y: \. j- P) X6
7
# Z, D4 A1 z: ^. R9 m爬取结果
. z4 W# e5 u" N
- l, u2 n& _5 p- j1 _/ l
9 _; e! n% f5 O: Z' A4 `1 O' R

3 Z& G! ^5 P& D' H+ Q1 W然后我们再来实现制作词云图部分


首先要安装这两个模块
2 B4 I1 m$ X0 h, x8 b, o
+ X0 L0 J5 U7 b% \1 c  h" ]
5 s' D6 H1 l- K2 {% i+ c6 cimport jieba
import wordcloud
1
2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
: ^) \! R$ A' a- f' m3 @
& O0 z! i$ I  l
+ c* X; |, {5 `. b' Z! U* ff = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
txt_list = jieba.lcut(text)
; b: e  ^8 l. \/ S# print(txt_list)
1
8 @5 ]- F0 @. L* u6 ?. `2
3
3 Q8 W0 w2 k7 D9 {- O. w! e0 B, z4
列表整合成一个字符串


( f# i+ U- S$ Ostring = ' '.join(txt_list)
print(string)
print('---'*50)
print(str(txt_list))
! T! g8 {; |$ `$ ?1
1 A  F- t  h; p2 W) Y9 `2
8 }6 U4 h; ?1 d3 |% `3
4
2 {* {" n0 ^$ F" V7 @- h词云图设置
) i! S' ?& ?. E% P7 J3 S# H4 O& P
) B4 p) X; a/ S/ n
) G8 ^& [5 k: u# pwc = wordcloud.WordCloud(
$ y8 Z4 v5 y8 \; W  ]* i        width=1000,         # 图片的宽
        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
1 E1 Z7 Y) J% ?( d        # mask=py,     # 所使用的词云图片
/ X" Z0 e& f5 r# j        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
1
2
3
4
5
6
7
8
9
7 n# P2 O8 ?0 m4 a" ^10
* Z: T0 g2 K+ Y" u5 R: D11
给词云输入文字


wc.generate(string)
9 W: s) C" g0 j- f1
词云图保存图片地址
$ T5 v: V5 L' L$ ^, L4 ^" r
+ s3 Z) U  [! f# p6 E9 l7 E# i& |
wc.to_file('output1.png')
1
词云图的过程中有点慢，大家不要心急

$ j& L, H% H& y( c2 t) ^) J
: Q) y4 a; M7 Y5 q# @. E  b这是最后的结果
% p  l6 z, Y4 `6 J0 y$ S
( A0 n3 Q% L& V( p
没有加停用词，所以一些无用的词比较多
. w* d5 t- ~4 j1 D4 @( x8 \) k0 P

stopwords={'了', '啊'}
7 ?" q% j3 m+ p- U1 t1
7 A) a- _6 |, I1 q9 E! }把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下
2 l! e+ H+ z1 q0 \) o
3 ]+ C+ j. _4 ^" z0 X0 j! E$ D
; [  o2 @2 W- Z& f: U不知名网友：666666 牛批 老哥我要学！！！

. O1 r, r! L/ ?9 D) `
, A5 c' E: E! u5 S1 U7 \; ?% n9 f$ M* t4 q
; e4 q# ?5 l+ \% i) r5 u1 G; V: g
/ ]; a  C8 C8 L, {9 ~————————————————
* N  O* e: X! L: ?$ n, A1 V版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
7 e& x9 N5 e! s; h5 o5 D原文链接：https://blog.csdn.net/ooowwq/article/details/119211907


  V% o2 Q7 Q$ L$ b