用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
9 D2 y% B; W9 e' t- g康康大家都怎么说！
+ q$ B; b, a0 Q4 H8 z
+ N6 q( j+ A! _5 ]+ b! w/ F+ h


开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
/ W; k( l2 g8 f$ W4 d) n6 P

如何安装模块:


win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
3 |3 O! E- N* `! W* ]pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
8 x% ?( k4 o4 m/ w' x" ]; l如果模块安装失败了，可能是这些问题：
0 H" w# s% \- I# W" q% W

8 w8 [$ l7 R; g4 U) i4 D5 }提示：pip 不是内部命令
0 d: f4 K7 x9 ]/ _. m8 [你python环境变量可能没有设置好
! y; ?6 b' ?+ c9 J0 P( s有安装进度条显示，但是安装到一半出现报错了
. `% f2 Z8 j# J7 E2 j因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
& y8 G. C. s& ~+ u) I( |) vread time out 网络连接超时 你可以切换为国内的镜像源
$ z0 G+ R% b: K+ Y明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
7 g# z& j3 j- ]& T可能安装了多个python版本
. J8 Z4 Y$ m$ Y4 C6 A安装一个版本即可
Python做爬虫到底可以做些什么呢？
: K1 b( |4 B' K7 k

常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
: O4 w+ ~- J# s; u0 ^' R& r模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
* f/ x: L) N8 S) J% o' R普通B站视频可以爬 番剧是需要会员的
0 _& `7 |( b9 X( O' P9 i

' A9 s2 E6 o, i0 }1 }爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
3 ?5 j- y5 j+ P
" v9 t. M9 k4 _2 f
8 p4 I  `7 d: T3 Z+ |1. 确定目标需求 (弹幕数据 那个视频弹幕)
+ @9 e, z6 A! v3 u, @    确定了
2. 找数据 (数据的来源分析)
. R2 p; G# k, |' a: s$ F    简简单单 找到了
! f) a* X$ W6 x1 T0 t% C* J* h3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
" R; E" S4 A# \: M# Q. t/ {  U    请求方式: get / post
    请求头:
4 o6 g8 P! }8 Q. q; ~# c) G    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
! S* M4 l, p1 J4. 获取数据
* J+ Y: Q  Z0 n5 Y& U    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
! |: p. R7 S% J0 u1
2
/ z; M' F3 q- {& @! t3
4
1 \3 N8 c& v! r$ f5
; q- ~4 ~5 ^" C. I5 M6
4 ?6 o9 d/ C5 ~+ _- j) b7
3 ~8 f3 f) e# ]3 Q8
9 x' u  B. u5 j- o7 Q9
10
, ?. F5 S+ e0 ~( p3 ~$ j11
12
2 R" N- q( C7 x) y4 O  v* q1 @13
14
6 I# o7 N' |: T9 M4 q( T15
1 W; h3 \) k% R$ A# G0 |16
python除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
! i$ t8 m( |# V" Q
7 b6 R, `6 n, M8 y# I. V
网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
! q" @5 ~+ m* G6 |2 r+ U- m7 a我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
# T, ^/ D% I7 D6 Y) ?8 ]如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
+ H0 [# M$ Y0 f
* g+ T; q! E% J$ }' r; I
爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
! x, e! G" l0 m: N; f

8 U* F# S" O( M0 |9 Z7 R6 L, P2 m数据分析(就业/外包)
$ w2 e/ E* X5 t7 k* w

$ {: e% P4 b- B自动化(脚本)


% R3 L" b3 R1 p5 J游戏开发/辅助(脚本)

5 v+ o1 R" m) ~- Z# ^3 y3 @
- r4 @& ^: w: s& ]( n% p人工智能(研究生以上学历 要求很高)

1 w6 \: H" K+ {& M* ]' w" ~
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。

( ^  a4 t9 M1 Z4 }
" Z! m- q3 _  O, V1 `9 t, Z我们开始正题吧
. v- L+ K  `  o+ t# j. {
# [6 z7 F, ~: Q1 K& y! h5 a& s1 [
爬虫部分：
发送请求 第三方模块 需要pip install requests
- N2 W4 z5 b) n* ]1 I% [/ h% T

& |6 n' W' `* n0 `6 y; u8 Fimport requests
import re  # 内置模块


/ ?$ D; R: G2 \( Q  W$ T* purl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
4
# A' ~+ U2 H' ~' G请求头的作用就是伪装

1 V) `# K, }# R  w8 ^
( c; R& E" ~0 d, k  Y; A0 x. A# uheaders = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1 ~4 }) A, y1 A, u1
+ O  s8 M( g: b, \2
3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
函数传参


0 p# H% ^  J( Presponse = requests.get(url=url, headers=headers)
1
& [( ?- o& @9 [* N9 X+ Y<> 对象 对象意味着你可以调用里面的方法或者属性
9 `* |' w' }7 b' M; ^$ Y200 状态码 请求成功
: g! g8 K  S9 x1 l获取数据 文本数据
自动识别编码


response.encoding = response.apparent_encoding
5 n4 \& F+ s, x: `html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2
9 Q8 V, N. W" G  _: B+ k% kcontent_str = ‘\n’.join(html_data)

/ U9 ?/ U. q6 R( m! b8 I& M
  l1 P; O' t( V( b9 g要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
for content in html_data:
0 i7 t  U/ t( L. l9 v    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
# d" E3 j7 o8 M: l" u        f.write(content)
# z0 J2 H! n. @        f.write('\n')


* g3 j# O: H# h* _7 O# print(content_str)
1
2
3
4
6 \% U( N0 b+ ^( Q( ~: b) o* C5
5 u# y" }0 h4 k# C4 a6
7
/ M- O' k2 J# Y6 l* z) |5 V' ]0 F爬取结果


8 z% w. }2 I7 c- f

然后我们再来实现制作词云图部分
3 I& S! L8 A" D2 Z
% \9 B1 j& i  P  b
首先要安装这两个模块
" ?9 C5 t2 t! P% A: ^. z5 ]  \7 k
1 t7 Q+ ?6 L) ~6 o
import jieba
import wordcloud
' u' `$ E: u( [, }7 M1
2
; l/ |0 y* ~6 E! |  c/ U一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
# y$ s8 R: u. `' J/ z' _% ]
. |+ R; X1 n) k+ p
  O# a$ g: J! K- f. S2 B0 }f = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
) T. _3 l) v, `6 L8 ctxt_list = jieba.lcut(text)
: ]% g: E1 r. r; r# print(txt_list)
& |& x  [) i/ [1
2
3
( _- u  }- a4 ~; X# i8 b' D6 D& B4 r4
, `" m4 o3 V) j$ Q6 k: t列表整合成一个字符串
  x5 H  T3 [8 n
3 \4 `" }- ~* A( O( ~7 W
2 R$ g8 x  n6 v4 T8 h* b9 ]) Wstring = ' '.join(txt_list)
* }" l3 s5 [& L4 c. f. ~print(string)
' _: M0 z- W% L+ u5 P4 o3 gprint('---'*50)
print(str(txt_list))
1
2
, h; D: R8 C  u" d5 W; }3
: I- t6 ]  @' Y" O& c$ S4
词云图设置
' N5 g6 Z4 i0 s0 H; _

( @7 o; ]1 _2 O% h+ m. m0 }wc = wordcloud.WordCloud(
3 o, u, x  ~1 s7 h        width=1000,         # 图片的宽
/ V" c! P% P4 |# F        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
8 E% @' `* `) \% k& h$ U7 l        font_path='msyh.ttc',    # 词云字体
6 n; {& y4 b2 q5 S1 p8 x        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
' |% e2 @2 k8 u9 [/ ^        # contour_color='red'  # 轮廓颜色
)
  l7 R# ^6 W" V( S8 y6 A1
$ H8 D7 U" \: n3 d2
; f) K' p* n9 u+ }! v3
4
3 ^7 r1 u: ~2 P- H& E% }5
5 S8 n, m: S0 @4 `1 u6
' @$ ~) z  [8 S2 R7
* x& L% s8 t1 V7 u+ e, _8
9
10
11
给词云输入文字


wc.generate(string)
% `' s1 Z+ H$ d5 A1
) O7 Y; B4 \6 C4 }词云图保存图片地址

  x5 q6 [) T) H9 K! r6 t8 U+ L
wc.to_file('output1.png')
9 z5 O; {- \, n, m1
词云图的过程中有点慢，大家不要心急
+ \1 }( Y1 g: G# z' M: Y
8 w* s. T: f4 V" c+ i
这是最后的结果

, m; S# Z9 z; C; g, P  x! ?2 ?  D) k/ a
$ `+ N! T. x0 J没有加停用词，所以一些无用的词比较多
* g9 Z9 X* O  V9 J6 W  y

. q6 O. h& B, ~stopwords={'了', '啊'}
4 i( d% s1 x) ?6 ?5 [; U+ v1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下

- d% g# j2 U8 O: x3 A
( s3 G) T' y+ v; H8 E不知名网友：666666 牛批 老哥我要学！！！



6 u- x( G- t! g4 x
————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
5 [* u+ L4 i* U0 b原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
  P. Y6 z4 K) V
. {6 K( L& {& l" m  q' D
; i1 H2 h( l% [3 R" X- j