用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！

% b% x2 i" A9 ~
- n% `$ U1 m' e( X2 c
$ _; e# k6 K1 }
开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。

7 A7 V$ _3 x# F* B; d( B
如何安装模块:


win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
( {4 v* t# y- ^3 Upycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
8 q8 k  o* u! P2 {5 V  M如果模块安装失败了，可能是这些问题：
9 V: ?2 ?! Q3 f( W% ^$ E
& {' X, a# M7 C, d7 G
提示：pip 不是内部命令
; g$ o) t4 }: K9 N* s; C. c你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
; y* o& _1 q: V  n. K4 U: K4 r3 r因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
  g# \- _: k: X7 |$ x3 J安装一个版本即可
& E& O$ H- W. s' T3 dPython做爬虫到底可以做些什么呢？


常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
* y8 j  q% Q% [6 J12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
0 {1 r% y$ ^# \9 R2 D普通B站视频可以爬 番剧是需要会员的
" N5 G1 h# D+ z8 d

& o/ Q$ ?- o- W, ^6 b爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
$ E9 W7 _) k. S- y0 M$ y5 Y
$ f8 W7 j  w& T5 [/ m
1. 确定目标需求 (弹幕数据 那个视频弹幕)
0 n) E& I' }& r* B" n7 y+ g1 V    确定了
. f' p1 ]: m; A+ |) [& J/ \9 V2. 找数据 (数据的来源分析)
    简简单单 找到了
/ n2 O( s7 k3 `: Z6 x3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
; K+ H: x* X+ Z    请求方式: get / post
& J6 \. \2 W6 `2 ^# g* D. U6 Y    请求头:
3 V, r% H; C  H( Q" E    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
4 r4 O' P5 K% Q( h& J) |" {    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
# b8 d' t" ^& w5 z- M5 [    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
  j  j4 ?: [! `/ o/ N+ i5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
& _2 y$ n6 M; F6 u9 m' |% R# o6. 保存数据
1
) O1 P' C$ K" i& p6 f2
# I/ [8 ?, u5 E$ H8 p+ ?$ Z3
4
5
6
7
7 l( y6 V: B" u( n8
9
) d3 U5 H* J- a) w10
% j" q; H) }) u8 h# m. Q% j11
6 m7 j: w8 H' U12
13
" h4 e  T+ \6 p: H* ?14
* F+ s' k' U, C! o15
: T7 u8 i$ H0 C! K* g5 J7 U- U16
( {: u% d6 w: }% N$ @9 Upython除了做爬虫数据采集，还可以做什么?
9 ~9 G2 C4 b$ B) f兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)


网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
/ I  O8 @+ H/ a' w) W如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
& c0 s, J9 f7 Q3 D: z" x

爬虫开发(脚本)(就业/外包) 可见即可爬
3 G1 l5 l, A# V5 s0 [虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
0 R9 S# Z' W$ n* f9 y* K很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

5 i0 c. r2 s$ T$ i
. v; e3 @* |* Y$ I数据分析(就业/外包)

6 v3 I! q2 ^4 C
自动化(脚本)
6 {3 m7 q" p9 J# y( ?) {: a6 T
, Z' G% E. j, Z, O: R. Q
游戏开发/辅助(脚本)
8 R6 X% I3 i4 I9 n
7 p: h! x& @4 X9 |9 V$ [
人工智能(研究生以上学历 要求很高)
3 T& I7 q# Q* ?
! Q  K& y+ U: u2 D  R
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。


4 i3 {$ z9 I) E; J* g1 \$ I我们开始正题吧
. Q  \1 G5 B8 Q$ |3 O0 y
3 Q$ \$ M' l6 m# E' ?$ y
爬虫部分：
8 [$ ^  Q! c- r" s( D$ t发送请求 第三方模块 需要pip install requests

" Z* B4 V; x2 I' ]4 {6 l. l, j- k+ D
import requests
6 [% t. X- _  m7 cimport re  # 内置模块


url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
' j( P0 E2 n/ Y% S; s! v2
  i; {# |% O& r3
4 R4 S5 d. a& o2 i2 [4
请求头的作用就是伪装

' v+ o+ R  M6 v  b9 x2 \
, @. J# t" a( X  `- S- g, L* G; oheaders = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
. s' g* Q7 k8 h/ q$ i2
) S! f4 V1 c% A1 T9 e- j; [3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
2 K5 n! F: n# y函数传参
$ O9 E3 |. {; p5 H# ~3 s* O
. G' Y7 I  @' i7 }1 J
% U" E+ i1 ^. w' Xresponse = requests.get(url=url, headers=headers)
# w9 B5 Y' k2 u  v3 W3 w: e1
+ V8 m- T3 h) h! X. ]<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
; l3 _$ p% D! T+ _3 P- e获取数据 文本数据
5 E* h' ?! j5 E5 l* R2 M) u自动识别编码


response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
2 s' K2 S  s% ^9 D; g! t1
2
$ a/ I- q/ Y7 m6 @! i' Ycontent_str = ‘\n’.join(html_data)

" v& g: Y3 h9 k: M3 F7 D. S, @; `
要列表转成字符串 ‘’.join()
for 遍历
: y+ p/ e2 o1 L3 y/ G# l保存数据 保存字符串
for content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
  v; p7 e" n* X" \& i    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
4 M2 c$ q2 L" H0 G1 n% {        f.write(content)
        f.write('\n')
& b5 P8 P4 c% m! I+ z
* v4 F) n; O1 c4 W- a1 S
# print(content_str)
1
3 V: E) n2 E  m& C4 s2
1 Z4 t, d) @. [  u! E/ d3
- v2 Q5 G! h, t; Q/ e4
5
6
; u1 Q+ {# s- _) F0 p7 ~% N, v7
爬取结果

+ x4 l* A; C2 n/ m( e* T, X; A& |+ v


然后我们再来实现制作词云图部分
1 x: J# {" l( w/ ]( g

首先要安装这两个模块


import jieba
. g7 `; e% g: gimport wordcloud
! ?; D1 _. H* C9 t1
# l6 Y& U% s+ W% D& A3 x2
6 O- z8 i! `/ Y) b( M/ V, e一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。

+ i  K6 G' ?+ d0 j- z; t
f = open('弹幕.txt', mode='r', encoding='utf-8')
- x9 g5 n& ^: S# ~1 N7 X( s, J0 I6 btext = f.read()
) j' L' _' J7 {$ C. t# E) G, I2 _txt_list = jieba.lcut(text)
+ j; F; K" h; O* }# print(txt_list)
1
2
3
4
* s$ k6 t6 P0 x5 D$ D. u列表整合成一个字符串
; d7 ]5 u& E" b! _
  Y3 s7 \# n6 y; L
string = ' '.join(txt_list)
print(string)
- r% D& X! _+ w: P9 u1 mprint('---'*50)
print(str(txt_list))
1
, ]- i: ]. k# ~. |' F3 H, W  c2
) _# `( v* t& c/ H$ [, c3
! Q5 Z- x" P' y2 g4
/ w5 J# c' ?; V& k- z词云图设置
0 f% U: F# S3 q6 w8 R& n

wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
3 v  ~% W! k% Y6 Y1 e$ ^        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
) M% r! ?, |9 ]  t' I        font_path='msyh.ttc',    # 词云字体
1 P- H8 u" c( ~* b        # mask=py,     # 所使用的词云图片
2 c( G8 j- @% }+ @0 [. j        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
+ g0 l5 @' o5 w/ l        # contour_color='red'  # 轮廓颜色
$ d# Z2 t' z7 B7 _( c  m( O6 g)
5 Z) H" h1 Y, y2 _1
9 E( q! Z0 J) @, ~7 A4 ?& ], ?, y2
3
. p6 g, q6 y) w0 e2 y4
& ?8 {5 X, g& j$ X5
6
' ]7 O" w/ b. H( w8 U7
6 h! `) G, C# ?( G- s8
4 `5 V8 R* [6 \+ v8 X8 J+ R; s9
# F( y7 N) \* o: t% h10
4 \% i0 v* [) O( I' L11
6 N6 V2 w% O/ u0 s, ^给词云输入文字

% }8 [" b" s  h4 x* d
wc.generate(string)
1
  s% P2 s# X2 J2 e6 q词云图保存图片地址


3 S! U$ k  s  N. kwc.to_file('output1.png')
1
词云图的过程中有点慢，大家不要心急
% s; K+ A# f8 i$ k# A
# a4 y5 c) l, j% A! u; U
这是最后的结果

( W1 G' z( u/ }: w
没有加停用词，所以一些无用的词比较多
4 P+ H! ]* @, _5 v# d

stopwords={'了', '啊'}
1
, R8 G% I  w9 ]8 [  \! N' q- F$ M把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下


不知名网友：666666 牛批 老哥我要学！！！
# O; B  e7 o8 Y2 m/ D/ q2 }
- v4 s: e3 d5 c3 s3 s1 O$ }* \# P

# p5 v6 ?/ A9 M) }- L0 B
————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
$ ~8 W  Y7 g, z& }, B