用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

- }5 M5 U, t$ q, P用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
2 Z! @3 T( [7 m1 E: N5 j: A今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！




开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。


如何安装模块:
0 b& {, @- Q$ B8 c1 q2 r  b; c
* F9 m, B. k5 s  s8 }! F& X/ S
win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
8 n- x: `; x3 R如果模块安装失败了，可能是这些问题：

% i/ K8 b. l2 Y' _6 t1 [
提示：pip 不是内部命令
你python环境变量可能没有设置好
* _" J, Q; H' S$ q2 @) v: ?有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
) v" c0 |1 w; p, k明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
: a' n( N5 A, }& S0 w3 ^. e2 }可能安装了多个python版本
安装一个版本即可
Python做爬虫到底可以做些什么呢？


/ Z) F- C. v1 }4 t3 w4 |$ x. E常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
/ t* s6 ~) g' x0 L  ?0 n7 c* c; r12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
普通B站视频可以爬 番剧是需要会员的

7 c4 J9 m, }" i- v' i
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)

: R4 i. @6 G8 ?  [$ b
1. 确定目标需求 (弹幕数据 那个视频弹幕)
5 `3 m& V, }4 i  L7 H2 A    确定了
9 w$ W! N+ y7 |' Q0 a9 l; v2. 找数据 (数据的来源分析)
! E/ }# w7 v7 w4 z    简简单单 找到了
. @4 u. ?' z- ~3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
  c# H9 B; b8 U9 c    请求方式: get / post
    请求头:
9 H3 b, u3 h: d$ j" R    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
% S2 M7 N, u- G+ m7 K4 x    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
9 Q1 s* c7 O9 ]' y, Z' ?8 S1
5 J; @. b8 \7 u2
3
2 m7 v' l, J+ w% v' F4
5
5 R/ v9 i' X! W1 J; e# G5 `6
7
, f, }3 c9 T1 T5 ~% k) f8
9
10
0 h' ?. e$ z4 ?7 Y5 f+ a, v11
6 m3 r$ e8 D  t/ I3 |12
1 H$ h! |  A" {$ t8 \# _3 a13
14
15
0 |# Q8 X0 i: r# _8 \16
) w5 F% m9 n3 M3 gpython除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
# c" O1 G$ K5 ?; s" P2 t9 D, j% r
! Y( D3 y. J' u# X0 e6 O- z) o: ]
网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
4 |# ~& C8 n0 p- a1 P* z我可以做到这样么?
/ v/ C2 ~% W7 g0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
( m* ^  ]) M1 s0 T! `# u) H8 j. N
" \* x" w$ U8 I$ e5 g( v
1 ~3 {0 R: p8 L& e) }0 K6 H爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
, V+ w% p- H, a1 ]很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
, r2 I' q: q( E& }; w之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！


数据分析(就业/外包)
5 \, f+ R/ ]! f/ G3 M( q

自动化(脚本)

1 E  t" x: u2 Z! A6 Y. ]$ `
游戏开发/辅助(脚本)


人工智能(研究生以上学历 要求很高)

) J7 c9 \+ G$ _# O/ b; g  R3 Y+ T; h
' D& P$ [4 E% E! t等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
2 Z' G6 J7 n/ Y  J; m

1 L' ?) H9 c- c5 R, e: o' a我们开始正题吧


爬虫部分：
发送请求 第三方模块 需要pip install requests


; e' t5 R* v0 c  M  Cimport requests
import re  # 内置模块

6 f: A' [, B: O7 c' |& Q
- A1 P& [6 V( i  Nurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
4
5 ]# _; X. |1 x5 `请求头的作用就是伪装
% J6 I1 p' t+ f0 T  K2 e7 _

# }+ v, P' g! Fheaders = {
& ?$ h- R7 K# L+ y" C    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
% [( x! _5 f( I2 R1
2
3
1 {" r) [( n6 e/ M模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
函数传参
$ a# j& N0 T4 R, \0 G2 l2 }% ~
; H9 y9 P1 |8 o  [8 L
- z$ @0 R5 R4 P1 z, R7 jresponse = requests.get(url=url, headers=headers)
: Y2 Y5 W( \( f: U5 y4 I1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
* |4 p0 Q4 s% x! l1 ?获取数据 文本数据
自动识别编码


) B5 p  ^( }) Presponse.encoding = response.apparent_encoding
  j6 r6 ?. E; }% b$ {& R  whtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2
# k) a2 q' P1 f7 B( Acontent_str = ‘\n’.join(html_data)

9 f: e. c* T. f. k6 O  N: U
  m! X9 k, [$ H" l. ^要列表转成字符串 ‘’.join()
/ I1 P% k1 Q5 Cfor 遍历
& q! H4 ]5 L$ J' X8 N# f1 t保存数据 保存字符串
# |* F2 b3 n* f7 B- |! Wfor content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
; E( X) B: B' T8 q9 w    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
7 \% ]- R$ U( u+ b6 f5 r        f.write('\n')
) x' _0 L' s! R4 F. b; h
4 ]) b. L8 I( l' A+ y
% e+ |1 F2 I& p, d, I# print(content_str)
1
2
. _& x* @) M. j4 d# v2 ~3
/ c; U5 m1 r! d- x* L' d" n# q' S4
( [3 }$ Z! U; q" x0 `; c* J5
- [3 z. L) e9 t$ y2 ~) \5 U( F# d6
7
爬取结果


1 R3 Y) z0 i% s) \# f0 {& ?3 N
3 {7 G% V5 {$ U5 O
0 L; X( z% C1 d) D# t$ b然后我们再来实现制作词云图部分
7 D) i; B: G+ x* w* b2 |

$ n  U  F; W0 p# `' R9 v7 r$ b首先要安装这两个模块


import jieba
9 T; D1 l9 y! @7 o4 N& Ximport wordcloud
% N/ r% T$ p0 O/ \1 E. t1
% O2 H8 t$ `5 Y  W2
: E# g2 W6 O1 j8 q. k+ ]一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
1 S8 c8 I6 I* K. g* T
. g6 \" F* y! Q$ m( C1 L/ B+ n
1 X: T3 f4 a4 ], p" if = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
txt_list = jieba.lcut(text)
9 k! z4 r. r, @0 N7 l9 U# print(txt_list)
1
3 k; n; b1 b' T% r" W. e2
5 N% D* @6 @( y" g, H( J3
% |8 ~# K; [5 T4
% P$ u4 A# e8 d4 z" ^列表整合成一个字符串


string = ' '.join(txt_list)
print(string)
& E6 p$ `0 k3 `3 B4 Q8 R6 j4 y0 P2 kprint('---'*50)
print(str(txt_list))
; T* l. [8 u) K: V. u+ [4 q) W* f1
2
- U+ S5 L. j6 O# L6 b, H  v3
( P# c7 ^7 ^* ]1 x4
词云图设置

  o0 u( q+ Y9 Z5 a: ~& U  }4 e  ]
wc = wordcloud.WordCloud(
1 z! g4 h8 F& X2 H3 s        width=1000,         # 图片的宽
        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
' U! ?) U8 g4 q9 I8 P- i, h/ I/ O        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
9 K* @! a6 q$ B8 e/ J/ ~        scale=15,
. W3 n- |" g4 N. u  f, Y( I7 k( G* m        # stopwords={words},         # 停用词
  M& k8 A" d0 G3 }# U& k4 u        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
+ @+ M# G) z6 a7 t, V% L6 j)
1
2
0 i. m+ i2 t1 D9 Z: ]* v, `3
4
9 X' m- M% }+ t% A, d/ {5
6
7
8
  U$ [! R# W- ?, u& T9
) ~! k9 \2 F1 O  c10
11
给词云输入文字
/ L' @3 W/ f0 C0 A8 r
. n7 k- t5 y1 V% x# r" f/ ^
! h% O6 @! d% Lwc.generate(string)
1
词云图保存图片地址


- X2 j- X6 `. @" e. `; W% `wc.to_file('output1.png')
% B4 Q7 k1 e; Z+ U5 p/ L5 F1
, S* \5 s7 m- J$ q词云图的过程中有点慢，大家不要心急


9 X  @4 p( h* \' L) m9 x这是最后的结果
8 }# J. \# K& N# d+ x0 d3 k" p
: s2 |* \& `2 H/ F8 `& N
( m" }/ P8 R6 `& X6 B) @8 ~8 J没有加停用词，所以一些无用的词比较多
8 K  O5 G. h# F& _6 r
+ x, K- t5 Z5 `$ ^8 i
stopwords={'了', '啊'}
8 ~+ R( y0 i* y9 A; W; h0 O: `1
& f1 @' a" F3 I0 v把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
& @7 Y1 D2 F- G# l1 G2 @我们再来看下
9 G2 b$ n, k# H1 e" \' c8 d
! R9 a" r* j& _! B( X* y
不知名网友：666666 牛批 老哥我要学！！！
( S( J- c) K, I8 v

0 a) N# `6 s& w' }: v$ r. T

————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
4 {2 S+ ?; z' N3 `' L
# `# z9 V/ o4 t. q* f! X& A& s5 u: y
8 I! n; F, ~. X! M