用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
2 o% f5 i" P& k% a: H今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
7 Q" F: b1 q$ f) Q5 R* n9 E康康大家都怎么说！

0 h& |2 G9 r+ V2 `# a. G! }) c
; B/ U2 v& B1 M3 L& ~( z

6 P5 [0 A) V, @8 d开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。


如何安装模块:
7 E( n8 `  j/ b' [7 t

" d+ `: `, R; n  ^win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
# l5 ^- k- u! l5 l' a2 i* f# j8 N# a

提示：pip 不是内部命令
7 l8 v+ L. Z9 ?8 `, @% {- w你python环境变量可能没有设置好
# G  w6 P9 H  V$ T) S8 E" s1 W有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
) v% X0 i) W5 ]/ C( s2 vread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
: L% w) Q  G: A; c+ [可能安装了多个python版本
3 |0 Q, y5 q& x4 [安装一个版本即可
9 Z% T. l& F+ w5 MPython做爬虫到底可以做些什么呢？


8 O/ |7 H$ @6 ^$ {1 M3 @- y常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
+ |/ X. H. j/ n3 @% W: ]; K: a12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
% z  y( A/ ]- Z8 d' P5 \) r可以刷课 可以刷网课 自动 还能自动批量注册账号
  U2 s+ R& h# x0 t* Y! y$ E. U模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
! m2 B/ m" a7 L* s! l' }1 x普通B站视频可以爬 番剧是需要会员的
! R- d4 |. h0 z8 L* S

; F2 W9 b) o. E1 N, o+ Y! x; u2 N1 ~爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


, ^# B+ e9 W9 i) ^" E9 P: `1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
4 Z) |. d/ P5 l1 H! J# m# T2. 找数据 (数据的来源分析)
    简简单单 找到了
  r) Q- J9 m( n! s3 s3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
    请求头:
* T! P0 @7 @/ I    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
4 q7 L, u. d! |/ F    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
. F+ m  ~2 @4 d# P, I6. 保存数据
2 Q; Q4 M( j. z1
2
3
4
! @9 v$ l$ ^4 z7 u2 v6 V5
6
7
8
9
10
11
12
13
" O4 c& g' h; i, D3 M14
15
16
python除了做爬虫数据采集，还可以做什么?
1 l9 `8 |; M: P  r2 A! I; J兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
7 ]; i" d- T9 r0 U

& _7 E0 b% s' r$ H# b! s  A. a网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
  Y* r5 a3 h7 I比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
' f& K+ B1 s) J! l" Y" u& @/ H. w) M我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
6 B+ X' h% o* S3 b如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；


3 G* S  S3 l2 s2 O  g爬虫开发(脚本)(就业/外包) 可见即可爬
3 _, V! d5 ^% U- B虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
- E8 f0 H% @! P% l4 \/ C; I
. d5 y/ f6 \. N
/ z0 }7 h) G/ V( r* G# D3 g2 h数据分析(就业/外包)

9 q' c% ~% L/ e6 d* S. l
自动化(脚本)

4 @" G/ v" s2 ^, V2 Y
游戏开发/辅助(脚本)
8 S- `, S4 `6 M7 ~- Q

人工智能(研究生以上学历 要求很高)

6 L& `8 l( M3 m' ]+ `/ k2 P
6 _1 Z9 H" S+ A4 ?' t等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
9 W$ }. s3 u2 ]
" n. ]1 y) {$ O4 [: d
我们开始正题吧
" p: Q  X' a1 w4 _

' R" [/ z9 O7 ^. L/ N) a爬虫部分：
发送请求 第三方模块 需要pip install requests

$ O* _& I2 x) b: P
import requests
- o! B  Z: a/ Zimport re  # 内置模块
4 W4 G9 R  @, i
0 d& g+ m" ]3 C& w6 X
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
& [# m  B4 {. Q, |" g5 j1 x+ Y2
' B. W$ t; h" b$ m/ ]3
4
请求头的作用就是伪装
1 {6 ]0 _" y4 U/ i! X3 |) T4 k6 {

! c  ?1 p4 R  m# u" @8 w: ?headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1 o% `, u& J' {* p0 }5 q: e1
6 {5 I6 U* g6 W, A$ P2
' z$ X( }' C% O9 z* y1 q3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
" c. c8 V# g8 U函数传参
: @2 p. Z% m% K' z% b" x
) E0 `* f" @* I. h
response = requests.get(url=url, headers=headers)
1
( B+ ~9 a* b( L<> 对象 对象意味着你可以调用里面的方法或者属性
9 n1 n1 l: d% l3 D200 状态码 请求成功
- t& T; I# Z: \+ [5 J) C% C获取数据 文本数据
1 p, I9 F+ {) [3 A8 R3 r自动识别编码

- h" A; d# r5 W
  w( B1 h) m, j' ^% ?! _" p. |response.encoding = response.apparent_encoding
* k: X, O" o% a* ~% Bhtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
# L. R$ }+ K, \! q5 N: K2 y2
content_str = ‘\n’.join(html_data)
. h* p, r3 X4 p% c

要列表转成字符串 ‘’.join()
4 J- c! D/ V: m3 c4 O( Vfor 遍历
保存数据 保存字符串
* H0 O' P: p, F  z8 a! {) V3 mfor content in html_data:
7 s+ t* f5 p/ w+ |, [    # mode 保存方式 w 写入会覆盖 a 追加写入
9 [9 F' \, i3 a0 p$ I5 ^+ @1 ^    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')

* w9 ?9 V# M" u- G# O6 w
# print(content_str)
. T7 q% y$ x5 {; Y) n0 u1
2
; N" T, U& T$ |8 J4 H; U3
# j% e' n# {4 j1 ]' L9 u& u7 R4
5
" l* p( x3 L, @% I' ]4 r. I6
, ]& S, M; y1 Z4 m5 Z7
4 e/ [- m- H. B; s" N爬取结果
9 r3 _0 S" c6 a: p- C( p: A
% Y" ^  _  A) k' q


然后我们再来实现制作词云图部分
1 B2 Y4 Y# J6 V
6 |' L, o' f9 X. h5 s7 T
首先要安装这两个模块


" o1 K- V: C* U5 i6 g: l, zimport jieba
import wordcloud
1
2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
) _) ~* j$ e7 q5 I$ W0 Y; N! @
, x% Y" c. k6 R5 f9 {
& M* A* k- o' M0 o$ R7 vf = open('弹幕.txt', mode='r', encoding='utf-8')
! C6 Y+ D( x6 xtext = f.read()
txt_list = jieba.lcut(text)
; o  z) K" S1 A4 n3 K# print(txt_list)
" d) J7 ~" {% o1
2
5 u. [1 C, D0 s" x5 y) j, c3
; w8 V3 r1 h3 Q0 H: N  x4
列表整合成一个字符串
9 }! n' n/ S& h4 M1 b2 D

$ u) n- I1 _! i$ x9 wstring = ' '.join(txt_list)
print(string)
print('---'*50)
print(str(txt_list))
0 U- O3 ]4 y; I. W1 V  o1
* |4 W) U$ [: o) k2
3
4
9 y3 G, F- m, A. e! v词云图设置
& R* d7 h' I8 a: l% e1 ~; T

wc = wordcloud.WordCloud(
# \+ x, A" w) C2 }" X        width=1000,         # 图片的宽
- v5 w- T8 d& a9 k; [3 _        height=700,         # 图片的高
( H9 K: G3 N# h0 X! b        background_color='white',   # 图片背景颜色
. I9 p) o2 J8 U- f" d3 W        font_path='msyh.ttc',    # 词云字体
# j8 t# S9 |3 U7 t9 a& ]% |        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
7 a3 y8 R7 j- y  Y* m8 {8 M1 _6 x        # contour_width=5,
" Y* n6 @: S$ o, A" \: D2 S        # contour_color='red'  # 轮廓颜色
)
1
2
* B5 ~9 n" _: z/ i/ v) n" u3
4
5
/ u, y7 Y! M- B' ~, d6
2 }5 X1 Y! o6 p% }- V7
2 d) I7 A5 S; O0 X  P8
2 Y' C5 u$ j" ~1 V+ I( c# ?) a9
10
4 F( h: ^% ]& V( S4 n7 n0 p11
+ e  l& D; _3 a给词云输入文字
; t4 t. \/ W( S
* g! \2 D( [: ^- z1 N
. a; y8 H# ~$ K& vwc.generate(string)
1
词云图保存图片地址
: P. H3 s  p  r9 @" o- ~" h3 R+ B
! Z% K& b4 k& I0 m/ Q6 i3 p7 O8 [
wc.to_file('output1.png')
1
+ A) ~# S& }6 @9 h+ q, c' y" Z词云图的过程中有点慢，大家不要心急
# i0 u5 E7 C9 n7 Q, r, r

这是最后的结果
5 ]% ^, {1 E" o: O( E

没有加停用词，所以一些无用的词比较多
. V1 X% {+ j  C7 p* W  x' h
6 }- J* X5 \! ~3 H- v
stopwords={'了', '啊'}
8 V8 B' c: ?2 d& W# ^1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
0 {+ X! [0 n1 T0 P/ h6 D我们再来看下

8 b- W8 u, o  H. e0 h
) Z4 o4 c$ O) B+ W4 g: }4 Q; ?4 c不知名网友：666666 牛批 老哥我要学！！！

8 ~( f) _! B; j. q* k


————————————————
/ e+ A4 q0 j" K; m% k版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- V: _. s" E& `/ o原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
% Q: b6 q! a6 k
$ e* ~) z) k9 q" N9 `" z/ ^% d