用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

8 }/ n, Z( Y" Q6 `& [# p1 i用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
% p! u- T2 y* [7 V" U4 k今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！



5 U9 B0 R3 S) s' g# W
, H2 H5 G$ N+ ]+ l! _2 \' S开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。

- L( z0 [- _- _. \4 K! P2 L
如何安装模块:


win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
; ?2 z' Z; K, h# ^pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
' I0 m( U' a" O如果模块安装失败了，可能是这些问题：
& u5 q; N8 ~" F' Y7 }: \) J
4 v/ T4 w5 b' p0 G1 Y- S+ ]
提示：pip 不是内部命令
, b+ z; X# L! u% H+ w) o* L# f你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
& \2 ]( O  U0 S: U; d  K: Y/ ~- Tread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
9 [9 B; M3 r6 Q" n( m. G2 L可能安装了多个python版本
安装一个版本即可
Python做爬虫到底可以做些什么呢？


! E( v3 V7 H! J+ `$ k常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
5 y' G# _- k! Q, W- y12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
$ g7 u4 K! _: K- h1 u普通B站视频可以爬 番剧是需要会员的


; E$ Y4 j: L2 Q9 h: G% d/ A爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
4 j. V  \+ e& m) s

1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
* f/ H  e6 C; |5 P. W" X: H: }2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
2 S" |. l5 M7 J" X' x9 H; Q9 Z    请求头:
2 `3 v9 p# z4 p; C    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
9 D! M7 p& w# b2 X    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
" V8 d; ?1 ^) F+ P: Z1
3 ^, e( ]# u/ r* c( q( v6 Q$ ]2
3
$ q- Y4 T0 m- e* Q) i4
5
6
7
# s2 c# x2 S2 v: K) p" p8
& k1 d+ R. p5 x8 ~8 o0 m9
* s! m5 a' w& d2 {/ b10
11
; K  y1 G  h. c5 h8 _12
13
14
15
16
' B% J0 r- u9 P" J& @python除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
8 f& h3 y" B, B, w& p5 F

网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
' c- }' H( k( x我可以做到这样么?
$ @% Q8 l) `/ S2 g( P1 f4 m0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
3 l( V. K) Y- H% t

爬虫开发(脚本)(就业/外包) 可见即可爬
. L4 B# O, y$ `. w- c* ?5 t虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
7 O4 P0 S! y  t; V2 R很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
2 x' s; a. t. w5 _/ f6 R' T/ L) M之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
4 f/ {2 V6 A5 `; e! D
) o! E" k) P) y* F# F
数据分析(就业/外包)
& _4 N8 w, l* d. b

- W# i! q# E( Y( }1 h# d/ q自动化(脚本)
! [6 X# h3 V. u+ K; J
1 @" A+ b: K9 ]( M
游戏开发/辅助(脚本)
$ S" [: R- X" z5 j8 g! i0 H" i- A
7 F: x4 u2 q* \$ n5 C
0 ^" V) Q" t& `7 g9 E8 R: ^人工智能(研究生以上学历 要求很高)
/ p, ~( v* a3 m1 }9 M# _" s  Y
7 g: j7 M0 ?) F0 N1 P
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。

* G" D# e1 u- E) u  r
) |- _. ]3 ?! A8 K. l; o我们开始正题吧
/ s% H/ m: _- ]( o; `5 u

* Y% f/ R2 f' C! O2 G2 G爬虫部分：
发送请求 第三方模块 需要pip install requests

7 h# [5 {  v+ d. C' _  A( i
import requests
import re  # 内置模块
4 h" r; _1 ~; _$ \
! a( Z0 F6 x4 L! M9 b( g
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
3 G& O/ S. k/ A4 e! z( h3 J1
! q4 B$ o" G0 I# C2
3
. F1 Z; C) P- o  W- o* Q4
* V2 u$ I: G  V6 f请求头的作用就是伪装
9 Z& p% G1 s" z7 m3 M1 l, [
7 i" j7 h. |; t/ c( W7 @7 K+ ~
headers = {
0 G  U% F7 K: P. z2 N    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
2
4 @# n) D" |6 H) E* Y4 i3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
. N: I" g/ j% L' n0 x函数传参

1 a+ v( J$ W& [1 I& L
( v$ G- |5 ^0 J3 Q8 d! ?, c1 yresponse = requests.get(url=url, headers=headers)
1
<> 对象 对象意味着你可以调用里面的方法或者属性
- r* ]/ w" O9 W9 J200 状态码 请求成功
获取数据 文本数据
+ s+ z! Q4 k- a3 a. x& D8 A自动识别编码


response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2
content_str = ‘\n’.join(html_data)
( f0 R0 F, l. ^* D( y# ]

3 I& V/ d1 z& z! I- P+ G; B: o要列表转成字符串 ‘’.join()
1 E, i0 S5 [9 o; Rfor 遍历
保存数据 保存字符串
! o: q0 n! b+ Ofor content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
7 z" U, [' _; }* x: Q. v5 t+ C! D    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
# g: ~" m' Y$ `7 `- P7 o        f.write(content)
' r) ?" A+ V% |& U' w7 N) L        f.write('\n')


0 ^# ~# h  ?, ?8 J* V8 [" }# print(content_str)
1
2
3
: W7 h/ ~* U! X4
) F/ N% w6 w  i9 k+ n* G5
4 P, d3 z$ p, N* m: }6
7
9 b4 R: o' m: K' G爬取结果


0 O' O  `0 f# O# A  \( t0 n  W
" R" U# R1 b, i$ W& m% Z
  r! r. d1 {7 C% O  }8 ~# l然后我们再来实现制作词云图部分


; h/ O7 y; o  I8 e1 X4 x首先要安装这两个模块


import jieba
" J- X$ m* P' B: f4 v/ X7 mimport wordcloud
1
2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
0 x# R( a- m3 @5 p; z8 Y  v  j
4 z) h# l7 F6 ~# Y( A' V: L
9 R) K, [& u: s' Z& W5 z" wf = open('弹幕.txt', mode='r', encoding='utf-8')
6 K* m0 n! o3 ptext = f.read()
txt_list = jieba.lcut(text)
# ~, x/ ], A( i# print(txt_list)
0 F9 U, Z& f! J4 ~1
2
( B/ \6 u4 t9 T4 p5 u3
7 i6 r4 T% Y' ]" o3 v4
列表整合成一个字符串
6 \, b& c% P* z  X3 ]

string = ' '.join(txt_list)
print(string)
print('---'*50)
, v; a3 U# a; j, }print(str(txt_list))
1
2
3
: `6 c% Z* y6 f+ ?; t! p4
: H- x7 }8 I9 p' V' k1 e* M* h. j词云图设置
# |% L& g6 R& O9 {6 v

wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
2 i8 ]& H0 Y. v! ?        height=700,         # 图片的高
/ h8 I6 s1 ]8 g/ Y) H        background_color='white',   # 图片背景颜色
* R7 z# k6 C* P6 \2 d7 _  s$ Y( M7 z        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
3 q' K# u8 P$ ?- u, g  D/ U2 ]        scale=15,
2 Y  o  \# i) Z- z5 ]4 Y        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
9 @( X( N5 w1 C* m8 n0 M1 y$ y- \, g5 Y)
1
& s3 _9 N& R1 r. W8 L2
7 |; A$ V4 ]% l) G! d6 g) N6 F( n3
2 w8 {9 s8 o2 S2 U$ C4
- c! u7 V7 T0 m# j* m5 q$ X5
- Z" `* f& d9 A6
7
8 b6 C3 D- M0 @1 {0 b, ?: a8
) @& f+ V; P1 v9
10
. _+ ?% |& i7 j11
给词云输入文字


wc.generate(string)
1
3 B+ j; n0 Y  b: y词云图保存图片地址
/ ]) q( [* X  O" \- ]- x6 ~- A

wc.to_file('output1.png')
1
词云图的过程中有点慢，大家不要心急
4 _& Q6 w$ J1 Q: X4 ~

这是最后的结果
5 S7 L$ E' j) w( z0 N/ v6 W

没有加停用词，所以一些无用的词比较多

" I# M& t4 h2 T$ w: L4 L
- t$ A9 i- W: S1 h: c5 Hstopwords={'了', '啊'}
1
& H) P% D; o! Q3 s# k4 ^5 B, B# ?把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
- j- S4 G, g0 E! v1 `我们再来看下
: J$ g8 a/ P, }9 N3 i! N! a* s

& a$ U( Z; k" a, _: G不知名网友：666666 牛批 老哥我要学！！！
/ J. D0 p7 v5 u) j/ y
$ I9 g" p* V* B4 H6 I1 m+ b


! p2 B5 _8 f. n6 n9 [————————————————
1 u  c" k* o/ Q* f. v; Z& m版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
% v  S/ H0 b& D( J原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
8 Z: f1 d, E) R+ v5 M

) s- g" x5 U! f4 |