用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

# Y& K5 A1 v9 g. m- D# g. r用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
% q0 k- Y+ P5 G  E& i今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！

5 n, c! M0 n- M) L$ Y7 V/ G; w
" K+ u7 w8 \; d, [" V- ]
8 P6 c& b: y/ J6 b% \/ ]4 D2 U
开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。


- L( T' _0 }8 e. r7 d如何安装模块:
+ b4 ~6 x# P- N

3 g( I1 y3 K# |9 K) q3 Iwin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
$ l5 q) `9 l0 S4 H. \  l) R
- k% L$ G0 J( E' o) L
提示：pip 不是内部命令
/ x/ D. d6 ]& W5 Y你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
" G7 T7 [- A9 m) Uread time out 网络连接超时 你可以切换为国内的镜像源
* s% u& M8 r3 k! ^/ \; `明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
* W6 G# x/ ]1 z你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
$ X1 G) i, ~( G: R* p; p, `1 q& K安装一个版本即可
Python做爬虫到底可以做些什么呢？
% J: W( E+ P% H% z5 @+ Z: N
1 E. U! I1 S& S+ ]
常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
# u" ]' l" ?( R2 n; K普通B站视频可以爬 番剧是需要会员的

) h- q' O- g$ r+ D, l, r$ S
% B2 i: j( v! ^# _爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)

% q9 G1 w, I. e4 O2 d
% S) c* G4 I# o% s9 f: B1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
    请求头:
4 R% M% Y; o5 J5 z( S+ @    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
/ W# y- z( H1 N4 P' e    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
, O3 K6 t# }" d4 f    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
# p& z. A9 L- ~( h    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
# l+ O2 ^1 G( D0 f8 d% L1
2
% u  a- p3 z3 d2 ~3
7 O8 V5 l9 e' N% s0 N4
5
& G) h6 t/ o* B' x6
3 y- |( R0 }! l4 B" X! O+ Z+ g4 B& v7
& M; V& \  f  t  P8 s8
9
10
11
& y+ |/ z5 d! _1 S+ j; r# A12
1 f  `9 Q5 W% n3 U+ p8 B13
14
15
4 e* x8 W/ Z) O! Q16
python除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)


* l2 b: ], H) }- i2 J* h- ]网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
2 W* [; g) G) q0 l9 N( G我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；

8 E0 U8 E( V) i3 x0 {" L
% @- g+ U6 x2 M9 h$ p: ^爬虫开发(脚本)(就业/外包) 可见即可爬
% L7 Q2 _/ g+ q' y6 |! q- f虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
" U( g; W, C1 X% V1 @& t很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
) r( m4 u/ \( \; f7 ^之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

: s& y, R& f% O8 [! f
/ z( w, V9 {  m" h数据分析(就业/外包)
! ~" s5 g# [' a

- R) W! M! d4 P& S/ A自动化(脚本)
; q) i: B' b+ o3 J1 F- ?; A
+ m' f1 Z* x3 O
5 @' u. y9 z9 u4 C' ~. l% v游戏开发/辅助(脚本)


" @5 K; E$ \/ n1 i9 J- i" D* N% N0 o人工智能(研究生以上学历 要求很高)
& ^, t, S- a- N" F8 p

等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
# L! g% J7 P0 d6 M! i
& T# \+ q! t) Y- \5 V7 e0 r
  l. m" h2 D) t% m9 k8 M6 ^我们开始正题吧
) k' p' U/ ^. K) G0 ?

. {; t. l, b( S" g+ c2 D- ]  q爬虫部分：
6 f2 Z$ L. G, Y+ E) E1 O7 [2 N发送请求 第三方模块 需要pip install requests
7 v% C. e  J( y" j$ P
: W0 P& m+ {3 M2 Z& d) e+ V$ N+ h
import requests
import re  # 内置模块

5 b% t. n* ?: s( `, O
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
, N' {2 ^' K1 O5 W2
, @# S$ a3 E9 d" B3
% i' e' _, J3 O4
请求头的作用就是伪装


* m- H8 l& r" e/ U/ H1 x( iheaders = {
& U5 C# t( S. n7 _, D    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
8 f6 v# T8 U! k1 j& I; P1
8 ^1 J! l' u- U7 Y7 W2
3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
1 u) ?( \, B! i7 d( T函数传参


response = requests.get(url=url, headers=headers)
1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
9 N2 J" o% u5 Q: R9 s* T获取数据 文本数据
自动识别编码
" J, a% {! X6 X9 W5 W( z2 D5 E* I$ Y' `

response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
$ K/ e# C, l' e* |! J. A2
content_str = ‘\n’.join(html_data)
7 m) R5 F# C1 q3 A+ |8 o. T7 ~
$ ~0 I5 Y4 [5 Y9 L- l5 D
要列表转成字符串 ‘’.join()
) L; \( c/ w& p+ S5 Ofor 遍历
保存数据 保存字符串
for content in html_data:
% |+ u5 t2 S$ n0 u3 T' f% D    # mode 保存方式 w 写入会覆盖 a 追加写入
' o$ j# Y) ~6 u, I4 e0 o4 T    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
/ C% X& _1 U- @" \. }& J; Y& L: _        f.write(content)
( p/ c' h7 H3 K        f.write('\n')
; x  I+ p4 c+ y0 ]

7 M5 u' J( c5 ^# print(content_str)
1
$ _8 k- j" t5 W, {; [2
- W: E3 X8 w! Y0 d' W3
4
5
5 s. O9 |$ y7 H1 V6
7
  s; i/ I5 P6 e1 q爬取结果
& O" y( r& J+ {/ P3 C5 t; o9 e8 E
. |  c+ F& Z; c5 y) Q. k) _

* Y9 z# c8 a, f. A* L1 b6 ?
* w: ]( H# h4 w* g6 b9 ?3 k然后我们再来实现制作词云图部分
0 A) `# m' S1 D- P. g

% S6 S( u; W2 W: q* j) [首先要安装这两个模块

' I6 j* q% D0 F. x) n) L
* R+ w- q: H; ^: i- A# {* m5 Zimport jieba
import wordcloud
5 G! N; i6 F0 w$ Q1
2 n: H$ L  ]3 B4 |- y% y# a2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。


f = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
( q5 V8 K2 f& A& ^+ G. x( Ptxt_list = jieba.lcut(text)
# print(txt_list)
# N+ J/ s0 K: V( b$ r7 ^' k: o1
2
" b) h1 B; ^9 G3
0 Q/ l  r! L9 B) k/ W4
列表整合成一个字符串
. h8 L; A- @* @2 q8 I. {- n
% m5 k- {6 O. v
  _# m0 Y0 x1 D! l: ?+ _1 istring = ' '.join(txt_list)
print(string)
( v" l/ y- O9 \8 V. U( Qprint('---'*50)
print(str(txt_list))
0 D: d  g- R* Q9 F$ C! {5 ~) R1
2
3
4
; V' a# T) T$ }词云图设置
' |' {3 z: A1 q4 H, M) u6 S! ~) M& l2 `

. b: E7 p6 Y3 H6 G: S5 p1 Pwc = wordcloud.WordCloud(
& v9 _2 m. X, U9 `3 k        width=1000,         # 图片的宽
, c7 ^& c% @! y) _, T. {        height=700,         # 图片的高
; [+ v* S1 q0 d% y1 L        background_color='white',   # 图片背景颜色
  E2 \# e6 w6 ]        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
* o# C, r5 R: ^7 o5 C$ k        scale=15,
        # stopwords={words},         # 停用词
. d& D! j$ M, ~8 ~" I4 B  ^        # contour_width=5,
( \) G' [8 z0 j2 N& T! T1 Z        # contour_color='red'  # 轮廓颜色
)
- v3 r$ `* _; h7 _1
4 j5 w2 V: d! ^/ ?. a2
1 R& ?/ n4 U' f7 N  n3
4
4 ~$ I2 a5 O- g5 r4 }5
  P  v! A3 }' q1 l6
( z0 s3 [- {  N, L& F7
  |' q/ g* T  b8
- d8 c2 z0 l6 o  ]' C9
! P) [6 `$ M6 a/ V; D10
11
# Y) q0 h* z) L9 Z4 o0 q给词云输入文字
; V% F) T: b# z. v8 Z1 P4 P+ |

wc.generate(string)
1
词云图保存图片地址

+ J/ }2 y% T: p2 x4 Q1 i
wc.to_file('output1.png')
1
+ g+ O( a* {/ a! E- X+ L, i' c词云图的过程中有点慢，大家不要心急
' @4 d( c  V$ V  l6 _7 p, I
1 v3 P/ U" k# r& H, ?' B- H
; g% J$ q4 }% l: \这是最后的结果

: E- W7 M3 ?  v& f# `% ^
# ~" P! @. k5 O, g, P; \  R没有加停用词，所以一些无用的词比较多
& J& @# R$ N$ d2 d/ X8 l( v" c: g& q
" H+ a3 e$ t4 Z. s( q
  d. {# H5 ~' q: K% Mstopwords={'了', '啊'}
1
2 @  W+ {* P) _: C9 q) j把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
7 N8 H1 I+ F" @我们再来看下

! \$ b  h/ u3 b9 U7 }. Y
; B' X2 \. }1 w! J; n2 v2 a" _不知名网友：666666 牛批 老哥我要学！！！



& x7 ~; Q' j" Z8 |
2 A( N$ M! d6 {) t' R1 r. @————————————————
* I9 k2 @" t; ?版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
4 e9 p% T4 I% S4 s0 c/ C  U
/ e* C7 t4 Z# A3 C, t' @& R3 k; x, M% F