用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
! p6 v* Z, Z6 @今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
/ Y9 V- r& c3 w康康大家都怎么说！
- A- @8 {# B! W1 Q: E' [5 Y
( c6 A6 G: {& @& l5 j
7 T# |  p: \+ n* v* Y

开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
! Z. L3 q* R7 ^6 _  G, t
4 N. ?" s3 `0 _% T: c* F5 v  A1 N
# u! Q8 C# r  D如何安装模块:
" x7 W& g& j9 h2 \& ]0 `
' A2 |1 P: h$ c" A* ?1 o' `! C' _
4 M8 {/ n$ Z! R$ d3 K0 uwin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：

$ m. ~7 ~) B! ?# _
提示：pip 不是内部命令
你python环境变量可能没有设置好
0 f3 O. s" _: ]1 G  w6 T* a有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
$ {. Y% m% q+ [& S) V. `; ?: }4 {% pread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
安装一个版本即可
5 T, ~$ w2 ]" k4 ?Python做爬虫到底可以做些什么呢？

+ u2 p; H# Z# e. ]3 s% t) o
常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
2 N; r' S6 U3 n3 J9 v! r可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
( T7 R6 R: _: O& Z6 H& S& J普通B站视频可以爬 番剧是需要会员的


( g- E2 N( b, }爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
/ Y2 l. Z- J" E& F9 c9 u8 N- [' t

  [) h% x" \$ D4 o3 \) y1. 确定目标需求 (弹幕数据 那个视频弹幕)
: b  F% q9 _7 ]) ~    确定了
  R* |6 o3 O% J' y2. 找数据 (数据的来源分析)
! J/ n2 B1 H- ~8 S* J    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
" u* R) p$ u# ~# S' i$ i' G    请求方式: get / post
    请求头:
& r( B" a& E$ {5 C5 b    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
4 @1 t- p" k* S  [" o8 y, ~    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
' G& |) m7 O6 C- Q    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
& J4 J9 b6 c4 D8 f) ]) h5. 解析数据
1 {/ _* |- i- O1 S: {! ~    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
" y& l! l4 k! G3 \6. 保存数据
1 Y; ~6 K4 `/ i% i) h  C1
2
! A! }% X; w' F3
& s/ f5 b- `/ [% |4
5
6
7
8
0 F) a% ~9 O) B' W9
( K1 Y7 f: j7 X4 B10
3 P1 ?4 v+ a' T3 y" b* n11
12
13
14
6 \/ Z9 H; r8 O" T. @2 R- n15
  \* i4 ^: _5 k7 W16
python除了做爬虫数据采集，还可以做什么?
* F) H" l6 _+ A兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
0 j- I  h3 ]/ n9 c

! h1 h) a9 J1 f/ G5 u网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
1 T' ]& r2 R1 Z# `% Q. Q" ^我可以做到这样么?
9 ^+ F: P9 t5 K+ F0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
; Q  T5 X' N) p7 i4 h

爬虫开发(脚本)(就业/外包) 可见即可爬
( D* X! g* Q4 S8 ^: ]" {* p虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
9 A* V3 r9 w) N  o$ d之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
) y3 ~) M8 v1 k: }! p

数据分析(就业/外包)
, j* g, \, S; Q% \) \3 d( w
6 `2 i+ L5 g, R! B; s
自动化(脚本)

7 M# T3 k0 \. w4 Y$ L
% M1 Z/ v  j' a7 l5 U0 F( C游戏开发/辅助(脚本)
0 Z' @. N& M: f/ Q0 y! |+ g4 A, y0 K
( B( Y: L! i1 w7 M- j
* m' n5 t3 a1 }; V3 i, c人工智能(研究生以上学历 要求很高)


$ D# o4 d  t  L$ ]2 C8 g等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
6 W/ N4 G) B9 @, h+ ^7 j* W
; a0 w% K2 P: a0 u! I  o
$ G; ?% \2 F2 t; q" h8 A' _我们开始正题吧
- q  q# E! C% D7 ]& Y/ Y
" B. ~. z; `" O, e/ `8 N3 c
爬虫部分：
4 d3 h4 C5 i  j$ ~发送请求 第三方模块 需要pip install requests
$ I' y4 w4 Z, p" I) ?

: ~9 G0 T7 C8 l( x0 N8 \7 J- Uimport requests
2 j$ i7 c( A, V+ A* B4 v" }import re  # 内置模块

% |5 e+ h- v7 e! e4 J+ M% y
- d3 G: ^) ]  Uurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
4
请求头的作用就是伪装
7 Z  f6 _$ o* z; U9 E" e
( i, E- u- x9 P0 ~( L5 j$ b# h
0 Y6 t; k1 u; l$ s3 V3 @, eheaders = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
4 b2 S6 {* n9 `2
6 H2 l! p# i/ K$ k3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
& d9 q# Y5 q7 w9 a& b函数传参
; u3 l7 W0 [* L

+ k0 |) f. S8 h6 Xresponse = requests.get(url=url, headers=headers)
1
+ P9 O6 Q2 q5 ]. r* W* W<> 对象 对象意味着你可以调用里面的方法或者属性
. J3 n$ N: @) P! v; ?' G200 状态码 请求成功
获取数据 文本数据
# T/ g5 x2 c; j/ V5 S2 g自动识别编码
# u# }9 w9 t( C8 X

response.encoding = response.apparent_encoding
/ p% F7 u* c, V6 p- z6 Rhtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
( u& A3 N( M- l" o1
& w' q* ?* I$ J6 U/ r2
content_str = ‘\n’.join(html_data)

) {0 a1 t" J, u8 S2 ]& a9 E
要列表转成字符串 ‘’.join()
for 遍历
9 _7 h" \3 n. O9 a$ T- j, V保存数据 保存字符串
for content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
" b4 ?9 _& Z3 x    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
5 k$ S/ G' Z% e6 m( D; ]        f.write(content)
        f.write('\n')
5 I2 |! o- i9 l. z. S6 W

# print(content_str)
* X+ O( I4 ~4 Y" {: V8 `9 @1
2
3
4 z+ u- ]" ~* u- Y1 E+ C' D4
5
6
7
爬取结果



: g" Y' k7 U3 R5 `6 c( l9 f" ?+ c
  T: a" u. r8 Z8 @! ~然后我们再来实现制作词云图部分


, M' {# i  J  [" j$ ?6 b) c% W首先要安装这两个模块
, [6 t# Z; ?4 w- I: j8 D. c) ~
" p8 q) U# P  _! F
import jieba
2 D2 |- l) `) |3 e$ g* _import wordcloud
1
2
7 ~  [5 E0 `+ L9 A1 |  X2 w一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。

6 ^; _; B! F. x, O. |( ~
f = open('弹幕.txt', mode='r', encoding='utf-8')
7 i2 z, Q8 w; Z7 z+ b; dtext = f.read()
txt_list = jieba.lcut(text)
. a8 k! a, |- I# print(txt_list)
( y: @$ V$ b* m1
2 T! c  F5 t) v% e" g( b0 t3 M2
3 p3 O) t! g9 z3 o, J3 K. t' `3
; g5 s# k- W( J. Z( `5 b' ~4
6 X* k! o$ e6 T! w6 O- }8 H( y/ L( {列表整合成一个字符串
( v1 {6 c1 s6 V& S

string = ' '.join(txt_list)
+ z3 B9 z' {* A# u4 [& uprint(string)
7 {2 x+ B) D7 z9 h2 W* P1 y9 Iprint('---'*50)
print(str(txt_list))
1
5 ~" y2 u0 X" n2
; g, ^" _. S1 r3
  A+ u0 n2 s* e+ l& z1 b7 O" q4
4 _4 U2 V/ g( k% w词云图设置

1 {# ?. }0 Y, Q& a5 c5 e
wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
0 E0 K. A% i6 i. O! [        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
1 n5 r4 U. [( Q) u8 X        font_path='msyh.ttc',    # 词云字体
; n. `: N- ]" x/ N/ V        # mask=py,     # 所使用的词云图片
        scale=15,
' q8 n, H! H" v5 Q1 ]( r: h/ A9 g        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
+ B' A2 ~9 t/ v2 ^3 D' G' c)
1
) h4 S" P; E' ~  \& z0 {2
3
; W/ v+ P, m. y+ c* ]$ J6 Z7 H4
9 `% _7 O$ m0 I1 A$ G" w5
- n# c% U& _1 e: {+ y! L6
7
4 e' `# c1 U; v9 R5 v4 V8
% i" @* @- K+ n. ~9 R+ S9
/ e" Z1 ?) O* ]  c$ p# Y- ^10
2 Z! o: K4 |% c9 _3 `* z2 g! N9 y11
1 S, L7 ^1 b5 e; e7 @- q$ u给词云输入文字

2 H$ W; B: y3 N- u
1 v# b9 p( q4 Y  P, `0 v0 Xwc.generate(string)
" S8 _% a% P! _2 ~: E1
词云图保存图片地址


2 l. `0 c/ K3 ^4 U, D# I1 R$ Jwc.to_file('output1.png')
' o! g- w8 p/ p$ k/ B1 Q1
  B! _& B- O0 S( y& v词云图的过程中有点慢，大家不要心急

7 r- Y: ~1 h0 J. _% z
1 O. R. A- [' D: t这是最后的结果
) n3 Q6 t5 E' B# d1 u
# M* a3 {) [- V2 ~
9 a/ e3 T$ H* _# {2 W- v没有加停用词，所以一些无用的词比较多
, \  `3 M0 N7 y
" y9 L9 t5 t4 j& Z- R% h2 k
stopwords={'了', '啊'}
1
! ~* p$ n& h5 t5 X8 q  H9 q) l1 a把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
4 E$ o- F: U5 e0 l3 T4 U我们再来看下

2 A& L. ]: ~7 t/ s
' D: j: N5 X% R" Z不知名网友：666666 牛批 老哥我要学！！！
+ \1 U5 \% l7 t: R

$ r5 V1 D: X$ T* l

————————————————
9 W: _6 B$ t' I( F  |3 k/ Y) e版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907

6 F' z! S& {& b8 p