用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
' Y; c6 `4 E/ ?7 N( ~* _今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
1 G2 q; C8 x" x# d9 P康康大家都怎么说！


0 c  c$ u& W+ t' K. I7 G9 e* O3 k) q
8 K+ T0 ]( y& _! ]& R
# k+ s4 L7 e* p" }5 O' _开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。

" w3 ?' G: W; h8 |% {  P! i
如何安装模块:
) s5 w+ M* N$ ?; }4 o4 N
# }$ t' S" ]! N$ M
- e' I/ a2 Q# i4 a* `win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
3 o1 P8 D& x8 \, e; Ppycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
% W3 i/ E1 f8 D8 Y3 q如果模块安装失败了，可能是这些问题：


8 L0 X2 Q8 k* ~% t' I! g: r提示：pip 不是内部命令
9 B' @9 D5 e6 b+ c4 `! ^  |, R你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
' r" T+ [" d* N9 d, g- R" B) l* fread time out 网络连接超时 你可以切换为国内的镜像源
7 W- F/ s9 v% E5 {8 p' Q明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
# h3 n+ o+ [$ r  U可能安装了多个python版本
安装一个版本即可
Python做爬虫到底可以做些什么呢？

, z# L5 \5 Z. C; I
9 A9 k. i- E- n常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
  @; |9 l7 }' e$ E. R模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
% v' h- c/ r3 }: c# B& c普通B站视频可以爬 番剧是需要会员的
) S" ^6 K0 ^4 _+ d3 f6 \7 R
: t3 C: o) y* A) H7 K2 i  x4 f5 T" p: G" m
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
$ o2 K1 p1 Z. n! S

1. 确定目标需求 (弹幕数据 那个视频弹幕)
# b6 d( @. a" y+ v( W    确定了
2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
$ [8 @$ q& B9 G5 }$ |    请求方式: get / post
- n& g  g0 J+ j1 \% I8 I% x5 o    请求头:
* X6 Y& I) y; W8 ?' H  m4 I    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
7 a; D" y& L" f* M+ v( G    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
7 g/ n' f+ M8 C/ p    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
2 _0 b* O( a- I' v) v: G    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
1
2
3
8 [! S4 _! Y0 r9 n! K4
) L! L; w8 c& J& |6 F5
3 @8 T2 |4 i: ~8 E' j- F0 x6 Y6
7
8
9
10
11
12
13
14
15
16
7 d; G4 C, G0 _& R( q  Epython除了做爬虫数据采集，还可以做什么?
' v9 K/ o/ ~- g兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)

* s0 m! W( }/ u# U: M1 c  l1 M
+ e+ B  f; `- w# a, n3 W网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
1 m& ^, v/ N5 w& ?, G5 Z6 e比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
3 i6 d, A) A5 k7 c; [. l如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
& _; y$ ?: f  w. ?' H' N
7 v, g5 Q9 j2 _1 W5 E& {  f
爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
& W" F+ ?9 s2 L2 n1 ~! B: `# l. O# q5 t之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

" o8 U6 T0 d* t  t& `/ k3 K" h5 l
  m/ G6 B* ~* i. W, M数据分析(就业/外包)


; E7 [, M6 |5 r. d" N# g自动化(脚本)

$ p+ y* u3 F+ U
游戏开发/辅助(脚本)

& a) ]2 o* [! o; X& U: d0 @$ y
0 B# ?# w" R- P/ u  N2 y% z) o人工智能(研究生以上学历 要求很高)
& J8 N: x9 U. A* u7 P4 U% e
+ h0 ^1 u0 l) V6 {* d/ w. V8 Y0 b" D
) c4 {5 ?) j# i& N3 H* {, E等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。

6 K9 h- l' @$ `6 H2 n3 H+ Y
4 `9 J! z$ s3 T7 y) g. E" A. u我们开始正题吧

" n7 Z& `" r( K
6 m% P; z/ a" d爬虫部分：
) e7 y- {) H0 \$ s+ w& j( q! g6 x" X0 o+ f发送请求 第三方模块 需要pip install requests
* X; i0 B0 L3 ]! k! A  V

9 y8 G' U8 R, t3 \import requests
) {( _+ m* K' i9 J, P; D* `import re  # 内置模块


url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
- w! R2 l! A; k2
  C6 f( }- {( _9 ~' U$ T7 L1 E3
4
% z+ e# J' l$ b' K; ^4 U0 k请求头的作用就是伪装
1 }8 m7 }! ^; {. G

headers = {
: b* z3 i& N7 i' W    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
# [- R1 v9 d, p}
1
1 K. P9 p# B' k5 }2
3
6 @, A+ Z1 h) S4 X1 Z% `模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
函数传参


$ y& N' |9 ^0 Y1 A- Cresponse = requests.get(url=url, headers=headers)
9 {- V* O9 C6 e1
<> 对象 对象意味着你可以调用里面的方法或者属性
- q) b2 d6 R7 d1 T% d! Y6 ~# A200 状态码 请求成功
" o8 W8 P% u9 I/ q/ k5 q获取数据 文本数据
' s3 F4 D  v# R自动识别编码

9 J! r" R1 V0 }' S
response.encoding = response.apparent_encoding
2 r- H8 h) G( q6 X2 vhtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
' R* O' m8 e2 ]0 d; W1
9 x' d7 {' j  k# g5 a( f; G2
: h+ `, K( q* U: ]. p2 J+ H; [content_str = ‘\n’.join(html_data)

4 {# K) Z# D" ~$ o- I
要列表转成字符串 ‘’.join()
for 遍历
; K! ^* I: B& r1 I+ m( `保存数据 保存字符串
for content in html_data:
5 g' w/ w6 x: I# D# J    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
' }5 q. a/ a* f: B& |. h        f.write(content)
        f.write('\n')
* O: J! v, G7 }  f# e0 B
" N. E0 j! A8 C  R7 ^; y3 @% u
# print(content_str)
1
2
3
9 D* c- d' m" f, g4
9 g+ |$ l$ z: d3 B# C5
6
9 C/ _9 c5 I8 c7
爬取结果

, [) b7 `/ t) f
# w* N3 U! l; M8 W0 Y/ C4 l9 a

然后我们再来实现制作词云图部分
7 J* B6 ^! C- L. O1 f0 a5 I1 q

7 N! ?% b9 F% K1 ?/ ~5 u8 Y首先要安装这两个模块
0 ~6 [' S+ T7 \4 m$ {3 v
+ z0 ^) M2 C1 a2 G3 `3 s
import jieba
7 L9 O/ L! v- U: L! G7 G3 R5 mimport wordcloud
+ j" E  N( y% F4 v2 ~1
2
) |1 B/ d$ O# v5 {一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。


f = open('弹幕.txt', mode='r', encoding='utf-8')
2 M% I# q- d+ b- Xtext = f.read()
. J$ n% i4 z5 @3 K# e9 N% ptxt_list = jieba.lcut(text)
3 g9 y! d3 X- h# print(txt_list)
1
2
; a* l# }1 l1 I# L3
; U' J- D% ~( l5 k4
; r, l( L/ A$ T6 }2 W( y( F  p列表整合成一个字符串
3 R3 y! {& G! M- t0 M7 h$ L# E* @

5 Z/ e7 o6 _) L% ^1 ~  [string = ' '.join(txt_list)
print(string)
print('---'*50)
print(str(txt_list))
1
2
3
( \3 J) d4 |& N. U: v4
+ L* W6 B- Q1 r5 T* o/ w( Y词云图设置
/ t& J0 D7 ~: w1 Q6 b0 }; U6 r

wc = wordcloud.WordCloud(
- \& P4 i" Q: D* n$ g3 D        width=1000,         # 图片的宽
3 ?/ ]$ c$ w6 [1 \        height=700,         # 图片的高
' V& I* {+ s1 H- e/ q4 |( B* e- r, P  \        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
6 \& i- d( P6 ]        # mask=py,     # 所使用的词云图片
, h+ z9 z/ b9 s0 ^        scale=15,
9 A6 ^' x1 H; A4 k8 ?! a        # stopwords={words},         # 停用词
, v9 w: f# A& x        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
  _: ~. d9 h$ K# ?/ O# J1
2
3
7 J7 Q0 n0 Z% @; o& j* X" Y& n4
5
6
7
8
8 ]5 b% d7 }' ]2 D2 q9
10
" q, T8 X9 A( c$ p11
给词云输入文字


! n' X3 @6 l9 x' j6 Q/ O5 S, jwc.generate(string)
1
词云图保存图片地址
# ?4 A! ]! L4 n* ^3 O

wc.to_file('output1.png')
1
1 M$ f# D2 i) |* Z) y( L词云图的过程中有点慢，大家不要心急
2 @, W. A; r  I. D( k$ m# h
3 W; \8 M' K2 X+ G7 D, Z
这是最后的结果
/ Q5 N. c/ O2 L( t  c0 `: N& Y

- Z% ?' W/ T* c/ J( c7 L没有加停用词，所以一些无用的词比较多
. g" s7 b% O- I& R5 v/ m7 n. O

stopwords={'了', '啊'}
1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
. u( p9 i) n2 t1 m: n1 P0 L我们再来看下

; p4 @2 N! _/ t  |9 q
不知名网友：666666 牛批 老哥我要学！！！


- d) |7 q& z, P) A1 Y" L4 h

! b& }# y+ \  z: [% m4 w  Y————————————————
  ]9 P" s) \3 M  R4 K0 B版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907