用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

7 S. y$ W! y; |0 l用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
! L1 C. o+ D% Y% Q* Q& e% O" J今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
3 J) l# X0 n" r# R6 L康康大家都怎么说！


6 e1 O( _" C, [7 B$ W
  Z5 \) h; F8 Q% \6 {) O
开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
  Y; N- Z0 I1 J, O& y
# |8 C4 {# b$ f
如何安装模块:


win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
: Y. Z1 Z. D6 s% e$ ?pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
: d2 f2 q9 L7 N6 s

提示：pip 不是内部命令
你python环境变量可能没有设置好
5 o$ r& {2 K' N5 g4 p% |) S8 Z有安装进度条显示，但是安装到一半出现报错了
8 i2 `4 M# z2 `3 A' [- w因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
$ U" C2 d& h4 j; S. O) C1 L4 J/ }read time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
9 t7 g: v* g; b' z* H你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
安装一个版本即可
Python做爬虫到底可以做些什么呢？


! p" W+ g  F8 s' W" x常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
: b! R% w: O7 g4 H5 @; L12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
0 b$ r. u+ G$ D1 w" p1 O/ A可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
: j+ n( D4 W. u* {5 d普通B站视频可以爬 番剧是需要会员的
" ?8 t+ A9 u- K

, g& t) E* b1 Z' {3 c. |& Z* a爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)

# H, {" D; F! J. o/ z! c( K2 g
( Z) e, u: D* P5 a$ Z1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
    请求头:
* A4 H1 m% y: ]. G8 e0 K+ ]    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
5 J) k  V( R4 I6 H5 |" V4. 获取数据
& s: K/ m) S/ t' r9 e- G    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
0 i% V8 S' W6 z( H! ?% Z    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
8 |! W  N; m* \8 G# r# g    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
7 f) l8 Q7 ~9 v0 D2 R$ N) w6. 保存数据
1
2
3
4
0 K8 l. m+ x( S- {' z; L5
6
7
8
9
/ H$ [2 E6 I; r, C& o1 A& @" F. i( \3 F10
; ?& `5 ~' b  U, w11
12
* C4 Q! R$ f- L. H# _) m. s% d13
  H9 H8 Q- A1 i2 v7 v5 a14
2 b4 i9 b" b7 Q# Q$ [15
' H, h; p  ?; I/ y8 v; }16
1 i8 m# f# K3 t, H  q: f- ~/ g+ ^python除了做爬虫数据采集，还可以做什么?
7 o9 S) P/ q* U兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
2 n4 Y7 h  @) m
4 C* ]% H) ^0 P. v+ F
网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
- V2 ]9 W" B+ A我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
* C4 S* l' [2 z如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
  j8 z' g) o# U! ?2 U1 P- n% |

爬虫开发(脚本)(就业/外包) 可见即可爬
) b. g, W9 `$ R# _6 W8 W2 m虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
+ h& g9 l7 `# c; d+ j: Q很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
1 R$ e2 s0 S4 j( ?" d- {

数据分析(就业/外包)
: D! K4 I7 d6 ]

5 r% N" F6 ?1 m2 P; s自动化(脚本)

! x7 Q# `; S+ o( x
8 g" [2 |: g; z4 A6 Y游戏开发/辅助(脚本)

# ?* E% r2 n4 Q. S' M2 T4 ?/ k
人工智能(研究生以上学历 要求很高)

2 b3 s0 s8 r* F. w5 V
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。


我们开始正题吧
. C$ D, y# ^0 c! X- r0 L, v

% f$ U% b( p' y2 z% M爬虫部分：
发送请求 第三方模块 需要pip install requests


import requests
import re  # 内置模块
: {" y2 b0 I0 G; ]
5 b6 [% ], \' q
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
4
请求头的作用就是伪装

  s  f: v4 g' a  b
5 C0 p* ^* r4 V( i) Z5 Aheaders = {
$ D; D4 q: |; L9 g2 p    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
8 t- R( S# c+ M# z1
7 _0 [3 u% M' |# b* M& g2
; Y2 _# e: y+ T$ T. `& x3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
函数传参


response = requests.get(url=url, headers=headers)
3 R, a7 h& Y1 y, Y3 `% J8 s$ i# k1
% h. l: p$ W. `<> 对象 对象意味着你可以调用里面的方法或者属性
: z# M/ @$ J4 @* G200 状态码 请求成功
3 X9 N1 D" O0 y6 S' X获取数据 文本数据
. j$ u: k6 F" D7 K$ V+ Y6 P0 b# G/ b% p自动识别编码

8 V. r  h+ A1 _% j- i6 E" t/ @  X& g
response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2
7 z# O/ a: `6 }3 x  u$ W# j! ]+ Jcontent_str = ‘\n’.join(html_data)

/ x( ?0 a2 }7 C; g2 e
要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
for content in html_data:
" b- R6 M2 i+ w- q% K) v' P    # mode 保存方式 w 写入会覆盖 a 追加写入
* I7 t( r. C( e2 w/ Y$ z    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
$ w; r; r, o/ d( f, }. w+ v        f.write(content)
, _0 K' w; k1 v, ]! K        f.write('\n')
& J7 o0 |3 x. n  K: S

# print(content_str)
1
2
, t+ k: c6 ~. f) r& p% F4 L- l3
* l+ Q6 ~9 b+ `# y& E1 v; g4
: ^. p  b- r8 [. G0 }5
6
7
爬取结果


( O- V" Y# y6 x" @( g$ r3 c

然后我们再来实现制作词云图部分
$ e0 r3 e5 ~, h
( c6 w7 K* `9 a
4 v; y/ t9 W" [: ]. @% h首先要安装这两个模块

8 l: z* E8 h5 v
import jieba
% X# U. c  P: O, e2 mimport wordcloud
0 I$ Q* ~" B" m* n, {1
2
, P4 ^- D# A3 e0 e' O% r& X一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
% e3 S' P  l, J8 Z

' D# v0 I2 Z8 Q- J+ Z, C' p0 O8 Gf = open('弹幕.txt', mode='r', encoding='utf-8')
2 a' y1 e" s$ ~+ P  G) Ttext = f.read()
9 ]7 @* _* v7 C) G3 w) b# Mtxt_list = jieba.lcut(text)
# print(txt_list)
# s. C3 ~  n2 j' z1
% W7 s8 z( A7 |7 j2
2 t! s4 j+ K" T, _! a3
4
8 P" x, X; v- Z5 |$ `, h/ g列表整合成一个字符串
; t0 q$ g1 [: A. E4 I7 c6 q. O# s0 b

" F! O2 V1 Y+ P* ~& |1 q' X# L% Q9 Astring = ' '.join(txt_list)
print(string)
1 x+ G7 \9 x, d4 kprint('---'*50)
print(str(txt_list))
; g8 `; O3 |' T1
4 s+ `7 ]* B. x: ]" U" u0 ]2
3
4
, G2 Y2 h4 C; r. o词云图设置


wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
        height=700,         # 图片的高
" b  r" z$ P8 @& i& v- l. j/ X        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
* P9 x$ c8 B8 m! q% ~        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
1
. o3 U) E: I( ?  j! c2
3
4
5
6
7
( I, u8 J8 E( S2 g7 l/ h% Z7 p# m8
9 z& G( D: F9 k' O9
4 _6 R% e: z& ?0 J- z10
11
" o# \' A: h$ I6 e: A& A给词云输入文字
2 V& L  H1 }9 f# O5 x; f. c

wc.generate(string)
' J' m8 ?8 N5 {% P7 w1
词云图保存图片地址
3 r& S* k5 i9 Y3 S3 q1 D8 q

: F' A2 b$ w( h7 n0 l: ?wc.to_file('output1.png')
( L6 i- C! x6 d) i8 Y4 X1
词云图的过程中有点慢，大家不要心急
3 ]! J/ ]" l4 A6 }
$ {9 m+ Q& o1 @% q- h
这是最后的结果


  o# S) h' w4 a8 x/ X8 m' H没有加停用词，所以一些无用的词比较多


" @6 x+ L. W! Y# u' u* T" d. ^) X3 }0 Cstopwords={'了', '啊'}
1
1 b9 F9 P6 |5 N7 O. l) J把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
; y7 j8 ^% s8 B" R我们再来看下
8 u% y; }: ~! i$ e% w1 S- A

* A0 k2 j) g9 A5 `不知名网友：666666 牛批 老哥我要学！！！
+ h  p# |& |, F& j! O! e9 r& u' |


6 x7 a% [/ z. I, B0 K: f6 s
  S) D# W* y, _# q) y! i————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ [" V1 k; h8 E: t8 F6 }原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
, R8 ~5 W. e6 G4 K0 d+ q& L+ r

8 r0 r5 v$ w: O/ P( J0 Z  p. q* b