用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

1 N" n# u6 k1 X8 U" c- N用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
- _, q& g( H2 k& m康康大家都怎么说！
. L5 g" U) @0 s/ G: w# T- T  u



. X' [+ j) }2 L) s* e  ^开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。


如何安装模块:

1 b  e2 O% g: ^
4 r  {1 o2 p! s) R+ Awin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
" y7 h& v6 B9 |3 D: N2 Lpycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
0 s& P& T# h4 I& F. J

提示：pip 不是内部命令
你python环境变量可能没有设置好
  f3 \0 _; x9 {: V0 B* |有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
5 s$ [! }3 `& W1 q/ ~明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
- Y1 y$ ~, R9 H; P4 R0 r, t你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
$ q" N9 p  T8 A( O4 A可能安装了多个python版本
2 D1 E4 P- y. \0 n' w安装一个版本即可
Python做爬虫到底可以做些什么呢？
& m3 O* x& k1 B8 U" k
+ _. d  `# `2 M* O# m. Y) d
7 R- q) w! L; t% ~2 n常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
普通B站视频可以爬 番剧是需要会员的
7 j4 e: \2 r% a9 I
' Y' `8 V+ J  |
/ c9 I# [. V+ O" ~8 k3 e, a爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
  j+ g8 {0 A7 Q$ {
& J- h' V. s& u" [, Y/ g
1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
% o' @! T; z1 j5 I    请求方式: get / post
: t" l. p% C) x  s- D+ |    请求头:
) a$ X4 a* }, x" n$ r+ a    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
; i1 I$ g! P0 G. n4 G: U; _/ P+ S5. 解析数据
% v) ]) X5 W4 r% p( B+ `* ^8 r    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
# B) ^. e+ g7 L  Y/ n! [' L5 B6. 保存数据
1
  _/ R! P  ?- d2
3 ^; ?; U  z1 Z0 T8 r3
6 Q3 P6 ?% u  ?  l  q4
5
  h" G4 t0 t: D% L( J" ]  }: ?6
7
8
9
( \- T1 u, _# W; ?10
2 S# k3 i8 Y( A) F3 W  S) @# q4 K2 n11
12
  q$ g  Z1 a, r& T2 M, q13
14
15
0 l) ]8 m% O7 [5 z' a16
python除了做爬虫数据采集，还可以做什么?
1 R% x# I. @# T# B兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)


6 f" e* p$ u& K网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
# J  E+ {& Z1 G' B" ]比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
- c% n% R- v: x
) b. J. P, [5 [9 W- w: p$ o
爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
% o5 b6 }6 O; m0 E& M1 E( U之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！


$ S: F6 R1 x5 ~0 M7 R' S数据分析(就业/外包)

; u8 W  J8 [0 k3 z% e; X
自动化(脚本)


: w) C( U2 Y8 d0 Z( l, c8 P8 m$ s! a游戏开发/辅助(脚本)


人工智能(研究生以上学历 要求很高)


等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。

5 Y, i! r( W: p0 [3 J8 A8 B* j
我们开始正题吧

/ z, b7 k# J7 V
爬虫部分：
( d& }) A1 _& q8 e- i4 c发送请求 第三方模块 需要pip install requests
- F6 |$ Z5 V& }' c; K3 d1 V! M

7 j1 a& j' h# ^5 M" P( Qimport requests
! V! |. X# D- E( wimport re  # 内置模块

0 ~' M; `3 m0 y! e$ N$ o6 B
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
- E" Q8 x/ Z* ]5 v1
2
; A; H7 w# o: m; v. M9 `* S3
/ _$ a: d0 ^7 W- Z, J) m2 |2 p4
+ P; b) y! k7 K2 F% A请求头的作用就是伪装


headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
6 d8 Z* c! l; n3 ?3 [2 Q1
2
% Z8 k) P0 i* l6 d3
6 Z2 f3 \8 `4 y* m% |模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
2 Q2 P( j% Q7 l- `5 ^! r  A% I- G函数传参


response = requests.get(url=url, headers=headers)
1
9 l9 S' V+ H. A$ z3 n2 t7 x<> 对象 对象意味着你可以调用里面的方法或者属性
* X( c+ Z) G0 i* d$ m4 h200 状态码 请求成功
& I! Q9 o7 h0 R4 J. S6 B获取数据 文本数据
- ~; _) d" q4 H/ `4 {8 e. {自动识别编码
' q( L8 Q# \& d* B
: S( V; z. W3 n3 ~2 _
response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2
4 T, W5 M1 m( Z$ _) o1 s  \content_str = ‘\n’.join(html_data)
- k0 n9 k" ^* `" }
5 C& H3 R* l/ E
" v+ C: P( y' G1 p要列表转成字符串 ‘’.join()
1 }5 l6 \& }" T" K! `) I! Vfor 遍历
0 G% ^. G- o) T3 f5 s8 o( g/ A保存数据 保存字符串
for content in html_data:
) O! ^. h; v2 A, C( x5 @, [    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')
$ b! |( w2 g9 X8 y0 ~( v
9 X: S( H& `* ?! L' [
# print(content_str)
1
% _! P7 V6 K) t" `; V( `2
' Z5 f6 s+ O% G- N9 a3
4
; m( K5 A2 [% r$ }! ?' v5
) U9 e& w) O. h# r4 y# k& r6
" z  ~! [' _7 u$ t7
& Q" }8 a, B* e$ J2 Y% Y- i$ `爬取结果




& {7 W+ B. N2 L, s0 Y+ s% A然后我们再来实现制作词云图部分

% g6 f) z3 m. n9 W5 H) d2 b
首先要安装这两个模块
$ Q+ e' j, P/ I) s( ~- o! N
) W  W1 U, X2 O, |: I
import jieba
import wordcloud
1
5 g8 |" v6 G+ E2
3 h, N3 i0 y  T& l一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。


f = open('弹幕.txt', mode='r', encoding='utf-8')
. N' h5 y/ K/ {3 B/ L+ Vtext = f.read()
txt_list = jieba.lcut(text)
# print(txt_list)
1
5 F: q+ [* h6 V' e6 [/ _2
3
4
列表整合成一个字符串
5 b, o( U, l" ~! H

string = ' '.join(txt_list)
print(string)
! G" @$ \: F4 A+ W+ ]print('---'*50)
print(str(txt_list))
1
2
3
4
词云图设置
! z! D! v; m6 I6 {6 D
2 q% Q8 n: ^. T; L0 E+ P
) {+ }5 Z  L; N, v# U$ L4 |wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
        height=700,         # 图片的高
. J1 X" k: X" H        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
0 C" S1 O2 W# x8 H  h        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
8 X$ F. f- x$ W, S        # contour_width=5,
& r* a: \$ p9 s# J' {/ q        # contour_color='red'  # 轮廓颜色
)
$ t: Q! Q: M. [: N% H1
- c% a4 v$ O8 ^& ~2
$ N8 J' {; H+ f- i' ?2 _9 e3
4
! `0 V' e; A) {5
6
; N7 w' Y3 o' d5 }' j6 o$ }+ _8 u  _: W7
" }0 ?8 w9 k2 ~$ h2 @+ G8
* f5 E; f2 Q+ N- J. o9
10
* I# c# e; k1 A11
给词云输入文字


0 _' L+ L3 A, u# \1 qwc.generate(string)
1
词云图保存图片地址

* @% s7 ?0 q- v9 P, y
wc.to_file('output1.png')
, v' ~  X6 w5 j  _1
词云图的过程中有点慢，大家不要心急


这是最后的结果


8 `* g2 X* W  [2 E9 v+ E, |; r没有加停用词，所以一些无用的词比较多


stopwords={'了', '啊'}
$ J, [7 k0 d6 o1
$ r6 m' a' l) e! Y把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下

. y& Y7 X6 X" `; J: N4 G
不知名网友：666666 牛批 老哥我要学！！！
& ]; b+ ]. W* {+ A8 {; ^# \" I


# K  {$ z# g; L1 d5 a% a$ F- Y: e$ ^
————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
. \+ x. l& g; F9 w' G$ @- y. N4 A原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
. l9 d4 L" `" \5 ?& {8 L