用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

% e% K' }- Q' z6 C$ D3 E用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
, e( {* H) x: B, }1 ^& ^5 ~( C# W今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！
' O+ m- o  p, N: t


) x# g1 \$ ?. O3 Y
开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
  X# C8 H+ ]0 T

2 j* \3 j) J6 d# D. d4 @如何安装模块:
% x9 C! Q6 I, p4 \: G
* i2 W9 \* _& k5 h# i0 ]" c
win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：

% y# Z0 c! ~8 E# s4 P
5 Z) i8 |! e# {# ?: P2 J提示：pip 不是内部命令
你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
5 m% n' G! R' S7 R4 d$ L6 G因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
8 S2 ]) \$ X9 l5 M% d1 a% c( tread time out 网络连接超时 你可以切换为国内的镜像源
# S1 @9 x; t, u4 S" s明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
安装一个版本即可
Python做爬虫到底可以做些什么呢？


常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
) K7 Q$ V- B0 J6 {0 h1 o" e- H1 L12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
# f, Q. Z: W$ P  D+ }* I可以刷课 可以刷网课 自动 还能自动批量注册账号
9 {, |7 l7 R4 {% M8 {% `/ w  x模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
普通B站视频可以爬 番剧是需要会员的
  O! i: x) b) U! l

/ o8 E0 ~2 [5 K' Q爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


' a  t9 E# R: _  K4 @' U1. 确定目标需求 (弹幕数据 那个视频弹幕)
/ ^* G! m  w2 y* o/ y1 V* |    确定了
2. 找数据 (数据的来源分析)
    简简单单 找到了
1 I0 t" Z/ l$ X3 V8 o3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
; k7 t$ b1 S: {' O' n6 d    请求头:
! V3 W5 w& s% M6 B* R    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
5 I( O8 x. k3 O1 R6 m    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
0 q. w3 a( t! ^+ q/ x4. 获取数据
0 ^" o  B$ x6 N8 i+ g9 T2 E    文本数据 response.text 获取网页源代码
+ W) G/ [. N0 Z3 v0 j    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
& l. o, C( E9 t5 y, Y    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
; p3 o; X, }9 L& R4 J' d5. 解析数据
% n+ g' @5 S4 Z% D$ ?; p    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
' u7 T5 G1 H: L! X9 L6. 保存数据
- z8 ?9 a. j# F1
2
1 E: G" i% A) w% c5 H# y3
4
5
, j7 N. B" `3 \& F3 g! H- T6
. p. c- Z6 v" T7 c% [4 Z( Q- ^& o7
8
9
3 _9 |( D) y/ E/ C0 s- G/ s; a; \2 [10
' f6 B. z' Z5 U: R11
12
13
14
. E* M6 H9 T& p/ T" X15
16
8 x( r' n3 L9 x% y# V, k+ Opython除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)

) k) s* e+ d' a  n2 B  ]+ A
网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
4 u" s0 D6 I, j2 `# Y比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
+ W. r1 A* j9 n, {; m" Q/ O8 \我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
" f5 a6 M2 C0 s如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
* j( n- K2 h% X$ K" J% S
, A8 n" ?% _! X! x
, |% g! R+ ]. R2 ~  j8 E( J0 y爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
1 k5 V2 d8 V0 ~6 ~6 C之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

  Q4 y, I2 b2 H5 ~- p; o: r7 f5 ^& \9 N
3 U$ V% w: h, c. f) ]. G: e数据分析(就业/外包)
" z5 h( d% O( u9 R9 _* ?

1 y2 k% D/ M1 D! s: [- r0 X* z自动化(脚本)
- \6 ]' e( U: N# S
  K/ y2 _( {( K" `/ d4 l
. Q- M# P7 [1 ]9 ]( a, y' B1 o游戏开发/辅助(脚本)


人工智能(研究生以上学历 要求很高)

# l7 ~' v' {' `* x: F7 |' V
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
  S; C5 K% l; o* p  v! K0 x0 z+ \
+ U' @8 v) @2 q; q0 `
7 k: b+ r6 ^2 a: q- g我们开始正题吧

% u% [: O5 _. ^) Q+ m
  F% o, ~2 T) V: h' u: m5 ^爬虫部分：
发送请求 第三方模块 需要pip install requests

8 y( h0 ]( r" n, U
0 S/ r; E4 p1 D& y2 |import requests
import re  # 内置模块
, [0 ]0 ?. N- l1 h' g
( N9 Z' f9 }8 k# Q$ w- F3 q
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
6 R  M; x5 n& }9 I" n* N- `+ A. @4 r4
5 Z$ E* z+ v* s) h请求头的作用就是伪装

5 u& _5 `0 ~0 p& I2 @& D
- c, E+ `! q/ H. W2 p. Sheaders = {
3 ~% E2 m& {0 o% E! H% S    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
9 D7 k$ M3 V' l, u( y! K6 c1
' K# E' [1 P! B2
! v) F; w- A$ a: @. {3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
8 @9 S* {2 s0 n. J5 K( h. ]2 u函数传参


  {* f+ F8 B6 ^  nresponse = requests.get(url=url, headers=headers)
0 M1 M* ?- h+ U6 `. J( y) h1
1 T) L4 g- S9 M2 [2 w  |<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
, F9 @( s  [6 r( G; R- g获取数据 文本数据
. L: F% @% q- T+ `# G1 q0 q# e自动识别编码


response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
$ ^5 ^4 _' Z7 d% ~  k) I2 J; O1
. m! I$ q9 d, j! w2
$ ~$ i+ \8 `* z; Jcontent_str = ‘\n’.join(html_data)

" r" u# x2 i1 E% l* ^
- R' A* S7 b0 P& P9 l要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
5 x5 L2 c4 z  ~9 Q2 o  p! `for content in html_data:
; Y  c3 z7 J; g/ r- m+ p5 n7 U    # mode 保存方式 w 写入会覆盖 a 追加写入
4 b3 U% ?. V' M    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
/ C$ l3 ]1 L: E1 d+ H; I, U- `        f.write(content)
& U5 P6 s. s, l6 C' Y, K* C$ O        f.write('\n')

" i1 n8 j0 O8 c9 r' N  u
# print(content_str)
1
5 Z. g8 t8 u6 o+ [7 k) g8 E2
3
4
5
8 p9 r: v+ m! w& u1 _$ }6
7
爬取结果


: Z2 H5 W5 k, o: k3 c2 A
" g8 E+ ~( p, u! {" D4 p0 R
然后我们再来实现制作词云图部分


首先要安装这两个模块
6 `% B$ s% `/ R2 V- \3 ~! f
! i8 h2 f0 O4 r3 M/ a
" h1 b) S# w$ l( b, U# i& K  jimport jieba
import wordcloud
: _% p7 {- w" ?. W$ k2 t1
+ _  u* Y! Y) s, F/ |* F8 ?% R2
. ~) N* K; k) ^( B( H5 a+ @一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
7 ?; E  B; V( A& o

f = open('弹幕.txt', mode='r', encoding='utf-8')
3 v  s4 V, T+ `1 k; l( @text = f.read()
txt_list = jieba.lcut(text)
# print(txt_list)
+ @$ F5 B6 y) u0 R1
2
3
, Q8 t; A5 \1 s4
/ I: f: [7 p. ~8 _6 T1 Z& I. ?列表整合成一个字符串
3 Z  L/ {4 G5 D+ s

string = ' '.join(txt_list)
print(string)
print('---'*50)
print(str(txt_list))
2 q' o: m- \: j9 C1
2
9 l2 ~; l# x5 B3
% g$ [+ j( C  Q% @4 ^5 x: c# Y; i% H4
7 T+ x% L- B# `3 R! M& p& }3 T词云图设置

9 K( H& Y3 X; c  U: c
5 J- b2 W3 T# ?0 ]5 L% }wc = wordcloud.WordCloud(
( |, l9 a3 m& l! H$ C# Q/ s3 f        width=1000,         # 图片的宽
        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
' Y6 O0 `8 l" U        font_path='msyh.ttc',    # 词云字体
6 Z! J, Y9 o( x, E        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
4 ?. v8 T) I' d        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
4 q( E( r6 [  M0 Z/ y1
% V6 d9 ?8 a# F9 D0 f0 K7 `6 m1 p& |2
3
5 y7 y" X7 T) k0 W  z/ Z! T4
" d9 F0 p8 ?$ q5
6
7
8
9
10
4 \* v* l) e8 }+ A/ T# x11
7 ~. u: ~0 o9 Z3 f+ ^5 \给词云输入文字


( s5 L8 t' z8 m. }. ^wc.generate(string)
1
词云图保存图片地址
2 D+ k$ |* {* h7 V' H. Z% I
7 F6 j! ?' y' \
/ x$ E, A! }& M+ k6 ~4 Lwc.to_file('output1.png')
8 w+ x- D* \3 k! E1
% z$ s5 G# E1 W, T! s词云图的过程中有点慢，大家不要心急


这是最后的结果


没有加停用词，所以一些无用的词比较多


stopwords={'了', '啊'}
" x  r1 s; y) n1
8 }% n# v- ~/ K$ ]3 R0 g- o5 ~把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下

0 Z+ c$ M; M: s* @% V  n8 [
不知名网友：666666 牛批 老哥我要学！！！
4 F# {! A( g# }" A8 y! }2 {

9 y+ Q2 b/ n; ?6 b
* [* C$ T) x) t  }9 {! A  i
8 g3 W* R& g% R: x————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
" Z2 x0 |8 [; S8 S) a0 a原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
, y% L2 }7 R9 d6 s  a
7 ^) l! u3 w0 y, S