用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
( W! Z/ c, e  q" `" ^" ^康康大家都怎么说！
1 t2 A2 k$ g" N! U0 S3 u


( H( R5 d6 k+ M6 _
5 P% b2 L- T5 W) V开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
- c' J* u2 w" Y
4 a) Z, }& E- ]% ^8 @3 ~( i6 t7 d+ D% p
如何安装模块:


- W7 I; c9 C( L9 U+ V' c: `$ Qwin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
: t1 k0 a' a7 l4 K) G  c0 |2 }  F. H
8 ?) F* H( r( L+ ^: A
提示：pip 不是内部命令
你python环境变量可能没有设置好
9 @5 m+ k0 [5 `8 f7 P. D% U. H有安装进度条显示，但是安装到一半出现报错了
; b3 u# m% }8 }% Y' `! y因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
- U+ B. w2 _# E! ?安装一个版本即可
Python做爬虫到底可以做些什么呢？

4 ]. ?! B6 M8 m. c9 b$ R6 O3 h
常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
' R$ S, h: E  Z: u12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
. S% u( L9 b3 J0 w) w$ _可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
( o& q* L  C, |普通B站视频可以爬 番剧是需要会员的
% {$ ^8 Q) @3 P
; t6 z! u& i3 q; h! s5 E7 h
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)

" p! P; D+ B: }/ n8 @  i9 X
& w7 l9 z- B% G; p! i1. 确定目标需求 (弹幕数据 那个视频弹幕)
5 S. d1 g8 _1 |  F+ S    确定了
1 f5 L9 X: [; O9 ?! ^/ e! w2. 找数据 (数据的来源分析)
1 k+ u  K. S. ~0 y    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
/ G4 t" f7 z5 j% j: G' J    请求方式: get / post
    请求头:
4 b6 X) ^" a5 @7 f" w6 z    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
1 k) S- d9 j; L( ?1 Y# E8 Z4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
6 h) L7 k6 n0 O* ]. M7 P7 |2 h    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5 `2 X5 C* P  B/ F8 [/ j5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
+ Y& q* {$ H6 e' I6. 保存数据
1
2
6 u, ^( a; t- V9 _  Q3
: h- @3 c( [2 A% K* p4
# J3 I8 |' O/ v" {7 g. H7 J, H5
6
5 K- k& F& b! A: n" ?& j7
0 ~: f2 c! h; y- K8
9
5 ]) s; @& u& d' S: [6 K" |5 @10
11
7 ^' u  j7 g0 i" H5 I4 D, t12
0 n4 S! O7 {. n9 }13
0 b/ j7 A4 d; n14
15
16
3 ?" L( v$ I7 i/ p6 Lpython除了做爬虫数据采集，还可以做什么?
/ }; [+ ^# |# W6 J5 I3 c兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
  X$ {1 ?( X( h" J: u/ `4 V

" |6 o, Q$ R+ c网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
0 F0 E" h$ F+ w* l( Y" r比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
3 w% j6 g! e0 y如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
8 c$ x3 E7 n0 Y/ g: o3 F

爬虫开发(脚本)(就业/外包) 可见即可爬
+ `% {! C: F# I: r0 L+ Y虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
! A8 S. ]0 l* y3 y

2 {* y. _6 [7 R$ B" O7 d* o6 b数据分析(就业/外包)
/ C$ Y" G9 {6 X3 J) Y2 \
+ v9 E* ^. i% j$ o4 x5 w2 |
; H; `! {) q- |5 v自动化(脚本)
6 K' R5 j; A2 i1 s) Y8 i% h9 e
) z* Y) I1 h& I/ w% t4 C1 c
0 p3 @. m/ ~) G' ?, j游戏开发/辅助(脚本)
6 K% U- j% d* k  J" x" o( q5 W0 i

人工智能(研究生以上学历 要求很高)
( w0 I( X& H/ v. s
1 P& ]7 v% ^5 e/ [- S2 P
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
8 k; q8 q0 R# {

  \/ E  u% N$ ~; i7 X# g5 p* {' B我们开始正题吧


爬虫部分：
发送请求 第三方模块 需要pip install requests

$ a, n2 M+ ~! q% W  Q
import requests
* E( U2 R% s9 iimport re  # 内置模块
( R$ Q0 a; x0 ]8 P  d$ }
0 v1 e  m. A9 j& E+ ^# D
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
4
0 t+ M) t; K8 ]* p请求头的作用就是伪装
4 P( i7 X0 G# j/ y
3 l3 {) z& |7 T
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
* G! {7 w  d9 G% I8 u}
1
( \9 Y9 _, E) y0 A6 e5 I( r/ m! g2
: ^6 l2 q8 l# u2 N4 H+ e3
5 m5 b* G# D' a; x模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
" [& m& L. x& D( L- F' x函数传参


response = requests.get(url=url, headers=headers)
$ q5 d( L) ~  r+ I+ c1
! i2 U8 W2 z7 p( K% G" o1 `4 j7 ^<> 对象 对象意味着你可以调用里面的方法或者属性
! t+ p9 K) g: U2 @3 l+ j200 状态码 请求成功
获取数据 文本数据
5 B# J. O$ o# C9 L- w& j自动识别编码
3 d8 w# s$ L# N. H; f
0 d! O5 K* @' O9 t6 K
response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
/ {; }1 E/ i5 W1 ?6 }2
! x9 }4 C) R7 {1 U- y& @% Zcontent_str = ‘\n’.join(html_data)


* J7 q9 ]+ O& K. N8 ~9 r要列表转成字符串 ‘’.join()
4 `4 k, K5 v8 Q! Q+ xfor 遍历
保存数据 保存字符串
" |. l, U; g; N7 D( T! c2 Ofor content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
  C: U1 i  M! ~7 A& y: _    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
$ t4 O% e$ v: k) f' f        f.write(content)
        f.write('\n')


# C! @: Y9 S7 I# print(content_str)
1
2
2 w3 k% g  O+ T) y; d3
4
- b8 @- J6 {+ S+ W4 A1 T& t, w& V5
6
7
& v( H, K4 G; f. [& Q% S7 z爬取结果




然后我们再来实现制作词云图部分
3 \8 @2 C1 k9 O; T
3 Z3 h6 W: D- l+ y# m/ `
: ]; T% z! M0 ?; \7 g, t$ }首先要安装这两个模块
; P6 _! y) P- h; N- P$ F
+ u+ T  x8 ^6 Y) J. i7 ~
) _0 @/ P5 k1 P/ ^* Q( Bimport jieba
import wordcloud
1
2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
* G3 k; r1 C3 k+ d% Y1 @$ p

f = open('弹幕.txt', mode='r', encoding='utf-8')
$ n3 J$ p) C* t5 @( K$ ], Dtext = f.read()
5 P( L  m3 k& H8 @& ^txt_list = jieba.lcut(text)
# print(txt_list)
1
2
3
4
列表整合成一个字符串

; Y! p3 ]4 m! V5 R" g' [; D
string = ' '.join(txt_list)
print(string)
1 r4 r  ~  O: y' d3 W. g4 V1 |print('---'*50)
: @2 ?" O. n' O! h; Z. ^print(str(txt_list))
1
2
3
4
/ E& N. |6 D9 t$ C2 x8 i4 Y词云图设置
; |5 U( c. Y$ h  ~. T; u

" K) I* V2 }( {5 pwc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
0 w! g. d0 R9 _: L8 K' v        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
# J  j( p! I; c) M2 Y0 S: n        font_path='msyh.ttc',    # 词云字体
/ X9 X1 a2 e1 o" Z        # mask=py,     # 所使用的词云图片
        scale=15,
6 Y. U0 x+ `& @0 R) {; q, T" R        # stopwords={words},         # 停用词
0 D( w, v9 c8 }; Q. R' Y        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
1
( s$ ]( o; _9 ]6 S1 C2
3
4
5
3 O* \6 r. W7 o* p3 ]9 p8 s  i& B6
7
' v0 t+ y& m3 w! m! i0 P+ ~8
9
10
  h* ~$ o( }' d/ a11
" K1 D" K) r: @! Z' d- u9 z给词云输入文字

$ M# l5 w* l, _  T
  ]+ k- r# G) x. `* r4 r( kwc.generate(string)
1 m! h. ^- |6 P1
词云图保存图片地址
; p- V0 f. O8 S1 D9 M8 `

wc.to_file('output1.png')
0 l! S$ L# d$ `) G- G1 Z1 h1
5 |. ]3 [0 |' x) C; h0 v词云图的过程中有点慢，大家不要心急

6 t$ T2 ], Q4 {& `$ Q7 _
这是最后的结果

. W3 q+ \/ B( Q9 n( a$ u! ]+ F8 a
没有加停用词，所以一些无用的词比较多
# Y2 ~9 s' M9 K" V1 v3 P1 p0 O
: m2 {0 c, Q+ K$ N
stopwords={'了', '啊'}
1
" v* D0 @" O/ Y把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
% `- f9 {( l( D8 _我们再来看下


不知名网友：666666 牛批 老哥我要学！！！


5 U( Y+ n4 P+ [
6 u( M. U# D+ N5 D. L
————————————————
* H4 Y6 `# L# p0 |版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: E* [# T; {0 R% b7 L6 Y! ?* }: f% D原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
0 j( [! N+ r* V* y, x; b7 a7 T8 m
# u5 a3 N2 {) _4 N2 u$ J4 u