用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
! ~7 t8 R7 _; ~* O1 q( X今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
3 [" F2 K9 M, J% p9 ~2 C康康大家都怎么说！
4 S! J) q2 \# O
  @: Z. Y6 D' n6 W* m! s
' }, w3 B/ y( X/ T$ B& n

开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
5 n9 k7 t2 D" R; i4 Z% d

* P' n$ Q- o" l8 {) X如何安装模块:
, @  P6 k2 J6 Q7 |( O2 P$ M
: K& e) G" g- V1 k) z
win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
; Y5 b) \1 P# S( Dpycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
& X; v% p& _9 I! F如果模块安装失败了，可能是这些问题：
0 K8 J9 U+ U! q  ^) }+ N0 J' {

提示：pip 不是内部命令
你python环境变量可能没有设置好
8 f5 ~1 q  J8 n" L: O; Y+ M有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
( T  e: B* Q! \read time out 网络连接超时 你可以切换为国内的镜像源
! ]3 \2 b1 `2 X( i: [  N/ G明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
6 ]- [; X- E: h7 v/ S- C2 ~3 z4 ~你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
; {3 H, s8 p* H3 ~; j- ?可能安装了多个python版本
安装一个版本即可
' v8 j1 z/ O% e7 ^Python做爬虫到底可以做些什么呢？
) B0 S! Z* R. N- q5 C4 S" H

常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
8 V' P0 S3 u7 e2 E可以刷课 可以刷网课 自动 还能自动批量注册账号
3 }1 ?6 h3 X6 @0 \3 D( _6 r模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
$ |1 ^. l% [& H8 L; a% ], ~  R普通B站视频可以爬 番剧是需要会员的
8 G+ Q. i8 k; I8 ?0 M0 x
1 K5 M  X* T8 M: v& G
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
& w% U4 H& k% R    请求方式: get / post
    请求头:
2 {' |  j, A0 Z8 R    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
/ b; v& [9 o$ s8 i+ `    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
+ d* S- T$ o# ~$ c) d- c+ \4. 获取数据
    文本数据 response.text 获取网页源代码
# n5 y0 _% [, e4 n! Q( B/ J* w4 o3 D    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
  x; x4 ^4 c* x9 o, ?! ^& p    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
! t" I2 ?* S7 {2 i6 b, V# j    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
1
2
3
4
5
6
: U5 q9 t# t2 T; j: ^; \. P7
8
9
" W1 u. y5 p7 j' M10
11
2 ]& b; N, ]  |# P$ a& M) F12
13
' _3 s8 L  V1 I( A* D9 \; K- C14
15
16
! k3 ^+ K5 Z* Xpython除了做爬虫数据采集，还可以做什么?
& z4 M6 Z3 t" X兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
6 l: v8 p5 I+ F" r: T) Z# U+ i0 ~

网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
4 E  Z, D* s/ ^比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
; s, B  @) v& o) ]; R6 P如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
2 o2 ?2 A% \8 H+ t8 S% R
3 Z7 W4 x3 `* P/ J7 d+ w
爬虫开发(脚本)(就业/外包) 可见即可爬
  X4 k1 g/ T3 g  z  q8 F8 ]5 @虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
. ]  a$ P) D9 [" M之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
( |: A1 Z) W# w7 [3 ^

数据分析(就业/外包)
; a# Q9 l; Q4 N8 n+ q5 ~; Q

- H. p" \- B$ V' o  m. L! x4 `自动化(脚本)
5 C: l% ?2 `( J/ s8 ]6 T7 K
  t. ^9 h) F- T- G$ _$ j
2 M3 K8 p8 {+ z+ ]* J. y8 U游戏开发/辅助(脚本)
& D* n. I+ x% T$ Y& W& J1 a

) {- o6 s  g: k4 k  e1 O( H4 G人工智能(研究生以上学历 要求很高)
+ [: Z2 k3 \! L0 J
, ~. D3 |5 X5 ^! q5 ?+ S
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。

7 w2 z. G( O. B
我们开始正题吧
  z6 t3 A3 ]1 o
3 E" P1 b: {* Z
爬虫部分：
发送请求 第三方模块 需要pip install requests


import requests
import re  # 内置模块
+ N( y9 S# k8 ?$ q1 D
1 [3 W" a0 f% z  H$ Z
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
; f0 N/ Y7 q" v6 P  t% W2 }1
2
3
7 ^0 A8 e1 L2 V6 E! \0 C2 S4
6 I" P) l1 r* r请求头的作用就是伪装

4 d# Q# s" z$ r7 \! r" g; Y. A& ~
headers = {
  }; c; U2 `+ a# D3 L3 G    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
) G# J& ~0 I' c, z5 @! _, d2
3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
# ?- U% w6 f4 ~" W函数传参
" ~* b- _$ V; K/ ^' y1 C0 P$ b! c

& Z; c9 z, W! g; [& q& y' y/ R" Wresponse = requests.get(url=url, headers=headers)
4 f, m  j! a6 f1
8 H/ j4 s& v+ s& ^! [3 d<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
: C0 }4 |: Z# H- a获取数据 文本数据
自动识别编码
9 P, e$ B) r* J( C

response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
6 A; Q" M, s, H. b6 t& D, X+ v8 f1
2
3 [* H: E; ^$ B2 vcontent_str = ‘\n’.join(html_data)
+ Z' t! v% P- j9 Q* f5 e# p

+ ^8 X( L4 o  d, X+ I* o# r7 s要列表转成字符串 ‘’.join()
for 遍历
! X  G. _) r. I# {保存数据 保存字符串
7 m+ S  G: T: ^" L; xfor content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
* U9 D. @1 i% m1 t" F5 a    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')
% L  X4 N2 o: J0 A- f

; d% D9 f$ f+ ?, ~# `9 E# print(content_str)
1
; u! p& a6 W% i% y$ o' u2
7 y  w8 `* A8 ^. Z' u# h$ x+ Q3
4
6 d! `( N  B6 s+ I8 Q! B5
6
2 O* V* @7 F! g! g# H- l' t7
爬取结果
* `' q% ]1 o/ t* V; ]7 E
6 ~4 D* `  o% n$ p

. c: S9 ^) j% F, i% k% U* _- u) b: z
- |& R# s7 k  a: S然后我们再来实现制作词云图部分
8 j" K" K" a+ g; Z  W6 B& ]
, L% q& W8 l& \# p5 E# ~4 ^
1 F0 Y* ]0 a2 H0 d* g首先要安装这两个模块

" Z% N9 n- K3 L9 v
$ V" h- S! k2 h" Q. K  Z6 aimport jieba
! z( c2 L' A  C1 n6 J) m5 Z. Uimport wordcloud
1
' O/ C% X! w7 }2
; m* Z% L  |% A/ K一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
( a% B9 z+ J  j. ]

: G& w7 N, C6 c4 `f = open('弹幕.txt', mode='r', encoding='utf-8')
8 f( A4 I  C. \/ ]/ ~& X# V+ Mtext = f.read()
txt_list = jieba.lcut(text)
# print(txt_list)
* |/ N* K! |, H5 t% J1
2
3
4
3 U" f1 a: ?/ M列表整合成一个字符串
8 O7 N3 q3 `. E" V. S2 _1 g* J1 g( D
& i. J0 e8 D, P3 d3 c. Y3 s
% ?. C  h: \$ I. Z1 _, F7 z  }7 Qstring = ' '.join(txt_list)
print(string)
print('---'*50)
7 p# I# P9 p* Q4 \( s2 |9 R: M& cprint(str(txt_list))
) S! }) L$ k1 U" R3 v$ c* i% N, y1
6 D/ U$ M- u! B2
) l8 M5 m1 e7 c: T; I3
6 b( I/ `* S. r2 E0 K1 `3 M4
词云图设置


wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
* ~; _7 m6 P& c6 y/ k- H        height=700,         # 图片的高
! Q4 r' B! o/ a  q" b        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
: s' _. Z6 I! ^3 K' l6 j6 N& W2 [2 f)
* v' t6 j7 U7 h! n: e3 j3 L1
2
- }& N  s' L  f+ \" x# U" T3
4
5
+ C; R8 W5 I- j5 C6
7
8
9
10
11
给词云输入文字

/ r. W" k) ]0 Y& t! ]/ c
wc.generate(string)
- v! T/ ?2 l; t2 }1
词云图保存图片地址
& Y$ n0 i1 E# K: ~( X
! V  @8 X$ K1 y* x& i
& }8 K. U3 ]- o3 M* O- _wc.to_file('output1.png')
1
% p2 }/ Q& x* y6 N) K0 d; s词云图的过程中有点慢，大家不要心急
# m/ B7 E: b% K; ?2 C% K3 K' O
$ V& a8 C. v$ l/ D+ X! h' \6 t
这是最后的结果


没有加停用词，所以一些无用的词比较多

( d, v; e, O0 Y  P
stopwords={'了', '啊'}
1
& k' N. F, H8 x* a# d把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
  j( g) F; h" b9 ?2 q我们再来看下

7 p5 ]3 q! g9 P+ i$ G! n* O
' H6 J/ ~' d% a$ S+ h1 D+ r7 N不知名网友：666666 牛批 老哥我要学！！！
- n+ F! h7 X% p

3 U4 s/ a' U6 c& |# S

  @8 v- J: ]+ i* F! B3 R5 ^————————————————
8 `) b# Y* d- u  Y版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
3 o. ~& q5 ]$ l7 O+ n原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
& u9 L3 `  i: y/ u& H' W( F