用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
0 G- v. [* H0 Q9 ]- x今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！


+ `$ \& i  U5 f0 X0 O4 P

; N5 K8 R; A+ _4 I! p开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
% o# T# G9 a  F! s6 l  E

如何安装模块:
1 j3 f" B( N) H& i; k! S" _4 [
/ W: z/ b5 j8 l0 n- r( F
( h# J' \: h- N% @0 ]- M5 _+ _. ]win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
5 @8 C. s* n3 f7 vpycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
" s3 n5 F" b: @+ \如果模块安装失败了，可能是这些问题：


提示：pip 不是内部命令
- D$ x0 @2 H! b  a  H你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
( G+ h9 h7 d1 P" T  {5 w1 O/ _) dread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
' q2 h6 u4 C/ p  S1 m你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
4 D) u5 K, X$ Z安装一个版本即可
Python做爬虫到底可以做些什么呢？

( o# a# p& t! J! z: j/ h
. i7 s" V" f$ O9 ~1 h1 h常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
3 q" ?7 K+ F1 r8 e$ A; n9 ?12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
( e' F: n, l! ~& U可以刷课 可以刷网课 自动 还能自动批量注册账号
5 B( w1 Y8 _7 J: _5 B& u: d模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
' c9 z4 z: m& D+ k+ F% s8 D普通B站视频可以爬 番剧是需要会员的


: F" h2 v7 m9 A$ b4 E- \爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


* W, [  L4 ]  G# r1. 确定目标需求 (弹幕数据 那个视频弹幕)
. n5 l' }: M7 a2 }- a    确定了
2. 找数据 (数据的来源分析)
. T3 Y; q$ z/ O- y! }4 f    简简单单 找到了
  `0 U. S! C  i% M# N# ]3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
5 H) A4 c' y2 m3 f1 A    请求方式: get / post
    请求头:
    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
' m; M: P% y7 X" Z; q' h4. 获取数据
    文本数据 response.text 获取网页源代码
( {( }4 O$ w" C4 Z2 ]8 P: Z1 z3 W7 |    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
! S" ^3 L# T% h% `: R. R  [    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
6 J6 r) _. ?% ~4 f2 n7 H8 x5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
- }4 g1 y9 k5 [) P1
2
. W9 _$ L6 y6 {9 V1 v% G3
; E. U; P4 @$ l8 e2 J* j4
5
( ?: J2 p: V9 J5 {' J' Q7 h6
7
8
2 N1 O$ I4 ?/ [$ n/ a3 b8 L9
10
11
12
13
14
15
* Y' f/ N9 }9 p! Y16
python除了做爬虫数据采集，还可以做什么?
* E; Q+ W" L, _  P4 V兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
$ C1 J( s. i* x1 p& c7 W1 ]
- B$ v* m) n# V/ Q6 ?% @7 v3 }
; w  s: s% s) O, j8 {8 _! d) _网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
. t) i; d5 V3 H+ g) b* g- C' |0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
8 g# }' _* e8 e( F; Q" J8 E如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；

1 w# F; c+ Z6 N+ t, g
爬虫开发(脚本)(就业/外包) 可见即可爬
$ E: Y. q! k5 ?: j+ E虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
' p! J- ]4 f+ g很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！


- D/ s$ K. S5 m7 V; @数据分析(就业/外包)

4 [5 K3 |7 ]" Q1 {* f: p6 m
6 n3 l6 t% I1 O自动化(脚本)
# V, N% a; w( O$ |, q
" R: t9 G) s/ `) s! U8 X
* v  Z' N7 v( a8 t5 X4 s游戏开发/辅助(脚本)

1 b4 k0 J8 o3 f3 |
人工智能(研究生以上学历 要求很高)
8 }  Y% ~6 n! y! h% m& L4 g
3 r4 ]6 j4 ~7 r* e" q7 B) ]
$ w4 ^, B! L& T" f, \. r; x3 F等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
; @+ X7 f( e; h( ~- i" z: L

* w, X( Z0 I% w* _; N) P; C: y我们开始正题吧


爬虫部分：
4 e- C, X$ j+ P% t8 l  p: c0 `+ F( O发送请求 第三方模块 需要pip install requests
* a- r/ I" g. i* G$ p

. x/ s  F# r* {2 |7 {  m8 J* p: simport requests
* W8 r; F& @' j: Eimport re  # 内置模块
7 s( Q) W9 }. w3 {' Y. a
3 ~* L, \! f: t6 m3 ~- k- L
# E& {/ @9 C' i& r. p7 i; Zurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
8 z* L2 Y  k# A, y9 B. b2
3
2 G* M1 H6 o/ v/ s4
请求头的作用就是伪装

5 M0 O: I. ]$ _
headers = {
4 I  w, y7 ^5 c7 G    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
! A2 b9 {& W. o8 K6 ^  x}
1
9 }8 _- N% M. R1 M0 f9 k2 o2
3
% I1 U7 p; m. W- C# [) H3 Y模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
$ J# h6 d; |1 J5 L1 _函数传参
/ H' G' M# [) E# Z4 `4 Z3 Z+ ]$ S/ w4 y

response = requests.get(url=url, headers=headers)
! q( B+ |0 a6 p1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
0 o  H- u6 O; I. B% o& @获取数据 文本数据
7 e& g9 B9 G/ E1 m2 d& y  C/ U# H自动识别编码
% H/ X9 v4 ?# H) h( }9 H: k

, c) o5 A4 P  l( h7 _. Tresponse.encoding = response.apparent_encoding
8 V1 g9 F1 d; }" H3 G% Ihtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
+ Y! m1 z' S1 A2
: R% @5 w8 Q7 K/ N3 P" ycontent_str = ‘\n’.join(html_data)
9 K+ Y  f" |  \( F2 ?- J3 L

要列表转成字符串 ‘’.join()
& _7 ^: E7 S: L3 @9 _3 z, M9 z. Pfor 遍历
% ~" L7 _  H6 \( n) q" }保存数据 保存字符串
/ T0 \9 h- F2 v) S. xfor content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
5 ~$ u7 A& h4 _5 b+ ~$ H    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')
$ z, Q' R- p0 M9 u. [1 {, W7 E

, F' T: n: i( ~) ~! Z- O$ m) {# print(content_str)
/ j; f$ M( ~0 Y/ h2 y% A$ o1
, Z# D7 E, d" N2
3
4
5
2 b2 J* I/ H, d  O  X6
; z4 C* n% r) R1 e- y7
爬取结果
$ ]4 ]2 c! I! |# G
! B% z( C) {* S" ]! @

' [+ |; S5 H1 ^9 _9 x8 f
! d* I' L5 P  _" L. r. t* C$ t然后我们再来实现制作词云图部分

# c+ g: W- ~, B1 o" N! p$ L
- A: G/ w5 R6 W7 T- ^首先要安装这两个模块


: n. r6 {9 o7 Dimport jieba
import wordcloud
. R$ f( E- E1 W9 S8 |: w4 c7 B! }1
( F# b' S' l2 d! t8 a. R3 @0 s2
! N* r, G# u" d2 D: W$ J: I# e一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。

* f  `$ @8 y4 m- i
3 l, y  y" i. [1 [1 ]$ wf = open('弹幕.txt', mode='r', encoding='utf-8')
8 {( U# B" @! utext = f.read()
) f9 p  F& ~- {) y& Btxt_list = jieba.lcut(text)
) p" R5 r/ ?. F" n" b# print(txt_list)
; b$ ]. |7 Y/ p1
: T* {' ?/ R' W2 }( k3 c0 l2
3
4
列表整合成一个字符串
8 D! D5 |: K( U' Q

7 m( E( x# M1 v* x$ a2 h( {string = ' '.join(txt_list)
8 M/ v9 w( B6 I9 S1 q7 eprint(string)
print('---'*50)
print(str(txt_list))
1
2
3
$ U' S; K9 Y/ d8 `5 Q/ E) k0 f4
词云图设置
2 x$ ]6 H2 F( ~0 z, Q

wc = wordcloud.WordCloud(
( z7 R2 ]- Y4 C        width=1000,         # 图片的宽
9 c: l, N/ L" r6 \  f* {% O; x        height=700,         # 图片的高
: u  U9 K7 |- e. k! C  e8 E        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
( A+ p) x+ H7 ?! k; x+ U/ S6 L3 }9 T        # mask=py,     # 所使用的词云图片
6 T+ F! E0 c- D        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
1
1 _; a; x$ n' O# `9 P2
7 j: y. o- w# a7 |# C3
4
7 P: S4 Y5 c" b# [5
6
# u( L/ H% l- [+ ~3 [7
9 _: Y3 C* q) E1 B0 U8
* E+ P# B) E9 i% q& |+ {9
7 p) ?) S+ q+ N: i10
  e; `$ Z* H8 o/ W& C2 Z( b11
给词云输入文字
  p5 K+ c! n% i/ ^$ b

3 y) f! Q: v% |7 E2 Nwc.generate(string)
, N. E* `' f( S1
7 L4 a/ D& z( w& y% b% Z% h  S词云图保存图片地址
" ~, l; L8 Y$ r6 u0 f7 n$ N( e2 L

, ?7 e6 k) y0 A+ ^wc.to_file('output1.png')
1
, Q& ?! c7 [& J1 C' h# d词云图的过程中有点慢，大家不要心急
6 H3 K! O, u5 O! }* T/ E
9 K! s; l: n7 _% R  B# D' w6 r8 O
) n; e5 N2 I5 O. g0 `% A" G6 w这是最后的结果

, A( ~/ m. M& C$ u# o3 A* |( f. t
& K6 Y2 S+ C8 W7 T# q没有加停用词，所以一些无用的词比较多
5 F0 U0 y3 m8 h3 I! V

/ C# C& K5 T+ `8 k0 Z) q' P+ Dstopwords={'了', '啊'}
1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下
5 k$ q5 }' T; [% [9 f% k

不知名网友：666666 牛批 老哥我要学！！！
3 E( n) ]" ^  t. ]" Z6 a


3 }5 O6 U2 F, J; P
————————————————
  f1 S1 Z; c3 X3 u! i2 P版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
  p  s4 ^! `1 h2 c+ x' |+ w1 I