用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

7 z4 \( Y& x/ I) Q5 l$ Y2 f用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！
( H1 K% S8 v0 I


" e* }7 x$ `% J* n
+ ]% j& H7 }9 N: C+ s: e开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。


1 @' X' e; p& t9 s4 {' a9 F如何安装模块:


8 f8 i5 K, d: _4 M1 j1 @, Ewin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
/ g! w; F! d# `* Ipycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
" P! t- t6 A. I5 d/ l如果模块安装失败了，可能是这些问题：
1 j8 \4 W0 i8 X, |- o. Y* u
3 M4 r5 h  t( S3 {
: B2 N8 U/ M5 y# v提示：pip 不是内部命令
: E$ ~2 q7 K9 l2 A你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
0 j3 D% \3 P+ }9 c2 }* _6 q$ Oread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
安装一个版本即可
( u! H3 U+ F4 l) y7 qPython做爬虫到底可以做些什么呢？
* N1 b% _( j& U# e6 a
5 i! W  c" q- K& Z  V. o; T0 w
6 M4 }7 q% h( W& |" J% o5 D8 W常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
( _- o# l+ ^1 G, t0 x* P可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
; |9 K% }5 L$ f普通B站视频可以爬 番剧是需要会员的
- {, @0 E3 C& O( L; M$ {
2 R% ~1 }0 D: c) L( R% U- U
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


0 w% Z( t* g5 n! z1 Z1. 确定目标需求 (弹幕数据 那个视频弹幕)
- n1 ~+ R' N" ~: P+ F    确定了
2. 找数据 (数据的来源分析)
: m9 `0 M( _# c- x    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
. Q7 p: u4 T9 i* Z9 @    请求方式: get / post
    请求头:
% z/ k) b  w3 x7 y    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
# \0 J+ n1 f$ t+ h    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
1 M( b7 e' [) S4. 获取数据
1 i! F& F) w( P' p4 E    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
8 Q6 Z1 h% a1 ?    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
" J% c/ J) j6 u: B* s+ o: p) C5. 解析数据
' \3 q0 c% w, j- l    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
1
: E) y; s, p% h$ o: O! r1 n2
* g: N7 q; T7 t' }! J& P3
4
5
$ e) S8 A+ t( l' A; Z6
# Y  Z3 s+ A7 |7
! R$ e6 s" b; w4 T8
. D% @' ?. Y2 \; }& e- @1 k8 n$ z9
10
3 E6 J1 }+ ]- l+ @- H, c8 B11
12
& X' d3 z) |9 \8 A4 u13
14
15
# o6 R2 j7 N+ }) t7 n16
, I$ l' V2 C4 f6 H, x" P* W5 ~2 @python除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
$ i1 D! p, L  v7 M
7 l# k. Z* p2 a4 H6 b- W$ R5 ~: t
; L& \8 J' ~6 K* o! b/ ^网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
+ t  m, U. z, S8 C比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
) P3 s' K5 v+ E# Y我可以做到这样么?
& O/ S! G4 d" L: v0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
9 }( L3 ~) U& Y/ I9 d& c

爬虫开发(脚本)(就业/外包) 可见即可爬
% R$ a( w3 n5 h虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
$ f6 e6 D, n2 A( n4 J. ]# W% `很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
1 m6 ]4 [5 f1 w* c; S

数据分析(就业/外包)
) L% B% J/ v( b3 N1 f* K

* p1 A9 y- A& M0 C自动化(脚本)


' O' R9 l# A+ g. U游戏开发/辅助(脚本)
! M0 W4 A2 O4 Z: y& P% ^
5 v) P  J2 U- a) d5 u+ _- q
人工智能(研究生以上学历 要求很高)
' c6 o1 p. t8 X9 T- l$ f1 i+ _
; H$ q, X% `5 p) h7 v
* X4 b' X6 B+ k4 f3 }3 G4 I% r等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
7 Y8 _" S" ?* P1 ?
6 G2 O4 f- w- F' ^  K% j
我们开始正题吧
2 v' y5 M* m* Z2 }- r: ?

; a/ ?3 A8 E( c0 Y% o% s, m爬虫部分：
发送请求 第三方模块 需要pip install requests
0 W$ j  b! ]+ h

import requests
import re  # 内置模块


url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
+ Z; X' B' ~& f9 a2 H$ C  ~4
& q2 r1 Z7 d  m& n# {8 X请求头的作用就是伪装

- Q  m# z' Y6 i2 u- J5 i) q
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
3 d" t5 H5 O8 i1
8 S7 C$ u7 X: [2 E0 [' R0 s2
3
- j, ?- N4 G' ~1 Q  E模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
# v2 r) B$ \' \5 c; M函数传参

: q4 B) l4 n# \
& e6 J: I+ M5 d% q0 C4 d( r/ T# yresponse = requests.get(url=url, headers=headers)
1
6 G4 P% B' b# k<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
获取数据 文本数据
! {' \; u6 c9 N$ w自动识别编码

& Q- b* {' g% o6 Y
response.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
9 v5 Q3 w4 Y" ^( Z2
content_str = ‘\n’.join(html_data)


要列表转成字符串 ‘’.join()
for 遍历
4 H$ P$ {9 s: q# A; U2 G保存数据 保存字符串
for content in html_data:
* ~- L0 H* _" p! o8 {# s9 @    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
1 R+ _5 I5 T6 V) X' S8 m9 m        f.write(content)
        f.write('\n')

. t. N% E8 W+ j) B8 r9 e& D
, m' Y7 C; O* v- M0 L8 j5 k# print(content_str)
4 W$ p5 d& @* J8 Y; W5 I1
2
3
7 b6 d" l$ L# z2 C' H% G4
0 z+ ?6 |' s; D$ C$ m- o9 D5
6
1 }& h: z& e* J; O6 r5 ~7
" M# j5 l, X, k, _% w1 B" C& f爬取结果




+ u# z' X2 F; m2 g" y然后我们再来实现制作词云图部分
$ c  x; g. L* `+ ^) t' ~

" L! v! r4 u6 A3 I: y+ N6 ~) V首先要安装这两个模块
8 h5 l1 Z: \* d( b$ K# e
4 ~# p4 f7 w8 e/ ~7 n! B* c
import jieba
import wordcloud
1
- {' J( {" [) Y  q3 ~2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
* Q; e" g. V4 H0 I7 {
  H. ~% ?: [; |7 k
f = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
, B% E) ?4 ]( c6 [) p7 T9 rtxt_list = jieba.lcut(text)
# L: [# L6 o, \2 l# print(txt_list)
1
1 t5 u9 }) s' f! ^5 W: {; n# P4 I2
3
4
' m8 i5 Y0 m. @列表整合成一个字符串


string = ' '.join(txt_list)
print(string)
print('---'*50)
print(str(txt_list))
1
2
  u' R0 |' Y4 d9 F0 ^3 Z3
6 U: G; O8 f2 M4
. M/ v7 s) J" W词云图设置
) _% I; ?2 o4 {5 i3 r# L

wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
        height=700,         # 图片的高
( S/ ?5 i0 M( _" d! M0 d# ?        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
" I$ A* ?; l; H# L/ N  S        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
5 V4 H" j! |/ ?# ?+ i' G9 D) ?1
2
" p3 o( c3 b1 J4 f/ b) n3
4
( \9 U3 w9 K$ Q1 p5
6
7
8
9
; a$ N( J; Q' E  Q" s7 a10
9 C& v* j( E$ `+ J* J% D11
9 ~- z, S- a+ U5 y8 P5 u给词云输入文字


wc.generate(string)
7 N" A3 E, F* e! i  w1
词云图保存图片地址
' K0 S. [6 Q7 y% Z/ |' }
$ Y  N8 A3 ~% `4 @  w# x# i
9 N* }0 `+ y0 K. S% L: [2 l2 Uwc.to_file('output1.png')
# {6 V2 _6 u( x9 n4 I9 ?+ ?1
; \2 V& j1 @) W; X9 @9 H词云图的过程中有点慢，大家不要心急
- r& e; m- P; l5 o. b2 H

这是最后的结果

! G) v( F# v& C/ g- Q$ a
没有加停用词，所以一些无用的词比较多


. l$ j# D$ c, i! u% w# dstopwords={'了', '啊'}
# C% I0 A% z2 q% z5 Y& f1
$ C6 g% ]$ k% z* J- C把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
. b6 f+ z) C4 ~1 T6 h: v我们再来看下

" z0 s0 E6 P" C7 y2 |' F9 `
不知名网友：666666 牛批 老哥我要学！！！

: R7 M3 z2 v0 r& w2 A
8 P* u' V: k  b! k3 T

————————————————
2 R3 D8 G! f% Q0 Q6 M- F3 d版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907