用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

& a& t( }% [5 A$ R  d用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
. U) E; H0 L/ {" c% Q今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！
+ p" b0 F/ q; ]/ [



开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
0 I+ S1 g* S* @1 g' f
: a$ J! {& l4 V$ B& e( F
1 m5 p- f- p4 d* t如何安装模块:
9 {  c$ w, w. L! p8 {) R' C1 c
0 Y' {% f! F+ p: i. Z; u1 b
win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：


) E# Q9 x& H7 [3 D提示：pip 不是内部命令
* y3 |# A5 D! W) I* ~8 y/ i' e3 K你python环境变量可能没有设置好
2 f2 G% \) {* g& {9 x有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
# k! W4 M/ h2 J* L可能安装了多个python版本
3 i- H5 W: @( E2 x安装一个版本即可
# C. h( W: J& OPython做爬虫到底可以做些什么呢？


/ `2 S' {) J8 D: F5 e/ [常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
普通B站视频可以爬 番剧是需要会员的
/ |- |+ B' u6 h! k# q+ r7 D
) R3 l* `1 u4 X. D1 t9 R
- X8 Z' d- W* H4 x7 [8 J爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)
0 g- X# O) ]7 x1 w  E9 z% U0 {
8 x9 X4 z3 c$ R
7 R# O! O& v6 a1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
7 @8 w; ]) I# H# J: o3 q$ ^- w2. 找数据 (数据的来源分析)
$ t! I/ n, d! p2 D0 P    简简单单 找到了
% [! p* [1 j* Y2 l3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
    请求头:
& c5 h& r( c+ |    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
" t* n9 s0 ]; P9 H4 x! X. ~( k7 U) B    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
% S9 R2 W1 m+ V+ s% e/ M4. 获取数据
6 S0 K6 g* C, Q! j. W: D' O! S5 x    文本数据 response.text 获取网页源代码
: [$ c. o  l5 U) b0 m    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
! @6 f2 ^& O) E6 B0 K5. 解析数据
* v5 _" i$ }$ ^1 k6 {' G    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
' G9 D' i# b6 q$ ~* m+ U( ?2 m1
$ W# G( b/ E1 S1 O6 c) ^5 H2
+ t; P7 k; R/ q9 h! ]7 h3
$ w1 J+ @7 [& n+ q4
- `$ Z* [& O( C  y5
6
6 [# ]# E( a, |& P1 |7
8
9
10
2 e2 F- M' a% r/ s$ E- Y: ^, Y11
' G4 Z0 @; H  s" y. S12
13
* J. I! U: O( P14
15
16
% r% b& p  w7 _. q3 ?python除了做爬虫数据采集，还可以做什么?
, T# J9 H4 ^& z, }+ }% d8 |0 p兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
3 R5 X) C. c& m7 u- v# V

& e( A% N" j: Y网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
% `: h$ F+ h5 _% D1 S我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；


: p1 t% C4 b/ r; X; B" n爬虫开发(脚本)(就业/外包) 可见即可爬
, v3 Q' F. x7 p1 U( P2 ^* S( Q( {虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
8 f/ ~0 @+ P; N9 w之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
" V7 t! W  m8 g

+ q2 I+ l4 D# H  \数据分析(就业/外包)


自动化(脚本)
5 A5 W- @( j! K- Z

游戏开发/辅助(脚本)
0 g# x8 {; |" r" w; g1 O8 m

人工智能(研究生以上学历 要求很高)
8 h) T; f: M8 W$ Q) E% R$ u

  x# Z" ^" V& p, O+ J! h等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
$ r& R/ n9 C" I7 M+ w) o

6 n3 W; `& s! D" z% T我们开始正题吧
+ v0 i& H4 {6 u
5 l* |0 j- f, y
& V" O5 _% T, i/ c. I爬虫部分：
发送请求 第三方模块 需要pip install requests
' u8 Q' V% l) w, T6 Q& r

0 F. ~. }. z  X* gimport requests
& T$ k& e6 a" @2 ~" \import re  # 内置模块
% Y) e5 s3 Y1 F) E0 _
* [9 F6 |# Q! I5 E: p- z
7 x1 h- T* N( h. ]url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
3
- E9 y& b3 j. F+ d" A* O# q4
请求头的作用就是伪装
4 p! V) }: V, n9 D- A/ O1 y6 C' s

/ M/ Q4 y: R  g( N0 Xheaders = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
2
$ _9 D$ g) K& X9 j: E7 A, ?. |3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
函数传参
+ T0 D$ b9 V. z. l' y6 l' H+ D
: m0 U3 _$ {+ O8 z5 E  p
1 i6 e( E1 |3 k* o8 aresponse = requests.get(url=url, headers=headers)
6 ]; O4 N& V+ R% [3 D5 W1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
5 w5 o1 ?0 X5 b6 Y8 M# u) |6 Y获取数据 文本数据
自动识别编码
! H# ^( w% ]+ n
7 V" d( I0 L( ?
response.encoding = response.apparent_encoding
% T7 W! d3 W& e/ m7 n7 mhtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
6 w. s& R0 P1 s1 {2
9 Q0 d9 V4 V  X5 ?( _content_str = ‘\n’.join(html_data)

* Q, b( S/ ?8 I- K/ z% ~% |
, n2 U* x7 i/ f( `6 [4 P* d要列表转成字符串 ‘’.join()
5 i6 u3 N$ N: l3 K* Yfor 遍历
保存数据 保存字符串
' @, \; U0 e# i6 z! s# xfor content in html_data:
    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
$ M! M' {8 x: a& E        f.write('\n')
( s  Z3 N; m/ |6 S. x4 P' ?  A

& g8 Y4 e) r  U% |# c/ u# print(content_str)
. h. F1 F4 M( R1
2
3
4
5
& @( a2 p/ h$ q3 M- g6
) D5 m0 M1 O9 M# g3 N7
& W3 k3 ^7 j; w2 ]7 P# V爬取结果
: v( q! h5 O, M0 j" q  P& M/ E% L


9 k. t* C* K, U1 X: W
- x" b  G8 d. m- H7 N1 Z然后我们再来实现制作词云图部分


  s. z6 ]6 E% M1 h$ O首先要安装这两个模块

/ R5 |' `6 h$ o- r$ E
import jieba
2 P3 M7 h$ M9 S/ W  N9 }; ]import wordcloud
1
% ]  h( p: ]$ v% [& f: Y/ @2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。

# G9 p0 q# ?' _9 h
( ~8 k' A: B3 V6 J& Sf = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
txt_list = jieba.lcut(text)
$ I* @% z( B) f- d$ S3 I# print(txt_list)
1
! r* ?; j4 q; Z+ X& L2
3
' Z2 X$ X' |/ X4
列表整合成一个字符串


string = ' '.join(txt_list)
( h8 _+ U! L! G- s0 n0 a$ J: m2 cprint(string)
print('---'*50)
print(str(txt_list))
5 Z: c2 R1 z& v) |" _7 N& Z; D+ Y1
% \! C4 ~# E' u/ y% T4 B$ s& \2
4 p& P7 n& ^+ ^& \) Q. P3
4
词云图设置
2 q6 U5 V, s" Z: B( I2 N; j+ q

wc = wordcloud.WordCloud(
  ~: p, V5 U4 k        width=1000,         # 图片的宽
        height=700,         # 图片的高
8 f% K8 W/ I" T/ X( r        background_color='white',   # 图片背景颜色
9 x9 @+ }  A+ o1 A3 i0 ~+ p        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
4 R. Y. d! l# v        scale=15,
6 O# X+ }; y% v* p        # stopwords={words},         # 停用词
- Q$ t: S1 j* |% }' @        # contour_width=5,
3 t3 ^9 K3 b1 @" `5 T( a        # contour_color='red'  # 轮廓颜色
)
1
2
8 ]6 M9 P; T" W5 q' @: I- t+ d3
# x" d- P* a% F" O% B% R3 W3 u4
5
6
7
8
9
10
11
+ M/ @& A  J4 {' h0 M给词云输入文字
5 f7 `$ |  p2 l) e) H! l2 C

wc.generate(string)
6 K0 [' \& U$ M. ?1
词云图保存图片地址

5 ?! a$ {+ ?9 U* q8 S, h' _
: x6 \* k) o! i5 p: |wc.to_file('output1.png')
1
3 T- w& H& O' X. e/ k词云图的过程中有点慢，大家不要心急


* L0 x, S+ h. L; S3 k' Q& m9 M5 i这是最后的结果


) I9 R$ O8 o. i, S) I没有加停用词，所以一些无用的词比较多

8 [1 t" f- U9 z
+ |* B2 s3 r& T8 f$ Hstopwords={'了', '啊'}
  g& I6 ?$ W- N, Z+ z) D1 l1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下

# @3 y; P" [" o& h7 d
2 L6 C  h  }) j不知名网友：666666 牛批 老哥我要学！！！


" a8 |; h& L: E& c$ i

————————————————
- I5 I, z/ c# Y: {版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
* p+ o* I! T+ @原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
5 }; ^% e" D5 s
% b, g4 l$ |' [2 i