用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
2 p( {; \% B& X4 _康康大家都怎么说！

1 K, H/ D# Z0 Z- G3 C) h
9 a: C/ g) d( l8 Q% H' W* `

开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
$ i4 [# f9 V  \$ K
* M) Y' o3 s  q4 C! j* |
如何安装模块:
/ E& \& M. @6 A5 i" h

' X7 J1 b+ o% R) P8 h* Rwin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：


提示：pip 不是内部命令
3 h# O) _( E" J3 E& \9 g你python环境变量可能没有设置好
5 j7 t/ d- ?/ R0 r3 K有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
" D& l& y! h! x2 o; c$ Z( l/ xread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
; `6 F0 m  s6 D你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
* E* c* t4 q8 V( o1 F4 ]2 e4 Z可能安装了多个python版本
安装一个版本即可
Python做爬虫到底可以做些什么呢？

+ W* f/ h- O- K
常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
( b$ ]( c* k- K$ t) }) E/ }& o12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
% x0 E0 P6 D9 H: A可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
. s0 L+ |/ U3 `3 R) K4 T1 k. v! h普通B站视频可以爬 番剧是需要会员的

  i# Y* a2 I7 P& o- D9 N" N
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)

4 P. c/ b) s: ?: }( ~9 b
# p+ y7 D% k2 p0 m9 Y: W7 G1. 确定目标需求 (弹幕数据 那个视频弹幕)
: ]) O9 x2 i( Z: s/ L1 Z6 S    确定了
( g  A+ x7 m0 L. i1 e8 e4 H2. 找数据 (数据的来源分析)
0 \; b  h' U# T' f  {0 G9 I    简简单单 找到了
, F! }- K) B1 X* m- @: s3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
/ E3 R- D  {' P% h0 _    请求头:
1 }  e7 h8 Y9 _& F" @5 k! |) U  S; x    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
+ [8 C) {$ C4 z2 `2 c- K( e8 m    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
; r% J) b' R% F" p6 r% H3 l) \    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
# U: V  E) k! [% K6 F2 ~* b5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
1
$ [0 e9 ]9 C. U7 C+ J' @) d$ j& z2
3
0 s  D, O. ^4 b- V4
5
; Y1 V/ j3 X; P2 D& J/ u6
7
8
, v' O9 ~' l3 `# i& h2 i9
! X. i6 [) Q% Y3 F( s10
" [1 O2 }/ P( f  p- T11
, k. H* N/ l- @1 t/ }12
% }  d- `* N& w8 K13
14
15
16
python除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)
: x  i+ v8 ]: Q. `# n. K. t
7 N- e  U" I/ x4 o. N8 M
网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
8 r8 v# b' V- v. u9 |比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
4 x; c/ n0 h4 y( l我可以做到这样么?
5 b" d: \, D  A# Z9 ?& t0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
4 F: ~  v- x% J/ z如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
4 ?  f# h& v; J4 E
6 S2 P9 X' [2 H7 G2 ^" G) V
" `$ s& t3 l/ {- M5 e爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
" C3 M5 G- i& [! v% J1 O0 l之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

7 d6 S- M0 I+ U$ [
数据分析(就业/外包)
7 M4 E1 `% Q- ~

自动化(脚本)

7 T3 T8 v* d( e( u& P  X
- m& o0 X3 G. o: l  l+ y游戏开发/辅助(脚本)
% z+ Y7 W+ t, [  u

! _# e1 D' ]/ g) @9 s  h人工智能(研究生以上学历 要求很高)

- {# O: N- f( D# J! I- K# g
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
$ _% L+ f, S! M: R0 ~

. ], J% J7 m7 |" y我们开始正题吧
  M7 W2 X+ }- _; w0 i
1 o( `. \6 k, I6 E/ U) W
爬虫部分：
发送请求 第三方模块 需要pip install requests

3 x* ^  J- I4 Y( g  _' U
6 W6 y$ w5 [9 W  ?import requests
/ {& a3 p" D8 U+ rimport re  # 内置模块
) ?7 X2 ?0 N& ^
3 o7 K3 K. P' Z
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
, r; z% s! m" m% F& _3
4
请求头的作用就是伪装

6 g2 Q) g: R! S7 Y
headers = {
, g* n2 @) V% s/ b5 V    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
; {2 v$ \6 l/ f: i* c5 |1 G& O}
1
2
5 }% g: }4 h6 Q( }3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
& |, X, ?. o5 Q- F函数传参
. _/ z, x) }/ D

8 T+ F' s4 `; K  R5 `2 e3 X3 Vresponse = requests.get(url=url, headers=headers)
1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
获取数据 文本数据
9 N4 r0 A4 e8 Z5 h, @1 `) P( J自动识别编码
" o9 z* w$ Z) G
/ j- p1 _; @: M1 q* `
response.encoding = response.apparent_encoding
$ D% z! \- P8 n: x$ f' Lhtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
/ Y+ r, b+ }% m5 [: \" V6 l1
' n1 x  T0 e# s/ _2
0 ?# i% }/ F* {% c1 D2 Hcontent_str = ‘\n’.join(html_data)

; }/ P  L- |8 Q2 l; j, r9 J: D
要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
for content in html_data:
7 g; |+ V$ O# H/ I' J: c: m    # mode 保存方式 w 写入会覆盖 a 追加写入
1 f: V4 O. @+ d    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
# ^- z$ x" |0 i  ?  s        f.write('\n')


# print(content_str)
" S4 \1 l( l* H4 R" L1
2
% ]( s0 a% G/ n0 _9 S3
4
5
6
1 U% ?* ?0 Y* A5 }/ U! d5 S7
# W8 k2 X5 U) V3 ~爬取结果

( ^3 P) u& E% H/ {2 N


然后我们再来实现制作词云图部分


) e8 g, E# x/ p- x首先要安装这两个模块
/ n3 Y0 h% `5 A4 K7 P

import jieba
import wordcloud
1
2
一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
# e! m' N" a6 i; n& s, {
: @" _) X3 `# Y( f, c# j7 a5 q4 ]. R
f = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
txt_list = jieba.lcut(text)
1 u  `4 j% _0 i5 A; j) ?# print(txt_list)
1
2
3
4
列表整合成一个字符串

( J2 R7 V9 ?0 w2 }
string = ' '.join(txt_list)
print(string)
print('---'*50)
print(str(txt_list))
1
% o4 w3 S0 l! G3 Q: j2
# t6 q; b( b% R3
4
& [! h& T4 x- |  j2 N; a词云图设置


4 E: f4 B" V' a5 I! \" M& vwc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
* r  @- S2 W! O4 {* S9 |7 g1 @        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
6 z9 h% L8 M) [4 Z* ~# ]) {- Y# i0 ]        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
)
- |, u* |! q, J3 H- T' S* x/ S1
: y" L0 G5 C; D7 W2
3
4
5
6
" f2 s+ ^) s- D' S1 B7
, L0 H3 t. w8 l3 N) ?8
9
6 u4 C& J5 R1 x10
11
给词云输入文字


wc.generate(string)
7 }/ k/ }! G1 O! _7 t6 |* y1
! O& C3 j. E  ], M% D# k3 [词云图保存图片地址


wc.to_file('output1.png')
1
词云图的过程中有点慢，大家不要心急

7 f0 p, z  @) ^! y0 L- G
这是最后的结果
1 }( l3 H$ n( L( P8 l

没有加停用词，所以一些无用的词比较多
' w5 n' H% p, m& u  @

stopwords={'了', '啊'}
4 h/ v/ e7 M( r- j1
7 t: ]0 U% P6 R$ b& ^把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下

  X% G/ Y8 j9 m9 e( W# X0 n
4 H( R: S% t( E$ ^4 A/ C7 O不知名网友：666666 牛批 老哥我要学！！！
1 x% y; K5 w# ?; O. h, W1 l" `
4 F) H* r$ _' n3 C9 s" D+ l

  w2 v% `1 ?- I# X) A, z& e/ _
————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907
: U: {# Y5 h/ |0 Z& c5 J7 y3 L