用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

# o/ V7 ~. w! M1 q5 U用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
5 k4 C6 h3 c5 a今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
康康大家都怎么说！
# u/ Q$ J( D) _


; X6 I1 z6 Q# A* y
开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
; ~( m" M9 S# E: s0 H5 N

如何安装模块:
5 B( z- ~+ p; [  K4 M( ?
+ O  ^6 r  k1 ^+ L( B) v
6 K' J( y" ?" N( wwin(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
4 I$ m3 v( O- |& K# Npycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：

" V6 ^2 w' e3 m% H/ O! ^1 ^- W
提示：pip 不是内部命令
你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
# K) x) D- M- |) ], @! c明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
, O( F7 J% X& X8 a你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
: C. n1 U8 Q$ W, q8 v* A" k* @( J/ I可能安装了多个python版本
安装一个版本即可
, V8 i- G& L! y+ t5 @) x: t. K: x; YPython做爬虫到底可以做些什么呢？

* Q) a# `7 _0 _8 m- y' d+ x& K
常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
普通B站视频可以爬 番剧是需要会员的


爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


1. 确定目标需求 (弹幕数据 那个视频弹幕)
9 B; X1 x" A* Y0 N0 m    确定了
2. 找数据 (数据的来源分析)
  ~6 Z# U$ j% J  Z  G9 h# C4 x0 h    简简单单 找到了
! h2 r+ w. i; b" l; e$ l% `5 y3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
    请求头:
    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
    文本数据 response.text 获取网页源代码
    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
' i4 J4 m/ X. |+ A1 H6 f/ m6. 保存数据
1
2
3
/ ]# V+ K3 x7 {5 I+ y, e4
5
, e4 Q: s+ X/ Z, [3 s. b6
( n- D' b* @7 _& y# k7
' a2 g, b- T# _) @. ~2 H2 X6 Q8
9
10
11
3 l$ I1 B( d: _: X9 |: f- b' B( R12
6 I$ Q4 B, P5 S3 e0 h+ [13
14
2 e4 L* o' r& a  A0 i4 O4 A15
16
8 p2 F% K0 M  l/ dpython除了做爬虫数据采集，还可以做什么?
兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)

4 }2 L6 H5 Y1 |& R; H! l
网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
5 h+ J3 ~& p! D0 w比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
我可以做到这样么?
0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
7 k: A' v! Q3 J5 j" s; k如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；

) Y0 V5 ^9 x+ I$ h0 \0 P+ H
% R/ \' `, |! `0 I# n) P5 ^1 q' W爬虫开发(脚本)(就业/外包) 可见即可爬
3 y. _3 U8 Q, S9 O虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
3 I8 T3 K1 E9 K# u- x很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
2 N# h( S% }- p3 i  i之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！

, y! G% k5 }/ p1 M, L' z$ W( M
5 W- [4 J7 G* W1 s数据分析(就业/外包)
9 H0 R- {7 Q: t2 ~3 ~3 M( F( K
. K, T! ]. J, W3 g$ E; N$ z
自动化(脚本)

, R2 ]) e% D+ c) G7 M
( p  G/ q( q9 C: Z  A) m游戏开发/辅助(脚本)


人工智能(研究生以上学历 要求很高)


" n8 v' i/ |" M" P- \* v等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
  K1 K, Y; `( _5 |- q% K
- B4 J2 d8 b8 J% N9 E( y7 c
我们开始正题吧

) ^$ D9 ~' @! ~) K
& \+ @6 [, o' M0 h5 L爬虫部分：
9 B( y' m5 H$ r# d" |发送请求 第三方模块 需要pip install requests


import requests
# }$ M9 C. Q4 o7 M7 d4 Q$ Kimport re  # 内置模块

# n" m9 D$ `! L) M) T$ \
url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
) a, F$ A& x+ b/ R/ Q/ I2
3
' u+ y% [+ @; H1 Z( [" k4
9 \2 E/ l2 ]$ _5 d3 m' x请求头的作用就是伪装
9 k! f9 H2 J4 G0 e9 _( E( ?9 i
. [% a8 x, W/ G  C$ Z9 a
! |1 O# }! y) e% q# gheaders = {
! ~0 d6 C" J- I) V& y    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
1
2
. Z# f  H$ p2 w- k3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
. A& U% a9 ?/ c- h函数传参
- t# M" {$ Y% l6 D# `1 j

response = requests.get(url=url, headers=headers)
1
! d; h# a7 P! S4 I" @. r) D. E<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
+ ~- ]0 k- B) ~9 K( O获取数据 文本数据
自动识别编码

. s. I9 |% P9 d0 G
7 M+ ^8 E+ Y3 Z' _/ H2 e2 ?response.encoding = response.apparent_encoding
4 s0 L- r' R0 S& J& P- nhtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
- U5 J1 c; a$ n/ X$ F8 |8 b1
7 d$ S3 s! x& p4 @  F$ f, Z2
) ^! \0 Y( d2 S0 Ycontent_str = ‘\n’.join(html_data)
+ P3 k; \% v  d$ S! D4 p) e- H1 Z5 Z$ Q
+ g& P7 x" l; _4 w% p/ f
要列表转成字符串 ‘’.join()
- |% a7 s: A1 ~7 cfor 遍历
保存数据 保存字符串
for content in html_data:
: z$ Q) n  q! Y' U/ l" O1 S    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')

; I$ A$ u  o- Z* D8 a
# print(content_str)
+ m( D7 Q9 r1 R6 M$ s7 h3 d1
0 G, y: V9 x/ h* p/ G- g2
/ s8 i# R7 {/ C( _3
0 X( h  U6 u. K4
1 J$ }+ t) c& C5
3 ]8 F4 {& q7 v# g* c* |% r6
7
$ {1 \/ y* @" u' _5 |" F0 S爬取结果


, T. h5 c5 d8 c% B0 S
/ z8 z# y9 d5 b
3 r8 s0 I& B8 m2 f; i然后我们再来实现制作词云图部分
/ v  g. p$ d, H7 y
) e8 j$ _0 q/ g( @7 _- j: n( L% U# f
首先要安装这两个模块

8 ?4 Z, D( M: v, ]
: F* b+ \( {2 c/ z8 J+ Eimport jieba
) A* D4 y& C; Q( kimport wordcloud
1
2
* f+ Y) w9 H7 O+ V( W' b一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
* [' a9 z: h9 f& m& {# `2 b

+ N) U* `2 D2 x) {f = open('弹幕.txt', mode='r', encoding='utf-8')
: }. H& b! k/ I$ |text = f.read()
- s8 f* ~9 j& f6 n6 T8 ~txt_list = jieba.lcut(text)
- L+ E5 J' p8 N5 N# print(txt_list)
1
2
3
4
7 h) z' G) k: y, [" L- I  {$ B列表整合成一个字符串

( i4 t8 t( J6 \& T' ^- O; d
1 }" A# Z/ o! r, _  K, C. n1 |string = ' '.join(txt_list)
print(string)
" l% c9 `/ x5 Z& Y* i* V) s* bprint('---'*50)
7 R$ o  H1 Q6 D! E7 \. gprint(str(txt_list))
3 ]8 G  ^* ^0 O1 Y7 {. W  _5 K1
1 F! K( V% d; J: D* _: d! W; @9 K2
5 a8 N% \* }* o4 S: Z2 }2 }7 B1 ]3
4
词云图设置

4 [5 _/ c2 N7 Q' z6 p
" g6 a$ ]' r2 i/ e. W6 ~4 Swc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
5 h8 z1 b) E6 F5 \) y# Z2 z        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
9 J8 e8 b! O: [* b$ d% g* L)
1
3 d0 u$ i; ]" L& Z$ ~; \" E1 c: Q2
8 e1 |3 N) n6 w6 I3
4
/ P2 b& f, `# [! Y" I7 G5
6
7
! \$ W! q' ?( W8
9
10
11
给词云输入文字


! e1 m& n' ~. @3 Y; x# ?wc.generate(string)
, x$ a  R+ z% W/ Y# R1
7 Y0 }1 i+ G: R% }2 Y词云图保存图片地址


wc.to_file('output1.png')
1
+ [" @# r! x- t3 G词云图的过程中有点慢，大家不要心急
/ w2 y5 k  m  ]7 q7 G
' ]/ i/ ~1 U. ?7 {% ]) L
1 K9 j; z/ q; y: u) Y  X$ M这是最后的结果
" I1 m+ W/ U& p  G( v4 j
& e+ @2 B0 y& P1 @
没有加停用词，所以一些无用的词比较多
! ~5 k7 Q; e$ k1 `( P
1 R& {  r, M: x) t+ W
stopwords={'了', '啊'}
1
# _4 o4 ~! I& m% J4 Z$ F  L3 c% v把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
; F9 P. e# d9 O& ?我们再来看下

; k" V1 i# G8 c9 P9 \
/ _2 r- p4 T8 u不知名网友：666666 牛批 老哥我要学！！！
8 V/ l3 d, N$ |1 G: u& [% R


& o# c4 b% G# b# j" }# ^
  w+ F5 U- X% ~# H7 k. W# |5 ?4 O————————————————
& q9 e5 p% e7 _- y* L" I版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
6 i: [0 Z* O% e* M3 Y原文链接：https://blog.csdn.net/ooowwq/article/details/119211907