用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

& |' ~  @* l3 E3 `/ z7 Y- H用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
1 b- J/ g0 A( D' a) u今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
6 S- H* h+ C" E  u  E康康大家都怎么说！
; i0 a, ^4 l3 ]5 n  v
+ Z5 i1 j2 B9 p# i5 J$ X( v& a. A  B

, m5 K+ E8 T+ V! i
( J$ L, h2 y/ _1 |. W: s6 K& u3 z+ i) @开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
3 I- `. ?8 s' k/ ~2 b

) ]9 Z& b' ~5 n7 D3 A: m7 c# p如何安装模块:

3 Q& [) b" X# j' o' j
win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
如果模块安装失败了，可能是这些问题：
- _; O8 W/ h4 w4 n7 C
. {$ c" D: }3 u" j5 z0 h* D
提示：pip 不是内部命令
你python环境变量可能没有设置好
/ X# N1 h: U; s0 Z* l+ M$ n: i. W# F有安装进度条显示，但是安装到一半出现报错了
  Z3 C7 e& M7 G* O4 c! K$ K因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
* A8 {; E; X* Yread time out 网络连接超时 你可以切换为国内的镜像源
明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
可能安装了多个python版本
安装一个版本即可
1 M) Y8 m7 H' A9 j5 N; l  nPython做爬虫到底可以做些什么呢？
9 D0 y: }0 Z4 n  M1 n& G

! f; D9 h0 D( i& |' O常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
# `# t' V% N* ^( O1 X/ z& e7 f12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
可以刷课 可以刷网课 自动 还能自动批量注册账号
! \, ]. K/ K: s( {模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
普通B站视频可以爬 番剧是需要会员的

; ?2 w3 u: s' e. V
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)

# _; R( h* c: E# t- Q$ A
8 b: x- r" H7 K1. 确定目标需求 (弹幕数据 那个视频弹幕)
1 x0 K* p5 F7 Y0 ?. X    确定了
; y& k$ ~  s3 ^. s6 H/ d2. 找数据 (数据的来源分析)
    简简单单 找到了
3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
: @5 e5 [* W2 X& |    请求方式: get / post
    请求头:
# ^" }" s4 g9 [- [+ `' I9 s    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
! H- A1 x) {6 O" Q! c9 O1 y7 w- M0 S    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
4. 获取数据
" [6 B2 y' X1 ?( x8 _    文本数据 response.text 获取网页源代码
; x+ r7 U( f; w% N    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
* E8 m% A  d2 b1 N5. 解析数据
1 Q; x( E2 p3 s: D9 ^9 W    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
6. 保存数据
) \8 t+ f8 G7 A' P) ^/ @% a5 k1
2
3
. S  p1 U, @" z/ Q' w4
5
* c/ S* X) o4 L6
  q9 X' L4 E% @; w. O7 ?' J7
6 y0 A9 m/ V4 N; j+ p$ L" C: N8
9 p5 q' [6 d8 y9
10
11
; s# D, V3 M4 S; ?9 d: C: z12
" o" B# i$ y( L+ _$ [2 k5 e3 i" U13
1 P  Z% M5 L# n( h8 r' }14
15
  s; A, b, {& R9 l16
python除了做爬虫数据采集，还可以做什么?
" t6 f) S! [4 U! m: S兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)

( _9 X8 g& r7 U0 l0 S& U
6 v1 E6 b: [4 D( H网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
+ k8 ~6 l, k7 a$ S8 L比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
0 R7 j; |( Q% |% ]; q5 [- W( N我可以做到这样么?
* E# D3 t# q, U/ K/ o7 h! k! l0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
8 r' s3 z' P7 ?) `6 c, p8 T如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
5 L5 {6 S  D0 X$ Y! q( d

爬虫开发(脚本)(就业/外包) 可见即可爬
) X# [; T+ u$ o: _# g虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
1 C8 S! Q0 C2 n9 x

0 U+ q5 p; s- h/ r数据分析(就业/外包)
. R! v/ b4 m# f: V6 ]/ O- e, M

自动化(脚本)

% h! S6 R& N1 v# u
  Q, Y  G6 |+ g8 u游戏开发/辅助(脚本)


人工智能(研究生以上学历 要求很高)

$ ^6 ?) n2 g  y  s) M+ g
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。
( b0 W* }- x0 T4 Q1 o

, H& ]/ ]: C+ d' K2 p- x( o3 U我们开始正题吧

% E+ S+ U, k3 n( D/ |6 X
爬虫部分：
发送请求 第三方模块 需要pip install requests


import requests
7 O: j& Z/ T& i1 Gimport re  # 内置模块
( r* ^' C! s2 q
/ [* I) _* C- r7 X! n
  p( C8 ~: W0 x( D3 E( F" f: Aurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
9 ^: S. \' O& \! l0 Q  P) Q. d4 ?: y2
3
5 |! R+ w9 h% o5 n4
3 U7 @2 ~$ u9 ?) Q) _( |" O请求头的作用就是伪装


: U/ T8 H+ Y  A3 h& Jheaders = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
+ M2 _: R2 s1 ]# k$ i" j}
/ J. n; Z( J$ d# ?6 H& |% ]1
; z. M0 W# o" f: o8 i, s5 w2
6 ~' ?- t" M. p5 N; {' r1 |7 C3
模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
6 D3 w4 I% z/ [  e+ @' B0 M6 Z  i+ `函数传参
- a$ G, x0 Y1 ]' `" p. N

: V+ R+ {7 Z% F! H& Presponse = requests.get(url=url, headers=headers)
1
<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
获取数据 文本数据
) l1 {  ~& L3 l* N自动识别编码
0 J2 y9 ^* f& I* C$ ]1 w* s

response.encoding = response.apparent_encoding
; L; O- u' ~* _8 T5 Thtml_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
1
2
) _$ H5 Q2 x. Econtent_str = ‘\n’.join(html_data)

% U1 o5 r) g* E9 T
要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
6 q7 ]5 k) K* Lfor content in html_data:
0 k8 z4 J8 P% I6 T9 G    # mode 保存方式 w 写入会覆盖 a 追加写入
    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
3 c8 b' c) T" \0 `0 i        f.write(content)
        f.write('\n')


8 K( M* Z" `0 t6 W2 c" X4 N# print(content_str)
) p& O; B( u) X8 q1 O' B& r1
3 B; v  F9 \9 i3 j  g2
* |; p* C, ~/ j0 G6 V* `3
4
& D8 V8 u6 @; t2 [+ c* W$ v8 F* l+ u5
  |. U9 {* ~, S  S" u9 y( G9 S6
  j4 F( N- Z* g: D$ f7
; x4 O4 z2 ~  r% _爬取结果


- ~6 n% Q; z/ U5 z) r

3 g- f$ |* U5 Y8 {然后我们再来实现制作词云图部分


' x1 k* j$ f7 \4 d" }首先要安装这两个模块
8 U0 \& u, c$ X, J

import jieba
import wordcloud
9 e4 t, i2 @& w* @. p& A) l1 ^1
2 W' K6 M& J" T2 A- L2
/ h5 F( O$ @, a8 k+ @. ^一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。

  ?+ b! {& j. U7 p9 G" P# }9 }
" t6 j. t7 P6 \; V+ E1 n% G5 A0 of = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
. r# v( I6 E1 f1 z2 Q; q0 atxt_list = jieba.lcut(text)
# print(txt_list)
5 e, d4 d, l( f( t/ Z; S1
2
7 A: l  A* q+ L# F3
4
1 X; |( k0 v4 M0 P# L; r列表整合成一个字符串


string = ' '.join(txt_list)
- G4 ]/ Q0 [$ P4 o0 d' V7 m+ u0 uprint(string)
print('---'*50)
print(str(txt_list))
1
2
3
) A! ~3 H0 P, ~4
词云图设置

0 s( k6 X0 i; k% i. t+ P3 x
! y( V0 z) Q0 A" o) t. z( L* @wc = wordcloud.WordCloud(
! O4 S' W/ @& B, C0 w  e& |% r+ P, q        width=1000,         # 图片的宽
8 N, b' G7 G9 _1 \: g        height=700,         # 图片的高
        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
        # mask=py,     # 所使用的词云图片
) i+ ^' y  `4 _0 y' O0 t        scale=15,
        # stopwords={words},         # 停用词
  D5 E' ~' ^. X9 e9 D. A" U0 d        # contour_width=5,
        # contour_color='red'  # 轮廓颜色
$ e; G$ c+ Y, k2 R1 `: S0 x)
1
2
3
1 Q. x, Z' {5 E1 G4
5
6
7
0 M( g( B$ H: H5 R1 q8
9
" C5 c1 ~* z, c4 @+ S10
11
2 T/ g  P9 t  F* Q给词云输入文字


7 e2 h, M# k- O+ j4 S. V7 uwc.generate(string)
1
, b6 L1 j6 ~7 v5 P' k词云图保存图片地址
" F$ l1 P% X! c5 S9 A
% w0 i; ]$ w! j  n3 N7 f1 U7 M
wc.to_file('output1.png')
1
词云图的过程中有点慢，大家不要心急
, y) ?* u" \. J  C) {

- _; d6 ~- l) H- F. {8 G/ v/ b* k这是最后的结果
1 b( b* a0 g# [7 h+ E

# R7 M! [1 s* P: B6 A没有加停用词，所以一些无用的词比较多

# C5 J( L, V% A7 \7 t
stopwords={'了', '啊'}
1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
我们再来看下
: z4 `9 b+ ~) q* d' k, ?; ^' u
4 f- J, q9 x( K0 k. i5 u- E
不知名网友：666666 牛批 老哥我要学！！！

, X, ^( \% y: \! x
$ q8 }/ ?5 [/ @' c7 O- W+ e

————————————————
版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ooowwq/article/details/119211907


* v1 [4 g8 s  m0 ]