用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！

杨利霞

用Python把B站视频弹幕爬下来，绘制词云图看看大家最关心什么！
2 K* K( h6 x2 q6 s1 A今天带大家做点好玩的，把B站热门视频弹幕爬下来制作词云图！
, h' \) m" Z7 l1 e. \) [" b3 g康康大家都怎么说！

+ u+ D8 Q- a" |, m" W: l1 l


开始之前先给大家啰嗦几句，可能有些兄弟不会安装模块，我大概讲一下。
  J) S2 R1 B; F* j- E0 T

如何安装模块:
3 A- c& O* Z8 x1 p3 @/ \; R

win(键盘左下角ctrl 和 Alt 中间那个键) + R 输入 cmd 输入安装命令： pip install 模块名 回车
pycharm里面安装 terminal 输入安装命令： pip install 模块名 回车
" r: l: N* [& o* t" g如果模块安装失败了，可能是这些问题：
, t6 p4 M& w% V' ~9 P& A

提示：pip 不是内部命令
你python环境变量可能没有设置好
有安装进度条显示，但是安装到一半出现报错了
$ s$ S8 I; ^0 \/ R& b5 E* |1 [因为python安装模块都是在国外的网址进行下载安装的， 国内请求国外 网速很慢，下载速度大概只有 几KB
read time out 网络连接超时 你可以切换为国内的镜像源
6 F. S, Z2 P* y明明在cmd里面安装好了，但是在pycharm 提示我没有这个模块
, x' _! E% ]% |6 T8 Q' S你pycharm里面python解释器没有设置，你在pycharm设置里面重新设置一下
% `6 D  l4 i0 {7 z9 s可能安装了多个python版本
安装一个版本即可
& N" Z1 \3 V! A3 nPython做爬虫到底可以做些什么呢？
$ L2 x% [6 n, q9 v  K
: W  k4 T# t! Q# z) \
常规: 爬取网上的数据 / 我可以批量下载图片/文字/音频 视频…
- v+ R  q0 q5 l' ~4 {12306抢票 / 京东商城电商网站抢购脚本 / 朋友圈刷票 / 一些问卷调查自动填写… / 文章刷阅读量 / 音频 视频 播放量
' O" Q. v" j# P7 x可以刷课 可以刷网课 自动 还能自动批量注册账号
模拟点击 >>> 游戏辅助 >>> 修改游戏内存(单机) …
" Y) ~: S2 B& A6 I5 U9 U' p% v普通B站视频可以爬 番剧是需要会员的
  t6 v; @$ [1 V( d% o( r! {
- K1 h  Z% L5 l
爬虫都是通过开发者工具进行抓包分析 查询数据来源 ( 静态页面 / 动态页面 ajax异步加载)


- |; [, K  y6 k6 t% j2 c1. 确定目标需求 (弹幕数据 那个视频弹幕)
    确定了
' ]: Y$ R; R8 v, N7 V1 B2. 找数据 (数据的来源分析)
    简简单单 找到了
$ o' N" H( V" R5 N) m6 N2 W3. 对于数据来源的url地址 发送请求 (请求方式 / 请求头)
    请求方式: get / post
    请求头:
0 A3 E" G. z+ ?' q- T    https://api.bilibili.com/x/v1/dm/list.so?oid=376200196
    (通过开发者工具去看一下数据的具体来源,是否是来自有这个网站)
5 h$ U- W' ^8 o: `0 ]; q& j7 I5 h4. 获取数据
    文本数据 response.text 获取网页源代码
, o& l2 \$ N4 T0 C: A. `    json字典数据 response.json() 通常一般情况是 动态网页  ajax异步加载 用的比较多
1 R0 G8 D- i3 p, p% P    二进制数据   response.content  保存图片 音频 视频 或者 特定格式文件
( c' E$ w" U! M5. 解析数据
    正则表达式 .*? 解决一切  遇事不决 .*? 通配符 可以匹配任意字符
$ c3 ]! z# ]8 E; q5 N( H: d9 s6. 保存数据
0 s2 H* s, {/ X/ l6 A1
& B0 ^7 U7 b9 d# ?" l2
3
4
- g; U; e5 ^7 z# D9 F5
8 G' N% P* d6 \! i; v) C6
# I( ~5 U9 `6 G! R8 t7
2 Y" P7 s) i( y2 m8 }' K2 N8
$ V8 f1 X2 L* Y9
10
0 }3 _: X1 d+ ], D+ W+ h; Q11
9 f: K- O- K  v! S! H0 X12
  E3 w5 t0 M! \- \: J13
14
15
16
python除了做爬虫数据采集，还可以做什么?
8 c  U* g. E$ ?* y' d兴趣学习 还是 通过python技术赚钱 (就业找工作 / 外包)


网站开发(就业/外包) >>> 我们课程是教授的全栈开发 薪资 13K-15K
比如: python开发网站: Youtobe / 豆瓣 / 知乎(以前版本) / Facebook / 美团 ；
, I' ?- J0 W% f8 {4 w7 u, L我可以做到这样么?
0 B: z9 R4 x. L% e0基础 初学者 从零开始学习，上线 通过 域名 服务器 数据交互，4个左右的时间 就可以独立开发这个项目 类似知乎的网站；
如果你做去外包(团队): python开发就业 大多数也是进入外包公司 一个 10-20K左右；
% z: E+ J% Z  p4 j: @: z
: R# d6 I9 U; t. S1 @# p' U$ v. m
% A9 _/ ]$ ^% S( x, \" L9 j爬虫开发(脚本)(就业/外包) 可见即可爬
虽然爬虫什么都可以爬，但是获取用户的个人隐私（信息 电话 身份 贩卖 ）、国家信息、商业机密（未公开数据，或侵犯版权）、色情等违法信息用来盈利，就基本上人无了！
' }# f9 O) Q# C6 q/ @" u很多兄弟问我，可以帮我淘宝用户数据吗? 我都是告诉他们，这个我还想多活几年，这玩意涉及隐私，个人信息，你可以自己学了悄悄爬，爬完记得删了，用来实践问题不大，但是别用来盈利！！！
之前有个兄弟爬取微博上面军事武器航母图片买给国外, 然后就进去了！所以奉劝大家，切记切记，别乱来！
" ^" o# {/ u: \. @* W! r

8 M5 ?" g: I# \. y0 y" d数据分析(就业/外包)
' b1 T+ o2 l7 _

" u4 Q. ^1 H0 A0 H) y, S& F自动化(脚本)
* i6 K4 R. p3 n& `
8 V$ f! ~" S  {3 H5 T% S
$ h' z; z& @; E' l1 L, ?; S6 [游戏开发/辅助(脚本)


人工智能(研究生以上学历 要求很高)

3 H( r, R3 b3 x3 b2 ?, x1 y" M+ H
等等方向还有很多，我就不一 一述说了，那些方向对于一般人来说作用不大。

) t. x3 V' L4 V: M, p
我们开始正题吧


2 L  J  ]! r/ u, A" G8 A爬虫部分：
6 F7 @& ]0 P+ D7 m! c( X6 b1 r发送请求 第三方模块 需要pip install requests
- N# R0 q' ~/ x' X

- P% O5 d3 l% z3 R3 B6 d7 \import requests
! d" F4 n& Y9 S8 C7 Wimport re  # 内置模块
. r7 ?( I9 ]9 J( Z3 K2 L5 H# J
5 ~- j/ c+ N- k& J9 Y
) y* v1 h" J/ Z5 [+ Yurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid=376200196'
1
2
. Y8 J3 w0 o+ a& g7 L% W3
4
请求头的作用就是伪装

' g/ R& q* [1 K9 V7 R, a( Q
headers = {
, \& c$ p6 e4 {4 ~: T: Q4 X    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
* }" ?' ~& q: I) R- o6 @  S}
1
, X( ~6 p! i) b2
3
; d% `# ^2 n$ b% f; f2 c* `+ T4 P模拟浏览器对服务器发送请求, 服务器接收到请求之后,确定你没问题 然后会给你返回 response响应体数据
函数传参
( j- }, D  @" T
0 L5 I5 s# \5 P% R
! |6 |" H2 f* C( U6 Aresponse = requests.get(url=url, headers=headers)
6 z* h, K2 \' Y+ H1
5 ]: D8 W+ K5 S+ V<> 对象 对象意味着你可以调用里面的方法或者属性
200 状态码 请求成功
获取数据 文本数据
自动识别编码


* k- e6 L: u; V9 Gresponse.encoding = response.apparent_encoding
html_data = re.findall('<d p=".*?">(.*?)</d>', response.text)
4 W$ A  T5 _& P/ [! k$ E" o1
. {5 F. V  P" X& C2
content_str = ‘\n’.join(html_data)

% f8 A! P$ ~$ t& P8 h
# G( u, ]) C* D' K, G/ }/ A# @要列表转成字符串 ‘’.join()
for 遍历
保存数据 保存字符串
for content in html_data:
/ X# K0 ~, @9 q/ `( A    # mode 保存方式 w 写入会覆盖 a 追加写入
" h9 K1 a1 h  ~9 |/ W    with open('弹幕1.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
9 H: p8 R0 t/ O4 X        f.write('\n')


# print(content_str)
1
& B4 m* c$ w7 L7 E/ l3 l8 e& _2
3
4
  P1 a0 c) U3 Y. n8 i5
* K8 }* S) F0 M" B; h1 r( j7 s6
7
爬取结果


( x) Y( {: j/ b

( Z% }& D& a) a  j然后我们再来实现制作词云图部分

) z/ D: j. F2 c% w4 V- C- V; w! O" d
  L/ G* z1 b8 F# r  j7 m/ L: h. G! l首先要安装这两个模块


import jieba
import wordcloud
1
2
9 K# \+ K' c/ t& s$ R& p一个相对路径 一个绝对路径，保存好的txt文本名字要注意看一下，不对的话，记得改一下保持一致。
0 p1 U) \3 v' \3 H
1 J6 h7 S! w+ S) O/ p  z+ x
f = open('弹幕.txt', mode='r', encoding='utf-8')
text = f.read()
txt_list = jieba.lcut(text)
# print(txt_list)
' H# a" c1 e$ o$ g1
$ h/ p7 _6 y  ]" Y& X* z& K; p& a2
3
4
1 {. v- |( t# W5 {- B+ P# g0 q列表整合成一个字符串
/ q, s- i/ j0 l) @5 @" U
% Y: q" M1 F9 B
) S2 D5 C2 V+ G2 ^" tstring = ' '.join(txt_list)
, Q# Q8 Z5 t3 zprint(string)
print('---'*50)
print(str(txt_list))
1
2
* a6 @( G  \. i" Y) s1 J3
4
词云图设置


wc = wordcloud.WordCloud(
        width=1000,         # 图片的宽
        height=700,         # 图片的高
+ E9 f  O1 H: w7 v$ `; D        background_color='white',   # 图片背景颜色
        font_path='msyh.ttc',    # 词云字体
: X. B3 ]" b( W$ h1 {/ b        # mask=py,     # 所使用的词云图片
        scale=15,
        # stopwords={words},         # 停用词
; L2 [5 E# ]1 P0 ~) ]        # contour_width=5,
; N! L$ j8 L- |1 I7 x        # contour_color='red'  # 轮廓颜色
)
1
1 c( u: }1 k! u4 H7 N2
3
4
8 N5 }6 A8 o% z- M! l/ ?4 A6 W5
6
7
8
$ ?) s9 J3 J( y" o2 @( }9
10
7 |8 f& c: y8 ?; |, q1 i11
给词云输入文字
5 x8 M  j/ k$ w! Q
+ c, K# v2 k; v1 G5 b" F
wc.generate(string)
1
词云图保存图片地址


wc.to_file('output1.png')
2 ?5 }3 a8 M8 S. x/ }' B' Y& a1
. h# s8 t& l$ X4 Z$ U# q0 F0 A词云图的过程中有点慢，大家不要心急

% o7 J+ s9 s  h) h2 e
# d3 o2 u' {; n6 w( Y: t这是最后的结果
) q/ f& U( Q( ?% M
. G2 ~: N  R. F' _/ @4 Y- z
没有加停用词，所以一些无用的词比较多
% J$ q4 {0 N; W1 ^( U
1 N. E9 E- [9 R2 G+ V" q
6 I. @: s+ a, q2 n# _+ zstopwords={'了', '啊'}
1
把这个部分的代码加入要屏蔽的词就OK了！比如我现在把 了 跟 啊 这两个字屏蔽了。
0 {, F& C7 ?) O7 l, t+ y我们再来看下

4 u: T# ^. ]! F0 h* i. l; E# {
不知名网友：666666 牛批 老哥我要学！！！

/ M, U- L# H7 P+ `" \$ p, P


8 x3 C6 V( k5 b* f, B6 Z2 S————————————————
* @% d  Q* l' e* Q8 {/ ?( _版权声明：本文为CSDN博主「编程界的泥石流」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ F, n$ l" g! U5 G8 K, r" V原文链接：https://blog.csdn.net/ooowwq/article/details/119211907


& E! }+ q! Z  G& A8 F