Python 爬取b站热门视频信息并导入Excel表格

杨利霞

Python 爬取b站热门视频信息并导入Excel表格
  B( u9 ?7 Y4 e* p效果图：
- D) v) O" A1 c) }9 O
7 I8 d1 O6 p! c% f- e' ~& t* Z- l6 F1.工先利其事必先利器，首先我们得下载相应的库：
) W+ W1 z2 p4 ~; u0 }+ k6 Z/ T8 Upip install requests
pip install lxml
" V" ^6 ?4 Q& }  _  ~pip install xlwt

: i2 i7 z) s/ R( z* y# R; I+ p/ S
# f; m7 ~( d% krequests 向网页发送请求
2 c9 u, U# G3 p$ K! ulxml 处理xml文件（xpath）
xlwt 对Excel做写入操作
2 S  c- ^: {( O& a. \' w8 q2.爬取b站热门视频的信息：
  打开b站热门视频页面：

  按f12进入开发者选项，然后点击选中你要获取的页面信息，即可找到该信息在该HTML文件中的什么位置（这对我们用xpath获取元素属性和元素值很重要），例如：

代码如下：
# 爬取b站热门视频信息
def spider(video_list):
/ o1 C; ]2 I5 X( ~% m( X    url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
    html_data = requests.get(url).text
    selector = html.fromstring(html_data)
1 V1 A! s+ ]; ~    infolist = selector.xpath('//li[@class="rank-item"]')
    for item in infolist:
9 t; _- Z( w7 K, K% i. r3 O! ~        rank = "".join(item.xpath('./div[@class="num"]/text()'))
1 y* U- U+ p% a& z4 c        videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
        title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
! n' {7 L: E/ G8 n        playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
  t7 H( }, z% ^- i2 H$ t        play = playinfo[0] + "万"
        comment = playinfo[1]
$ q5 `* u  C" u& ]% M8 |- V% H        if comment.isdigit() == False:
' ^4 m# l" A9 B. X/ v6 x) C            comment += "万"
        upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
6 e3 q* `0 E7 B: e0 k4 H0 {* h        uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
1 V9 l) H- k* V% |  _1 R% W        hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
2 a# r% h/ r1 c% l4 B- r9 t7 z1 b        video_list.append({
& ], `- u' \3 d! r! U: v  a) l. k            'rank': rank,
1 u  f/ u/ A, l+ ~& |8 O! S1 Z            'videolink': videolink,
            'title': title,
            'play': play,
            'comment': comment,
0 W" K4 v) h- i7 {2 L  h" T5 x5 Y            'upname': upname,
            'uplink': uplink,
* s# I) M7 l- M# M7 ~             'hot': hot
        })
    return video_list
8 e4 Y. b5 D  _6 j

3.将我们拿到的信息集合（video_list）写入到Excel表格中：
  xlwt的基本使用方法：
& n( N. G* Y. j! S9 L/ p$ b" Z, U; cimport xlwt
" w0 j6 a; ?' d3 o1 Y/ a# 创建一个workbook （并设置编码）
workbook = xlwt.Workbook(encoding = 'utf-8')
# 创建一个worksheet
: i6 r8 q: \3 \# u/ L  U+ H& Dworksheet = workbook.add_sheet('My Worksheet')
) c/ R: `% J' _8 z
5 f  y$ y/ }* E  M7 N& A' i/ O6 T# 写入excel
& S, p6 o) @4 U) T( ]; Z8 o3 h# 参数对应 行, 列, 值,（格式）
worksheet.write(1,0, label = 'this is test')
/ v# d' e0 _0 [1 {8 G- g: s# 保存
#参数为你保存该Excel文件的路径
$ D  u( T/ k; Sworkbook.save('Excel_test.xls')

2 y  i9 e) b" d
  如果我们想要点击视频名或者up的名字可以跳转，那么我们就要使用Excel表格的HYPERLINK方法：
HYPERLINK(“http://www.baidu.com” ; “百度”)
百度为显示在单元格的信息，而前面的链接为跳转链接。
7 A7 Y5 }5 D% B4 e5 {xlwt.Formula（）方法需要传入一个字符串s，s=‘HYPERLINK(“http://www.baidu.com” ; “百度”)’。
" U9 f; t. z- L. e* ]代码如下：
* [8 S3 V3 j  ]# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
% O  h* y3 f+ U% h% K+ X0 _/ p    print("将b站热门视频信息导入到Excel表格：")
0 }# k" W1 ^- P' Z: {5 z; Q    workbook = xlwt.Workbook()  # 定义workbook
    sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
    xstyle = xlwt.XFStyle()  # 实例化表格样式对象
    xstyle.alignment.horz = 0x02  # 字体居中
7 P! ]% `6 f3 T1 X4 ]    xstyle.alignment.vert = 0x01  # 字体居中
, Y8 S' V! A& f4 G9 Q/ y7 v  K    head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
8 R0 N4 B+ i9 Q) I- s+ Y; j    for h in range(len(head)):
1 ]8 ^; |: P" }+ M$ I+ b" i- c        sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
    i = 1
    for item in video_list:
% E" Y7 p( T- Z# X        # 向单元格（视频名）添加（该视频的）超链接
; d* M1 _$ f$ D' X1 r        title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
' L# i6 a( @+ F% \        sheet.col(0).width = int(256 * len(title_data) * 3/5)   # 设置列宽
! U/ k( F) ?! v( q# Z' z+ f        sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
        name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
        sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
3 j  }& Q- Y( s        sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
$ m! v3 I" D0 f0 V, u        sheet.write(i, 2, item['rank'], xstyle)
* [# ^1 g1 d7 l  M5 M2 l& ~  Q        sheet.write(i, 3, item['hot'], xstyle)
        sheet.write(i, 4, item['play'], xstyle)
        sheet.write(i, 5, item['comment'], xstyle)
# M1 o3 A1 }+ H" i7 G! B! x8 T7 ~5 D/ Q, i        i += 1
$ D  }6 U7 c  O7 c$ H    # 如果文件存在，则将其删除
    if os.path.exists('D:/Test/b站热门视频信息.xls'):
4 Y# V. R* t! ^' @        os.remove('D:/Test/b站热门视频信息.xls')
2 W! S+ Y1 [, a+ ?3 ^& i% c    workbook.save('D:/Test/b站热门视频信息.xls')
% ?* C2 N! p& F& W    print('写入excel成功')
    print("文件位置：D:/Test/b站热门视频信息.xls")

. R: K# ]0 m8 f2 L" N* i
2 N2 g. a/ r; p5 }! Z( r; @1 _4.在入口main中调用上面两个函数
. B3 }5 P3 ^6 l& W4 A  X. \完整代码如下：
% S4 Z* }& g. K/ Zimport requests
1 V/ H- u: `8 C1 N$ O0 u6 Ffrom lxml import html
) z# f* n  y; l# D1 yimport xlwt
import os
* @: T9 a* U) c0 ^' q& J4 z; b
: h* h2 ^% h( S+ I# 爬取b站热门视频信息
7 ~3 B- L9 U$ ~def spider(video_list):
& X0 A# E* I7 u3 v    url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
    html_data = requests.get(url).text
  L& ^. n7 M7 E% Q* ~) n    selector = html.fromstring(html_data)
    infolist = selector.xpath('//li[@class="rank-item"]')
1 x  J) M% K( }& g( Z    for item in infolist:
  {8 e4 X& L8 h* c4 z/ q- i        rank = "".join(item.xpath('./div[@class="num"]/text()'))
        videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
        title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
        playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
- |( |* h1 T* I& ?! y, A" y) Q: G        play = playinfo[0] + "万"
        comment = playinfo[1]
+ o; i8 A1 ~# R) i- t+ m" G        if comment.isdigit() == False:
' O8 ~( H# `5 _% M3 O6 |, |            comment += "万"
        upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
        uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
2 x" Q& T; t1 N  t& X! O        hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
5 {  N4 d, {& }, l6 U        video_list.append({
            'rank': rank,
% C+ H: z5 D5 c7 R9 t            'videolink': videolink,
            'title': title,
            'play': play,
$ P% n/ n* ^' Z8 T  f            'comment': comment,
# ~9 }8 Z7 V+ v+ X( p) {5 A; {, \            'upname': upname,
# e+ [8 k* u+ n% M" \" e8 @( c            'uplink': uplink,
             'hot': hot
8 X# {- P. u- c( V        })
    return video_list

# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
    print("将b站热门视频信息导入到Excel表格：")
    workbook = xlwt.Workbook()  # 定义workbook
    sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
    xstyle = xlwt.XFStyle()  # 实例化表格样式对象
3 u5 Z8 n) U7 b; W0 m    xstyle.alignment.horz = 0x02  # 字体居中
    xstyle.alignment.vert = 0x01  # 字体居中
3 l0 v9 v) L$ N) M- G$ I    head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
' R8 y9 y% U: `4 m    for h in range(len(head)):
/ k/ Z' G3 G/ q; J        sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
    i = 1
8 D" b( h" Z% \. _9 U1 ~9 N    for item in video_list:
        # 向单元格（视频名）添加（该视频的）超链接
        title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
        sheet.col(0).width = int(256 * len(title_data) * 3/5)   # 设置列宽
        sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
% N9 A: D  @2 O. @, Q& q7 ?        name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
8 P4 r" h# s5 e) v4 Z# }/ S# c$ b        sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
; Q& d/ i' h* C3 Y( I( i* j6 e3 I        sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
+ c' ~2 D6 k2 [/ N) T3 Z7 h        sheet.write(i, 2, item['rank'], xstyle)
, z' _1 q+ {. v& M+ @* L        sheet.write(i, 3, item['hot'], xstyle)
/ H% f! X  f5 l        sheet.write(i, 4, item['play'], xstyle)
3 P3 l8 |% H% Q& a6 z        sheet.write(i, 5, item['comment'], xstyle)
# j& {8 g: W( s$ X, G! q3 S        i += 1
# A3 e# W5 r6 V/ p0 ~    # 如果文件存在，则将其删除
, A6 Z9 _) U# T: c! `2 N, a5 K    if os.path.exists('D:/Test/b站热门视频信息.xls'):
1 A; O# u7 L# `2 v        os.remove('D:/Test/b站热门视频信息.xls')
    workbook.save('D:/Test/b站热门视频信息.xls')
6 h* T  v4 H. N3 D    print('写入excel成功')
) a# @/ j; O" L# ^    print("文件位置：D:/Test/b站热门视频信息.xls")

1 f$ m% ]6 X6 \8 s7 L# h+ I8 k( pif __name__ == '__main__':
* N+ P, |. m+ C  m    video_list = []
    write_Excel(spider(video_list))
- J$ @) c  f+ {/ R  O



8 H- c- I8 _- P
9 m: m' j( P5 i' N