Python 爬取b站热门视频信息并导入Excel表格

杨利霞

Python 爬取b站热门视频信息并导入Excel表格
) g6 o0 z7 Y4 p& B( E, Y效果图：
3 {# S1 r& z6 W- v# s( o
1.工先利其事必先利器，首先我们得下载相应的库：
pip install requests
. l# T, k1 X' h$ T$ X4 @' h* Wpip install lxml
pip install xlwt
) B# K% V- X3 U; I+ E
- i1 a$ w. z4 L) Y8 E
; N/ M& l$ q+ p7 R2 I6 xrequests 向网页发送请求
& R* x4 t- ]% ]/ }5 elxml 处理xml文件（xpath）
xlwt 对Excel做写入操作
8 v: @5 X* \' c2.爬取b站热门视频的信息：
- Q# s% x9 c0 k9 E2 g. Z  打开b站热门视频页面：

8 R' n  {8 P7 A% e& H  按f12进入开发者选项，然后点击选中你要获取的页面信息，即可找到该信息在该HTML文件中的什么位置（这对我们用xpath获取元素属性和元素值很重要），例如：
6 J2 ]7 A0 o5 A: e
代码如下：
# 爬取b站热门视频信息
def spider(video_list):
) [0 @) }0 q- ]& A3 S    url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
, l" N' e$ L( k: l" O. u6 A# J    html_data = requests.get(url).text
    selector = html.fromstring(html_data)
    infolist = selector.xpath('//li[@class="rank-item"]')
) Q$ h- k, s" t0 s) k    for item in infolist:
5 }% S$ P& n$ u        rank = "".join(item.xpath('./div[@class="num"]/text()'))
4 e$ S" {- e+ p0 L        videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
        title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
        playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
9 R& Z/ Z3 d) Q5 |$ _, ^! B        play = playinfo[0] + "万"
        comment = playinfo[1]
        if comment.isdigit() == False:
            comment += "万"
4 y: G* v/ i2 [6 Z9 i/ k% c        upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
        uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
        hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
        video_list.append({
% o" x7 s! p3 y. N% x7 j) r6 |            'rank': rank,
            'videolink': videolink,
: r: A% [6 _, S+ m4 M& ~3 i5 T            'title': title,
# p- f9 ?# ]4 ~: {  i3 j' A            'play': play,
9 V, \4 `( p6 \7 D            'comment': comment,
( O& G5 y5 \5 @( b8 \            'upname': upname,
            'uplink': uplink,
- N9 x7 k- j% J6 F4 L. A5 h             'hot': hot
7 s6 [1 \2 j! F' b        })
9 d/ |" M2 H) g8 o2 w% ~$ i    return video_list
9 }5 C3 Q) }1 `; X1 ~% ~+ G5 H3 k7 V

% B" R# v& @* [6 r( H5 E3.将我们拿到的信息集合（video_list）写入到Excel表格中：
  k" d# K, w( ]% Z9 \' Q  xlwt的基本使用方法：
import xlwt
# 创建一个workbook （并设置编码）
workbook = xlwt.Workbook(encoding = 'utf-8')
) N  G& R. ]8 y' J" _' ?$ e+ s9 `# 创建一个worksheet
  o) ~) I9 E4 [! y. H5 Gworksheet = workbook.add_sheet('My Worksheet')

9 x/ C& h/ I. a# w; w/ Q+ u; X# 写入excel
# 参数对应 行, 列, 值,（格式）
" }8 O( s  O* pworksheet.write(1,0, label = 'this is test')
: m) |$ l. y) l4 J- q) B0 r: [# 保存
. w9 ~8 V# \. U#参数为你保存该Excel文件的路径
- T# Q- Q' a* Y, N& }! uworkbook.save('Excel_test.xls')


# v) S5 Y. L) ^  b  如果我们想要点击视频名或者up的名字可以跳转，那么我们就要使用Excel表格的HYPERLINK方法：
, f6 I7 L, H9 I5 u) cHYPERLINK(“http://www.baidu.com” ; “百度”)
百度为显示在单元格的信息，而前面的链接为跳转链接。
4 t6 x3 {8 B8 `, _, @' p3 I+ D& U( v; M2 ixlwt.Formula（）方法需要传入一个字符串s，s=‘HYPERLINK(“http://www.baidu.com” ; “百度”)’。
代码如下：
' u: K, y+ \/ u  F, i1 k# 将爬取到的数据写入Excel表格
' b3 ~. Y# o9 Qdef write_Excel(video_list):
    print("将b站热门视频信息导入到Excel表格：")
9 m" f2 k7 x1 M/ U    workbook = xlwt.Workbook()  # 定义workbook
( Y+ j$ I7 C: @( O5 w' S6 j/ ^    sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
    xstyle = xlwt.XFStyle()  # 实例化表格样式对象
! k3 X+ o" `4 Q4 [& `: @    xstyle.alignment.horz = 0x02  # 字体居中
    xstyle.alignment.vert = 0x01  # 字体居中
    head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
: x! l  B% z+ ^' f' G  d& p    for h in range(len(head)):
3 \# a3 H$ J9 x( P2 X0 K6 f; {        sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
    i = 1
    for item in video_list:
        # 向单元格（视频名）添加（该视频的）超链接
        title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
# e0 N- ?, s1 B5 b# f        sheet.col(0).width = int(256 * len(title_data) * 3/5)   # 设置列宽
        sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
) W3 Z* Z4 s2 H6 q) K        name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
9 i3 h* d/ u5 H1 p$ d7 H* P        sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
        sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
        sheet.write(i, 2, item['rank'], xstyle)
        sheet.write(i, 3, item['hot'], xstyle)
        sheet.write(i, 4, item['play'], xstyle)
. _7 D, X3 [9 s! f+ Z        sheet.write(i, 5, item['comment'], xstyle)
2 B; ]/ p) T/ v3 ?: i% H        i += 1
3 P$ v7 g, H' s7 x- f7 `    # 如果文件存在，则将其删除
4 l) J( z! A3 t- R& I" W) C    if os.path.exists('D:/Test/b站热门视频信息.xls'):
: P# |" _! n' a5 @/ ]: ~) Q        os.remove('D:/Test/b站热门视频信息.xls')
$ j, Y: w- C) `6 f0 X" T- k    workbook.save('D:/Test/b站热门视频信息.xls')
    print('写入excel成功')
- B6 V% N  w* k8 k/ P( h$ I    print("文件位置：D:/Test/b站热门视频信息.xls")

8 x' T1 Y/ U) t1 |
% g6 @3 M2 s2 _; q9 R1 D6 P4.在入口main中调用上面两个函数
1 a/ V' j* r2 N# ~! b完整代码如下：
7 x" \" G2 I1 s0 yimport requests
* H6 H- e; E) ^- J6 tfrom lxml import html
  _* h# q8 L% K2 Cimport xlwt
' ~, Z1 ~* q3 I: Z  x, cimport os

0 v9 L- A2 |- ?8 Z1 X) e2 h# 爬取b站热门视频信息
def spider(video_list):
    url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
, L, @0 ^  F5 `2 j6 L5 f    html_data = requests.get(url).text
    selector = html.fromstring(html_data)
' `" B: I2 o$ M" ^3 h# {; E    infolist = selector.xpath('//li[@class="rank-item"]')
    for item in infolist:
        rank = "".join(item.xpath('./div[@class="num"]/text()'))
        videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
        title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
( I; O/ ]: j" c* G$ S$ P5 l        playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
        play = playinfo[0] + "万"
        comment = playinfo[1]
; g- j- w+ ~# r, p; C# j6 M        if comment.isdigit() == False:
4 T" D% u! V4 ]% C4 H2 c  h! `- ^            comment += "万"
! F. p7 y3 E* y% n/ m" l+ m2 M        upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
        uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
4 k7 ?) l/ F9 v- a, o4 u( _6 e        hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
        video_list.append({
) G6 Y9 r. r* s4 I) D$ o            'rank': rank,
            'videolink': videolink,
2 U9 K6 \1 t8 l. J  t            'title': title,
: d. T, ]& A; [! b$ R0 E: M            'play': play,
            'comment': comment,
0 U* t5 T! K  a! t- X0 L% w" c- l" ]7 {$ T            'upname': upname,
' l% o* N: z- @: p* a+ F7 T            'uplink': uplink,
+ W: h( c& v+ s2 b             'hot': hot
' W6 ]# K' }. X2 o4 ^$ I+ b4 c7 ?        })
    return video_list

# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
* a' }  T# L& ^2 K3 D3 A6 e8 N: J    print("将b站热门视频信息导入到Excel表格：")
    workbook = xlwt.Workbook()  # 定义workbook
2 Q" e; ~( ^% i; t2 H3 f    sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
    xstyle = xlwt.XFStyle()  # 实例化表格样式对象
    xstyle.alignment.horz = 0x02  # 字体居中
# |. \+ r; p3 p- K3 r    xstyle.alignment.vert = 0x01  # 字体居中
; g7 o- Y  v4 [  R9 Z4 ]4 j: F3 Y* K    head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
* U3 h9 v: w9 G, a7 p6 b9 h    for h in range(len(head)):
        sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
4 t# ^) a4 @/ r2 A/ b) t    i = 1
: P" |  s+ q. Z, _' X! H5 H    for item in video_list:
        # 向单元格（视频名）添加（该视频的）超链接
% l# h+ G2 Z% H2 x7 i        title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
5 g' U9 L3 P: A7 e- d        sheet.col(0).width = int(256 * len(title_data) * 3/5)   # 设置列宽
# D4 Q5 x9 e4 ]" Z) n# O        sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
        name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
% u, p- f. Q( A+ r+ z        sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
        sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
        sheet.write(i, 2, item['rank'], xstyle)
        sheet.write(i, 3, item['hot'], xstyle)
        sheet.write(i, 4, item['play'], xstyle)
- I% q5 l7 {# H) `# A7 M* N        sheet.write(i, 5, item['comment'], xstyle)
* N: T; P( m( s. y& y8 M' f+ T1 D0 u        i += 1
    # 如果文件存在，则将其删除
    if os.path.exists('D:/Test/b站热门视频信息.xls'):
        os.remove('D:/Test/b站热门视频信息.xls')
; b1 Z9 v2 B7 H+ L6 D; X2 e    workbook.save('D:/Test/b站热门视频信息.xls')
    print('写入excel成功')
    print("文件位置：D:/Test/b站热门视频信息.xls")

if __name__ == '__main__':
    video_list = []
. z/ h6 |8 F7 S: ]5 }$ q$ J    write_Excel(spider(video_list))
, X" _& A8 d9 _; _  a5 b
% W' [$ J$ `$ k5 k. }
+ z: ?6 r) j) q1 B; a3 z
  K# r  T  s) R2 c4 A