Python 爬取b站热门视频信息并导入Excel表格

杨利霞

Python 爬取b站热门视频信息并导入Excel表格
效果图：
0 t4 j: G: _/ M+ s
1.工先利其事必先利器，首先我们得下载相应的库：
: J1 l( f$ b5 T! \% i3 Spip install requests
% f" a* N+ ^% Q& u/ g4 |pip install lxml
; @: `  @9 N1 V% x- Ppip install xlwt
! ]4 r  O$ ~0 c  X! l  R$ V0 o

, ~" X% x# Z* t5 \( W$ w4 \# Z9 Hrequests 向网页发送请求
lxml 处理xml文件（xpath）
6 B/ i7 o' b' P& V( E, cxlwt 对Excel做写入操作
2.爬取b站热门视频的信息：
  打开b站热门视频页面：
! t9 Q7 K4 M5 w& A" p3 d
  按f12进入开发者选项，然后点击选中你要获取的页面信息，即可找到该信息在该HTML文件中的什么位置（这对我们用xpath获取元素属性和元素值很重要），例如：
; Y3 @! S. U1 |. d
代码如下：
9 M! K! ?! Y; e: H% F; u) A0 S& a# 爬取b站热门视频信息
0 _, v$ y$ U7 A& w: X; p$ Hdef spider(video_list):
) Y* I( \  j( f, m/ U! Q    url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
    html_data = requests.get(url).text
    selector = html.fromstring(html_data)
    infolist = selector.xpath('//li[@class="rank-item"]')
' _# r  ~) ^+ F- k- N. y. d) ?    for item in infolist:
        rank = "".join(item.xpath('./div[@class="num"]/text()'))
4 M5 C9 n2 r: w( H        videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
5 E# h$ c0 M! N2 {        title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
        playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
% E! D' g% w1 O: U( T7 r        play = playinfo[0] + "万"
        comment = playinfo[1]
; [% p5 v6 S8 |0 |        if comment.isdigit() == False:
1 _# `: G, b5 c+ o& f) i& h. n8 ^! M            comment += "万"
        upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
        uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
* f3 k4 N/ L* U1 }) H        hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
        video_list.append({
% m8 X# C( \4 y6 y9 r' v7 `1 i            'rank': rank,
7 _1 @) }  ~1 H  h            'videolink': videolink,
6 {7 [' ^& R) S) d+ v% p            'title': title,
* O) G3 y6 d5 D+ n- ~            'play': play,
            'comment': comment,
0 N7 M1 Y* W" \4 U            'upname': upname,
; x) X3 E" k7 ^: k            'uplink': uplink,
             'hot': hot
- X+ d7 f0 }4 S" t7 _' H; _        })
0 n3 ~' E* p" P  E    return video_list


3.将我们拿到的信息集合（video_list）写入到Excel表格中：
3 P; X* f. z( F1 z% P. F  xlwt的基本使用方法：
import xlwt
# 创建一个workbook （并设置编码）
  p. @1 ]7 q+ w0 \! g, N# s, sworkbook = xlwt.Workbook(encoding = 'utf-8')
# 创建一个worksheet
) l4 m+ L) ^/ s$ _* aworksheet = workbook.add_sheet('My Worksheet')

# 写入excel
  P( D( l# C& ~8 Z3 n9 c# 参数对应 行, 列, 值,（格式）
worksheet.write(1,0, label = 'this is test')
: l% b* x8 v8 A" h/ F# 保存
#参数为你保存该Excel文件的路径
# }4 h- t9 K3 B% N/ G3 Hworkbook.save('Excel_test.xls')
: C- ^5 b4 Q1 u/ O. Y# V  j- b+ N
0 A5 M$ _% B5 ~
  如果我们想要点击视频名或者up的名字可以跳转，那么我们就要使用Excel表格的HYPERLINK方法：
HYPERLINK(“http://www.baidu.com” ; “百度”)
百度为显示在单元格的信息，而前面的链接为跳转链接。
! F+ n% k7 L; s% `  q; x9 j8 g8 vxlwt.Formula（）方法需要传入一个字符串s，s=‘HYPERLINK(“http://www.baidu.com” ; “百度”)’。
代码如下：
# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
    print("将b站热门视频信息导入到Excel表格：")
    workbook = xlwt.Workbook()  # 定义workbook
  ]1 u9 a" e6 z- \9 D    sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
    xstyle = xlwt.XFStyle()  # 实例化表格样式对象
; q+ I5 |/ C  W5 K    xstyle.alignment.horz = 0x02  # 字体居中
9 {# h; F, N. l: _    xstyle.alignment.vert = 0x01  # 字体居中
2 O5 A/ ]& y5 E    head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
  H& j( z7 Z+ X& t6 J    for h in range(len(head)):
        sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
8 S9 H# Z- S- a6 [: k# _* W    i = 1
    for item in video_list:
! g9 v; q! }+ Q6 d        # 向单元格（视频名）添加（该视频的）超链接
9 g0 q0 m0 v" k, u. A! f  y        title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
( U) r( A1 M7 q: F& q! Q0 i) M$ x        sheet.col(0).width = int(256 * len(title_data) * 3/5)   # 设置列宽
6 j- T% {+ u+ @4 X% D) Q        sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
4 X; _5 x$ s0 M9 H' u% R! ?! _0 Q. g/ n        name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
0 ?" @. t1 J. z+ c4 I, F. F7 J        sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
- f$ V4 K  H9 ^& D3 j        sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
% h: n# I0 r4 I! F, B# F* o        sheet.write(i, 2, item['rank'], xstyle)
        sheet.write(i, 3, item['hot'], xstyle)
# ~1 `2 M; L: N# l$ g+ u! W+ i  N        sheet.write(i, 4, item['play'], xstyle)
        sheet.write(i, 5, item['comment'], xstyle)
        i += 1
8 k$ G+ I) c- s9 [    # 如果文件存在，则将其删除
    if os.path.exists('D:/Test/b站热门视频信息.xls'):
        os.remove('D:/Test/b站热门视频信息.xls')
    workbook.save('D:/Test/b站热门视频信息.xls')
    print('写入excel成功')
    print("文件位置：D:/Test/b站热门视频信息.xls")
! V& y" D( W$ Z3 m! V  y1 K
# R: ]' h' p. D
4.在入口main中调用上面两个函数
! A; p, n0 N; G% d# \* h7 L完整代码如下：
import requests
6 v, L$ I3 r; Sfrom lxml import html
1 M. V2 B9 a  S. A# timport xlwt
import os
6 h% Z9 V- ]) k: U
# 爬取b站热门视频信息
def spider(video_list):
    url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
    html_data = requests.get(url).text
% y& {+ d5 W- A4 f' D) Y6 a. s    selector = html.fromstring(html_data)
    infolist = selector.xpath('//li[@class="rank-item"]')
: n9 m. @9 I" P; d4 T5 d% |    for item in infolist:
        rank = "".join(item.xpath('./div[@class="num"]/text()'))
        videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
, l6 E- X* P' s+ F' _/ L+ z        title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
        playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
4 Q. J! O; S5 A! \        play = playinfo[0] + "万"
        comment = playinfo[1]
        if comment.isdigit() == False:
! E1 n& i+ Y" @( L3 q            comment += "万"
& N: M8 g* K  a' }4 L        upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
        uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
( _! Y5 R" R; E6 c5 @        hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
9 [* L3 O% ]& B+ n7 J- ?" r4 u        video_list.append({
7 |/ a. a: n$ ]$ S4 ^: L- ~            'rank': rank,
            'videolink': videolink,
, e' n6 k4 b, H" E7 l' W            'title': title,
! _3 @3 r! n9 T6 N+ B( {            'play': play,
5 n  L7 m- V) I) o  E4 E/ W2 J            'comment': comment,
( |. z/ C+ i7 }            'upname': upname,
1 g; \6 ]- i  u! k9 H            'uplink': uplink,
             'hot': hot
        })
3 V# f9 c# F0 W    return video_list

& `9 i2 G) V# O5 ]( i# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
    print("将b站热门视频信息导入到Excel表格：")
2 d/ z" R& N0 Y+ |    workbook = xlwt.Workbook()  # 定义workbook
    sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
    xstyle = xlwt.XFStyle()  # 实例化表格样式对象
, X! g$ T' ~. m1 |  c    xstyle.alignment.horz = 0x02  # 字体居中
% ^5 `4 j; n- L5 ]    xstyle.alignment.vert = 0x01  # 字体居中
) v3 L) H5 O7 c0 u8 H2 s+ _* f$ }    head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
1 Y( p: r5 x3 J- n; W$ b    for h in range(len(head)):
        sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
2 N- |: m' ^2 r9 E' F% t% R/ r- g' K- U8 w    i = 1
    for item in video_list:
7 P) g* q3 L& H        # 向单元格（视频名）添加（该视频的）超链接
        title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
$ W% y" ^* A# C$ V; V2 o        sheet.col(0).width = int(256 * len(title_data) * 3/5)   # 设置列宽
2 z9 ?& \$ c7 ]* t1 U* R        sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
- u& r! O$ T5 Z; p" l        name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
        sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
# H& |; A' i* x" ^7 @, t, u        sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
4 j" ?$ l* c2 D. E+ }: \        sheet.write(i, 2, item['rank'], xstyle)
        sheet.write(i, 3, item['hot'], xstyle)
! p) e' l3 \& R! X7 y, u        sheet.write(i, 4, item['play'], xstyle)
        sheet.write(i, 5, item['comment'], xstyle)
' |0 Y" `( Y6 I3 j% ]        i += 1
    # 如果文件存在，则将其删除
/ k0 n" s# B" d7 L- c9 z7 q  K    if os.path.exists('D:/Test/b站热门视频信息.xls'):
7 l2 A6 n/ L& q' S        os.remove('D:/Test/b站热门视频信息.xls')
    workbook.save('D:/Test/b站热门视频信息.xls')
    print('写入excel成功')
" H$ d: z* u6 S) H    print("文件位置：D:/Test/b站热门视频信息.xls")
+ L) h" ]4 a% l/ ^! |
if __name__ == '__main__':
    video_list = []
    write_Excel(spider(video_list))


) q0 @' w; ]3 K

3 R) C$ d- f1 L( k/ q