查看: 4469|回复: 0

Python 爬取b站热门视频信息并导入Excel表格

字体大小: 正常放大

杨利霞

5273 主题	82 听众	17万积分

TA的每日心情

	开心 2021-8-11 17:59

签到天数: 17 天

[LV.4]偶尔看看III

网络挑战赛参赛者

自我介绍: 本人女，毕业于内蒙古科技大学，担任文职专业，毕业专业英语。

群组: 2018美赛大象算法课程

群组: 2018美赛护航培训课程

群组: 2019年数学中国站长建

群组: 2019年数据分析师课程

群组: 2018年大象老师国赛优

电梯直达

1^#

发表于 2020-3-30 11:09 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

Python 爬取b站热门视频信息并导入Excel表格
效果图：

1.工先利其事必先利器，首先我们得下载相应的库：
pip install requests
pip install lxml
pip install xlwt

requests 向网页发送请求
lxml 处理xml文件（xpath）
xlwt 对Excel做写入操作
2.爬取b站热门视频的信息：
打开b站热门视频页面：

按f12进入开发者选项，然后点击选中你要获取的页面信息，即可找到该信息在该HTML文件中的什么位置（这对我们用xpath获取元素属性和元素值很重要），例如：

代码如下：
# 爬取b站热门视频信息
+ ?0 T" {1 I5 I2 M6 }  S4 U' Zdef spider(video_list):
1 j$ V4 I. H2 q! i+ m url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'' n8 }; e- _8 G; l8 }1 r& D
html_data = requests.get(url).text
0 }: n" E% }1 B) z" h% s selector = html.fromstring(html_data), `* _! W; o) k/ O, b2 D$ A3 |( P
infolist = selector.xpath('//li[@class="rank-item"]')
2 ?8 z) s; a9 o: N$ Y# c( R for item in infolist:
* K. H6 }* I  U       rank = "".join(item.xpath('./div[@class="num"]/text()'))" @7 \, L- A2 Z- k6 J# n6 K
      videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
/ Y: g1 T  A2 `8 }* u# q- |       title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
$ W, ~8 E9 k; x5 v       playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
! ~0 ^: P3 `9 b6 l/ ~9 t8 Z: O       play = playinfo[0] + "万"
* p- r5 N8 ]2 J; R. L6 y$ _( Y       comment = playinfo[1]$ r: ~. J3 z+ y5 g
      if comment.isdigit() == False:
& C, E+ f4 Y! `$ E% _          comment += "万"
' V, Z- L# K# r       upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
9 j' R2 E7 d- K* K8 ^       uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))5 z5 I9 N+ P  Q* g# e9 f
      hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
6 h& B- c3 n5 s! F7 v       video_list.append({6 V. h1 A9 h; x
         'rank': rank,
0 M8 k/ u, R$ K- M# b; X          'videolink': videolink,  e; b" J2 l9 x4 S
         'title': title,% A" Y6 o2 M4 N' W4 f2 ?3 x9 q
         'play': play,
; w: q) S( p1 @& [1 [          'comment': comment,
+ d! ]' \  l% i8 G/ C7 n          'upname': upname,& Y1 x/ A2 J5 K6 y. g5 K9 |2 P, s
         'uplink': uplink,
' ^- z  y/ B% t1 V: W! n          'hot': hot
# J; q6 r+ Q# J% l& t       })
1 Y& j+ N/ n* Q1 H- Y9 e return video_list
! j1 o: J0 H6 H9 b: w- t
1 m  _0 Z% h! E; {2 G4 G' r
3.将我们拿到的信息集合（video_list）写入到Excel表格中：
xlwt的基本使用方法：
import xlwt
# 创建一个workbook （并设置编码）
workbook = xlwt.Workbook(encoding = 'utf-8')
# 创建一个worksheet
worksheet = workbook.add_sheet('My Worksheet')

# 写入excel
# 参数对应行, 列, 值,（格式）
worksheet.write(1,0, label = 'this is test')
# 保存
#参数为你保存该Excel文件的路径
workbook.save('Excel_test.xls')

如果我们想要点击视频名或者up的名字可以跳转，那么我们就要使用Excel表格的HYPERLINK方法：
HYPERLINK(“http://www.baidu.com” ; “百度”)
百度为显示在单元格的信息，而前面的链接为跳转链接。
xlwt.Formula（）方法需要传入一个字符串s，s=‘HYPERLINK(“http://www.baidu.com” ; “百度”)’。
代码如下：
# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
print("将b站热门视频信息导入到Excel表格：")
workbook = xlwt.Workbook()  # 定义workbook
sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
xstyle = xlwt.XFStyle()  # 实例化表格样式对象
xstyle.alignment.horz = 0x02  # 字体居中
xstyle.alignment.vert = 0x01  # 字体居中
head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
for h in range(len(head)):
      sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
i = 1
for item in video_list:
      # 向单元格（视频名）添加（该视频的）超链接
      title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
      sheet.col(0).width = int(256 * len(title_data) * 3/5) # 设置列宽
      sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
      name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
      sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
      sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
      sheet.write(i, 2, item['rank'], xstyle)
      sheet.write(i, 3, item['hot'], xstyle)
      sheet.write(i, 4, item['play'], xstyle)
      sheet.write(i, 5, item['comment'], xstyle)
      i += 1
# 如果文件存在，则将其删除
if os.path.exists('D:/Test/b站热门视频信息.xls'):
      os.remove('D:/Test/b站热门视频信息.xls')
workbook.save('D:/Test/b站热门视频信息.xls')
print('写入excel成功')
print("文件位置：D:/Test/b站热门视频信息.xls")

4.在入口main中调用上面两个函数
完整代码如下：
import requests
from lxml import html
import xlwt
import os

# 爬取b站热门视频信息
def spider(video_list):
url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
html_data = requests.get(url).text
selector = html.fromstring(html_data)
infolist = selector.xpath('//li[@class="rank-item"]')
for item in infolist:
      rank = "".join(item.xpath('./div[@class="num"]/text()'))
      videolink = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/@href'))
      title = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/a/text()'))
      playinfo = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/span/text()')).split("万")
      play = playinfo[0] + "万"
      comment = playinfo[1]
      if comment.isdigit() == False:
         comment += "万"
      upname = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/span/text()'))
      uplink = "http:" + "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="detail"]/a/@href'))
      hot = "".join(item.xpath('./div[@class="content"]/div[@class="info"]/div[@class="pts"]/div/text()'))
      video_list.append({
         'rank': rank,
         'videolink': videolink,
         'title': title,
         'play': play,
         'comment': comment,
         'upname': upname,
         'uplink': uplink,
         'hot': hot
      })
return video_list

# 将爬取到的数据写入Excel表格
def write_Excel(video_list):
print("将b站热门视频信息导入到Excel表格：")
workbook = xlwt.Workbook()  # 定义workbook
sheet = workbook.add_sheet('b站热门视频')  # 添加sheet
xstyle = xlwt.XFStyle()  # 实例化表格样式对象
xstyle.alignment.horz = 0x02  # 字体居中
xstyle.alignment.vert = 0x01  # 字体居中
head = ['视频名', 'up主','排名', '热度','播放量','评论数']  # 表头
for h in range(len(head)):
      sheet.write(0, h, head[h],xstyle)  # 把表头写到Excel里面去
i = 1
for item in video_list:
      # 向单元格（视频名）添加（该视频的）超链接
      title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
      sheet.col(0).width = int(256 * len(title_data) * 3/5) # 设置列宽
      sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
      name_data = 'HYPERLINK("' + item["uplink"] + '";"' + item["upname"] + '")'  # 设置超链接
      sheet.col(1).width = int(256 * len(title_data) * 3 / 10)
      sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
      sheet.write(i, 2, item['rank'], xstyle)
      sheet.write(i, 3, item['hot'], xstyle)
      sheet.write(i, 4, item['play'], xstyle)
      sheet.write(i, 5, item['comment'], xstyle)
      i += 1
# 如果文件存在，则将其删除
if os.path.exists('D:/Test/b站热门视频信息.xls'):
      os.remove('D:/Test/b站热门视频信息.xls')
workbook.save('D:/Test/b站热门视频信息.xls')
print('写入excel成功')
print("文件位置：D:/Test/b站热门视频信息.xls")

if __name__ == '__main__':
video_list = []
write_Excel(spider(video_list))

zan