数学建模社区-数学中国

标题: 新浪微博爬虫，用python爬取新浪微博数据 [打印本页]

作者: 杨利霞 时间: 2023-7-12 16:47
标题: 新浪微博爬虫，用python爬取新浪微博数据
新浪微博爬虫，用python爬取新浪微博数据

本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。爬取结果可写入文件和数据库，具体的写入文件类型如下：txt文件（默认）csv文件（默认）json文件（可选）MySQL数据库（可选）MongoDB数据库（可选）SQLite数据库（可选）同时支持下载微博中的图片和视频，具体的可下载文件如下：原创微博中的原始图片（可选）转发微博中的原始图片（可选）原创微博中的视频（可选）转发微博中的视频（可选）原创微博Live Photo中的视频（免cookie版特有）转发微博Live Photo中的视频（免cookie版特有）

weiboSpider-master.zip

111.09 KB, 下载次数: 0, 下载积分: 体力 -2 点

售价: 1 点体力 [记录] [购买]

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)