新浪微博爬虫，用python爬取新浪微博数据

杨利霞

新浪微博爬虫，用python爬取新浪微博数据

3 _' h/ p) p$ t; }7 a% Y本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。爬取结果可写入文件和数据库，具体的写入文件类型如下：txt文件（默认）csv文件（默认）json文件（可选）MySQL数据库（可选）MongoDB数据库（可选）SQLite数据库（可选）同时支持下载微博中的图片和视频，具体的可下载文件如下：原创微博中的原始图片（可选）转发微博中的原始图片（可选）原创微博中的视频（可选）转发微博中的视频（可选）原创微博Live Photo中的视频（免cookie版特有）转发微博Live Photo中的视频（免cookie版特有）
) o2 Y5 G) j2 b0 ~( v2 ?& ]



$ t  T1 @0 {' |: a1 \5 |) B