- 在线时间
- 661 小时
- 最后登录
- 2023-8-1
- 注册时间
- 2017-5-2
- 听众数
- 32
- 收听数
- 1
- 能力
- 10 分
- 体力
- 55584 点
- 威望
- 51 点
- 阅读权限
- 255
- 积分
- 17627
- 相册
- 0
- 日志
- 0
- 记录
- 0
- 帖子
- 447
- 主题
- 326
- 精华
- 1
- 分享
- 0
- 好友
- 79
TA的每日心情 | 慵懒 2020-7-12 09:52 |
|---|
签到天数: 116 天 [LV.6]常住居民II 管理员
 群组: 2018教师培训(呼和浩 群组: 2017-05-04 量化投资实 群组: 2017“草原杯”夏令营 群组: 2018美赛冲刺培训 群组: 2017 田老师国赛冲刺课 |
仅需一行代码写爬虫–simple_crawl h8 o% G. f, q- p2 t$ Y9 v. ~
simple_crawl
- I" v/ F* G Q7 P: W' Z仅需一行代码即可达到爬虫效果
# O9 v+ C" o9 g! J: Q/ ^+ _: [项目地址(欢迎star):https://github.com/Amiee-well/crawl& f6 P+ o+ [1 p1 V% N$ c
使用方法# l/ s* z- w' w1 N2 z
pip install simple_crawl- T% i! D+ D7 |- g4 U, v
7 J0 Q/ [- d3 c6 l6 I### 以下源代码为简单介绍,详细功能介绍再源代码之下
+ `& u. T% y) F( e/ ]( ?from simple_crawl import request
* F9 D7 |4 C: c) ~' hrequest.parse(( l( @/ O1 V- Q" [9 y1 `- z
# status 参数为运行状态,支持单线程多线程多进程协程以及联合
/ R' T7 e2 k2 s9 V& e status="aiohttp",; _ a8 j, M! J
# url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式+ @3 K2 j* s& e
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
& K' L2 v( z$ @ # login 参数为获取登陆信息,如淘宝等网址需要登陆信息: Z/ C% L$ r( n1 M- E
#login="taobao",6 [. s5 F3 b. ?. A% M: ]* x
# type_url 参数为返回源代码格式,支持text和json,默认返回text5 |; Z' e y b- Y1 R* A: V3 v
type_url = "text"," m/ J) c* { ? n
# Parsing 参数为解析方法,支持re、xpath和beautifulsoup; \0 `& h' H0 G1 n
Parsing = 'xpath',
6 P( R: i9 u& ]8 T7 h7 z( Y& | # label 参数为爬虫解析过程,字典格式,详情见下方9 H- a9 L C! h% A0 K$ \ ]# s# N
label = {7 p3 g# V/ {8 [7 e7 `
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
7 K% p5 [; }* e7 O6 E7 V 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],$ E& _5 z2 U- Z2 c4 x+ \
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
$ j' T- E% n# X0 k, R },
- l* W+ P7 \, ~; J, M$ o( d # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
- @+ N# ?4 z/ s; `1 ` write='result.txt',. N, h3 }9 X5 y- m! q) ~
# next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
4 K1 F' A% s* n+ | next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',! V( X" `4 h& A! y) P6 o; Z
# page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫) T: i J; d% ?& ?" p
page=[True,"now_url.txt"],
, s# K& U. Y- Y, U a/ g# D7 j # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息7 g: V- |+ x6 t4 ~: n
#clean=True,
; S, J g. |6 C! t1 c2 S3 v7 ` # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序 k P" k$ ]7 A3 K
texting=True,' w4 s& K. r$ b; c [2 {
# Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态# ~% n" ?6 Y5 L- S
Thread_num=3,; X: Z/ ~9 I" w4 _9 h: l
# cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
; @- }; n3 G1 |& e cpu_count=1,
" p- ^& t# v3 L8 K6 B! i& ^/ H, [ # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态2 W4 ~0 `. L2 _+ l4 a
sem=5,+ M4 Y- E3 s6 S. R( R/ m9 K
# write_SQL 为是否写入数据库,默认否
$ G' L! a3 Y! w& H" Q # host 参数默认localhost
4 R# J% U/ X& b) \; c # post 参数默认3306! i) [: B# W$ D# d
# user 参数默认root. h$ ~) r& w8 `5 e( F' f
# password 参数必填,必须正确
; E1 n9 d/ ~) l2 Q+ |- Y # db 参数为即将存入的数据库名,若不存在自动创建 r4 Z8 f6 h$ j6 r/ Q
# table 参数为即将存入的数据表名,若不存在自动创建
% W$ z& ?% j0 ^ write_SQL={+ x/ p4 k5 U% E' A% L# b' z
'host':'localhost',/ Y3 s0 d' d! n
'post':'3306',
- N% z# d7 J, o, r 'user':'root',* @) a/ H% g. Q( ]
'password':'123456',1 E) _. c9 l( i8 ~/ D1 f$ ^% n! O* k) T
'db':'example',
2 g2 R# O0 z5 A3 V* {8 L! X2 C8 a 'table':'example'
9 n+ ?! g' d' H% f2 M8 o }
& `/ q- D" h& P: o- Q- E1 [" G7 \1 U( E).run()& T9 j& S& t0 ^7 r% e8 c% p
- _# C& |0 d' k5 G$ ?6 h" ^介绍一下crawl参数设置:
: Y* b0 Y# d6 N3 c6 R! b
( x& O% J, }" e ?2 M% ?0 ?'''! s7 m; V( Q' l& ?
单行代码爬虫程序执行
8 i6 }; y9 Q7 s- M J$ z" q:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档( r1 k! q# @. B7 r# T) X
:param url:即将请求的url地址,仅支持get请求
( ]3 U9 w6 W/ [2 r" q1 P:param type_url:请求url后返回格式,支持text和json格式返回
5 L2 [7 D5 y" j ^! x:param Thread_num:即将启动多线程个数,默认为1单线程
6 k# [( ^( a& i6 A& X6 U:param sem:协程信号量,控制协程数,防止爬的过快,默认为57 i) t9 K' r9 K" L$ w
:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
, _# b' N* R& H U$ p:param login:模拟网站登陆,保存登陆信息% x W8 I7 \# W
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
* x+ Y7 L, D- \ H5 q8 F:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
9 b6 S& E& y1 r, C" M) g; v 多次报错结束程序,默认否
, T8 Q& Z& y* ^:param label:选择器内容,字典格式保存,0 q0 |" a- Z. t' E
字典值为列表格式,第一个参数为选择器,第二个参数为转换类型2 l0 t8 \1 S) x7 Y2 }; O
第一个参数必填,第二个参数默认str类型 t4 y4 z" u( M6 a
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否5 ], O1 E3 b( N9 o: u. S" z
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫8 ^8 n2 Z _% X% n& w9 Y8 z
:param page:是否选择断续笔记接手下次爬虫处理,默认否
2 n/ v6 a, u% D& |$ t1 D2 L; w:param clean:是否进行简单类型数据清洗,默认否% Q: b( z ~/ X+ A1 ?3 f6 f
:param write_sql:是否写入数据库,默认否
1 p6 o) w3 D+ t* Q1 H; s; a 'host'默认为'localhost','post'默认'3306','user'默认'root',% \+ f' A e0 ?
'password':'密码','db':'数据库','table':'数据表',: s# S6 `2 q) X# d
检测库是否存在,若不存在则创建,若存在则直接插入,
* O3 T8 S A) x/ A7 z 检测表是否存在,若不存在则创建,若存在则直接插入; w4 r" |* _, Y% y/ o9 M' M/ k$ d
:return True) X/ G1 `# u1 n# g9 Q3 M- o3 T
'''5 o5 ?9 D; E# V2 i/ M6 j
介绍玩法
' q! L! ?3 ]4 g& u; E/ J3 N" D接下来介绍的均为调用第三方库的情况下运行:; V( J% H4 R4 m j V2 R; L
$ u6 o$ N3 Q, f# f4 V1 E$ H/ @
from simple_crawl import request
8 [4 ~- W+ _" g: L. X2 D8 _第一种玩法:输出源代码
3 i$ F& J# c5 Q1 [ {( `; Q调用requests库进行源代码请求。/ f9 R* N6 | _+ w+ a J( e1 Y
4 ]: D1 }6 g- v1 n* n" ^; H! [
特点:+ U- S) a) e/ o5 R! q$ t! q& J }; R
请求失败则调用ip池处理重新请求访问,
9 W6 Z0 l1 h! U1 W/ N) r出现五次失败默认网址输入错误。
: ]5 v1 S: p# b/ g支持text以及json字符串返回。默认text。
4 D2 i4 q' n; F+ D
/ N8 u, L+ a% X' P/ L缺点:" [7 \. m8 O$ E" T- }9 G
暂时只能进行get请求,不支持post访问1 ^8 `: i8 Y( W, o! _; }. [: R: ~
% D4 h- w3 y, a: o; N+ c; i
:return text or json% ]; k5 E2 |! m. P/ m" y6 `; g
, ^4 ~* ?" m7 X8 |2 L7 M! T" L9 x2 a
request.parse(& o5 ~, E+ N- ^ c
url = "https://www.douban.com/group/explore",
# B! m6 C3 [6 p- w1 z3 ~% z type_url = "text"7 H$ ~* ]/ s* Q4 Z c
).run() L2 x( b2 `1 X
# return text7 [+ i1 N, g/ u: z( G/ G) h
' ?; n2 @1 m" V$ w* ^5 r第二种玩法:模拟网站登陆并保存信息
5 X& ^5 L S8 j3 q9 J0 w5 _& L调用DecryptLogin库请求登陆访问。6 f3 \4 o7 o! |& @0 G' T
6 B. v I3 x7 w+ _5 D) c% X
ps:DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库,在此引用一下,因为单行爬虫原因不支持账号密码登陆,我将大佬写的二维码登陆使用过来了。再次感谢大佬开源% O9 u1 t4 f8 J& k6 {$ k
在此放出文档地址
3 b* o' n! v# r qDecryptLogin库中文文档:https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
8 o- Z* \% `' y# j& m- _8 N. P7 r1 o" D
特点:( ?3 J+ r, [1 m) c$ e# O
将DecryptLogin库中二维码继承到此库(非二次开发)" \# l- _8 n8 L
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆(大佬登陆库中所有的二维码登陆)/ W) x( J/ P, U0 u" k2 ^
保存session.pkl信息到本地方便下次登陆运行- J+ I$ a2 Q4 P
( z6 ^" x* K, Q! A9 G" M' k8 L
缺点:# n# p$ a) \. B4 f8 x2 S
session.pkl登陆信息过时无法自动删除。
1 g' T& T5 z0 y' X7 A. v导致下次登陆疑似cookie无法正常登陆。1 e9 Y# V# V9 S/ J! f, \! o" n) ?
( \1 T8 d9 O9 M+ d:return session
3 M0 w' v4 d o1 c2 c1 n/ {" ^# h2 N c% h
request.parse(' O" s' e S; w7 y2 p
# 臭不要脸的推广一下我的店铺" S+ D' K3 }) H+ ]) V- z/ w9 N5 G" W
url="https://shop574805287.taobao.com/",
1 v- r9 I& `! ]8 k' L1 H login="taobao"$ \. P: ]8 p! y& ]$ ]9 _/ ?+ Z- }
).run()
V8 c2 f/ r7 f$ P9 g) T# T* K# return text8 x5 v( f5 U) v, z9 D' j6 f
2 X$ p: p2 V; L* s( f7 g+ [第三种玩法:爬取网站信息
X+ V9 I) N1 d爬虫库自然少不了爬虫的过程, `0 \$ E4 Z3 c
% M! v3 s( o A# Z: O1 l! y特点:
( T$ h+ w. @( I0 E. w4 @支持re库,xpath解析以及bs4选择器。& ]+ K4 \ f3 H% d" o( @
爬取方法为字典格式。单方面输出。& I% B2 g" o8 _, o! R( a" e9 J
字典键为保存的字段名称。" g' ~0 T& Y; C( n
字典值为列表格式:第一个参数为选择器,第二个参数为转换类型。第一个参数必填,第二个参数默认str类型。
# O) m/ F) k1 A r S, K) t/ c, Q% O2 d
缺点:暂无(等待小伙伴们发现)
3 | q' x7 K7 b! d% o# u. w3 l5 d$ ?! N* u
:return reptile_results1 o. K; r9 c3 ]4 N c1 F
3 W4 i+ G4 M4 C- l7 f. E7 W( zrequest.parse(4 ^% r; H% H2 k& a) z. {
url='https://www.douban.com/group/explore',
/ j$ @1 S7 {3 |6 K9 P% E # 字符串格式,选择器方法。& ]( c3 m- J& ]5 M/ d% Y5 f) B% x
Parsing = 'xpath',5 X6 H9 _$ A1 R8 i3 t
# 字典格式,参数如上。
# R: P0 _/ d3 ^4 W label = {
9 }$ q* F s( S' H8 }8 U& V 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
1 [! s ]8 j1 h. t+ M6 W" T 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
: f/ r/ m6 W- [$ e, V 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
! w \0 g; I: O) U( y& J }+ @( @3 E& f% ^" M6 B
).run()( J8 |4 n1 @9 h+ t. J ^1 y
# return reptile_results(list)
/ z. x- q6 T$ ?9 M+ Y# v3 R' w
( I/ t, p0 T% ^第四种玩法:自由保存信息
2 k% g+ ] b: M, y) c1 X; x p) v目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
, i( N% B2 Y% G0 p* J
# U" U. E: @4 X1 J特点:0 z# K j. E" Q+ C+ N. d V
写入文件均为数据格式传入文件。
$ s# N9 r: H, g' Y+ _且输入格式规范方便阅读and省事。* f% T) j( r( w% S- e) t2 U6 r, v
+ G2 v2 O$ p: {! T8 U9 w$ e! T
缺点:+ Z, w8 c# Q7 w( C' I) ^% F
保存格式仅四种,( e9 I5 S1 U% ~/ o
不方便用户之后读写操作。
4 S4 J( ~; S4 r5 N. x4 l$ E8 f
" U5 v7 l$ x, x* l2 ^& M8 \:return file4 p) C L9 r0 A7 h l
0 l# J% ^+ B3 R% j3 h
request.parse(5 n1 u* g9 a& m& o( V2 a
url='https://www.douban.com/group/explore',6 ]# m/ v4 C7 a* X3 j/ L6 q
Parsing = 'xpath',
& D1 C, a, B7 x2 |/ N% w" p' i label = {+ U: U( z: M6 p; N q9 G
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
# U! z. k) D" D. m7 i: ~ 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
% |! U3 W9 G2 o: q* g$ M 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
a+ a- K7 u% q/ I8 D2 ] },
# n9 N7 w6 J f n& w8 P. |# G # 字符串格式,具体保存位置填写3 d' }! F0 r5 k7 u
write='result.pkl'
5 }5 A8 W, ~: s( A. P3 E).run()
; a0 K9 Q' l; `2 o# return file' _% Z. j7 i, R6 W& h2 H
% x* T2 t, }5 u A4 v
第五种玩法:读取下一页 url 地址继续爬虫& N( J; Y5 M/ {* q; O* q4 i/ T9 h
这也是每个人都担心的问题,仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
+ ^! q5 u* p+ T3 g( W
; H* Q. K1 c- \/ I1 w特点:
1 L# I& @( a; O! R; W继承之前的Parsing参数选择器选择方法。
$ K+ ~7 [0 p9 M在这里可读取到解析后的下一页 url 网址。
1 x" @( G1 Q7 ~, k7 Q方可继续进行爬虫处理。方便用户使用。
2 E' H8 C0 K e3 g c2 g9 ]- A* ~8 j1 l: r) ]- T
缺点:& d1 V" r, G& a9 V
若爬虫时下一页 url 地址改变,便结束爬虫。
7 K& |7 d, Q" J" e0 n+ ~只能爬取所给 url 地址中的信息。
3 h0 o0 J# t. `- N! W' x8 l' i无法进行某一界面的多个网页爬取返回。+ \/ V- ?: V7 {8 i9 R
造成访问页面单一流失。1 s) D% Y7 z$ z
! N, k/ _6 C1 ^$ ^3 C:return None
$ g# e8 K y7 T& n. ^3 _3 D* S8 L* L. Z
request.parse(
; m0 m V3 K' W& q# T url='https://www.douban.com/group/explore',+ O ^4 R( ]% X/ [% D0 N- r9 Q
Parsing = 'xpath',; O8 }( M; a6 |/ [& L% J' b
label = {* p+ m* s1 S. N& I2 ]& `5 i+ m
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],+ |3 [9 H+ B/ m, j; g
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
- V* I( `0 Y% E 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
. h9 f. N; n" b8 W8 e. q },
' Y# H$ B Y6 ^% r2 w* y write='result.pkl',
7 h: K7 O+ c6 _! `% _9 ^5 H7 j # 字符串格式,根据Parsing方法继续请求下一页a中href
+ ~% m$ j5 E e+ y E next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
' M) t! f+ E! l2 [).run()
- T# E- D0 x% A! z( ?8 p# return None 5 ?( y- [3 f6 f9 B) y: \* l3 p
1 R& N7 I+ I6 d% G6 J/ {4 [
第六种玩法:爬虫网页保存* U/ ?1 l: b! l0 h0 f5 W- ?
听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的,睡一觉醒来发现代码报错了。。。这就是个很难受的事,还不知道之前爬取到哪一页了,只能重新爬虫了啊!$ V. j8 R# C8 k* V
$ n5 o+ U/ p9 p* }特点:
( @8 Y9 S0 q' L2 `: A" v4 Y3 `持续输出断续笔记。
! E2 u, G, g6 v% K9 @/ c将此次爬虫的 url 地址保存到一个文本文档内部。. Y& Q# w7 }6 V1 \4 g' g
下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
8 B x% B+ ?- t [
4 a5 r/ f. ~& l* T* o- A缺点:1 _4 z. R( z/ t6 s) U9 e/ `
读取内容不单一。! [4 Q: V1 f0 z1 g- I; \! r, [: |
导致下次爬虫无法正确读取上次爬虫留下的痕迹。- S2 {: Z# Q- ]% _# |( Q, H& N
2 w& Z. S/ |; {: F; z% U' }
:return url_file
% q5 V8 U, \ p8 L; _; e2 b" l
! Y3 x- o$ e; e% f7 \request.parse(
# Y D, {: L3 a; a- g' ~ url='https://www.douban.com/group/explore',# J2 b+ h% k% p) l' T
type_url='text',
7 t! u7 [1 N+ { Q/ V5 t0 P, _- n #login='taobao',
4 y x1 g- L3 H- l- I* b c Parsing = 'xpath',; X* z3 x- c7 G+ M4 C7 t. |' _4 M8 R
label = {
+ V3 D- t. U9 r3 \2 q 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],* D k0 [' j6 N! ]! u: o
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
% Q: U+ d8 X- V' k, V 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
6 o% p, a' z0 ~! s4 X% a },* S/ N; N! c/ T" U- j
write='result.pkl',. w3 W/ o' C. b0 Q
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
3 t. b& p7 o+ _7 ^9 U; j$ Y # 第一个参数为是否需要断续笔记。
, u6 \4 q% p& D+ F # 第二个参数为断续笔记保存位置。' \7 U- p- L! t" e. a- D$ y3 U7 q
page=[True,'url_page.txt']2 X W( K) w' K, a! o
).run()
; a& F2 F/ \' t6 G8 U) W# return url_file$ X) Z' {3 V% _. \" p! }
6 @7 X& N9 g+ i$ A; e% ]第七种玩法:简单数据清洗2 P' Z! i7 X# M: X. I/ n
数据拿下后,直接保存到本地有些大佬可能觉得很辣鸡,连清洗都不清洗就存入本地了?那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。
& v4 T& e9 o4 R* H+ n+ W& ]6 w: x* k1 V, u# \% n6 \
特点:; ]& S1 {9 Z0 K
本人曾写过一个底层数据清洗。
0 H; {' c8 e4 p能将列表格式数据进行归分清洗。
3 y5 j9 I, V. a' z, u% I8 o2 o' l主要内容请参考另一篇文章; ]1 w j( S' }% k$ F0 p* J2 u' u
如下连接:数据清洗5 ?% v& g: L" p* k2 O/ d
+ m) m; Y8 }, |% w L; I缺点:
2 _% ?) ]7 a0 d, B) f4 k数据清洗格式简单。
+ _# e6 b" y$ J3 I数据清洗内容单一。
+ X! c1 _4 V3 W! M' V$ z) G' w) e无法完全做到绝对清洗。: H; l. X) }9 }
有待改善。
+ z9 @" G+ ]; z6 D
$ f+ w% m; N* w' x$ O:return keyword_list, value_list, L. b, E! R2 s" v) b- `
9 C: j \& n. U8 \: orequest.parse(# d; K( R# x, J% |3 M
url='https://www.douban.com/group/explore',
5 G. t# I( W2 G Parsing = 'xpath',+ w, B3 e* o, }: T2 V* u
label = {
. q* r& R5 s+ i/ e 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],& l; c0 X$ c! s( @
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],! ]+ u4 D* n/ G5 M1 N
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]/ [' o" P2 u6 {/ h+ s- ?& }
},
5 i& @- N/ a) `+ q' Y7 [ write='result.pkl',
( j2 P, A/ V0 d9 v P: b- c next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
# D) ^- \, _$ v- k1 L, K" o page=[True,'url_page.txt'],8 {2 r/ J) D. M0 K; j+ l! U; [8 n
# bool类型,默认不清洗1 j" M B% L# `6 ]/ o* r
clean=True
) `; L( l& f" Z, D).run()5 E s# G3 n1 u+ T* Z
9 M3 j/ k# n/ E) [: }% E& w0 C1 e第八种玩法:爬虫存入数据库
3 X; a$ @2 N* d' F7 U存到txt、存到csv、存到json、存到pkl,那也太low了吧。现在流行的数据库用不了么?那是不可能的。。* O) f# {; @# v
. A8 H+ I; _; c* a7 Y
特点:9 l+ h( F) d f7 a0 Z; n
信息存入MySQL数据库。- ?; [; y o# p. w
可连接docker远程数据库。- t- X! F. h! R5 K2 v
数据库的库名可以不存在。
3 O' h0 M8 {' w/ Z数据库的表名可以不存在。
3 N: e$ F+ j9 L2 {4 Z7 L1 J4 x" C' Z根据之前传入字典键与值参数判断表类型。
6 ]' F8 I0 b, g( U" r' }自由建立数据表传入信息。5 O6 r: C: u9 c% z! I
3 y u3 e$ p8 O& `' I& {
缺点:
7 U3 R# r4 S+ J3 w; s9 o仅支持MySQL数据库。
, E1 X: b4 d; Q! {! N
; b3 X2 K) c7 y; V6 e:return SQL ^$ X$ p6 m5 ~5 M3 L+ o
3 m3 {! s' p) p
request.parse(
0 }+ C/ ~ e# W. h! J url='https://www.douban.com/group/explore',3 Q8 J; b" W. l O
Parsing = 'xpath',
7 k$ N+ A& w2 N. n% g label = {7 ^7 f8 E o6 v1 V; M6 R# Z+ k$ f
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],3 z9 O7 t: J% E9 `$ q( @
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
& G+ X0 z; {1 u$ R4 L0 R2 a( \ 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]* R/ |! h+ M/ W, P
},
- p* p) O$ p0 G8 L7 }, l write='result.pkl',
; C) o) h! W2 w7 C5 s next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
& z! y1 G( u: w$ M' y0 K% h page=[True,'url_page.txt'], y! ?) `% n+ X1 [: R5 L
clean=True,( K' S+ q' l& C2 y5 Y- r
# 字典格式,
0 ^( \+ Y6 B- f4 D& B4 G # host可有可无,默认localhost
; i& Z7 z: x7 S- q # post可有可无,默认3306
+ C7 _% y9 D/ f3 C# ^1 D # user可有可无,默认root
2 z" C! K& k/ W" i # password必要参数,数据库连接密码
s0 W$ }( y0 K! u1 X3 U7 R% Q # db必要参数,数据库即将存入的库名. [' Y) [9 M; d
# table必要参数,数据库即将存入的表名
) J. C1 I! ` g X# L: B write_SQL={0 m; z( O- T2 p. \) v5 R
'host':'localhost',& m2 M( a5 z( v0 h$ k% `' M4 J
'post':'3306',
/ P6 q. O# c3 y 'user':'root',
9 D. y- Y, {2 D, }+ `* U7 m 'password':'123456',
' `2 S3 y* b- F6 p+ T 'db':'example',
- y0 l7 N; [% N2 K& u+ M, F 'table':'example'2 S2 H; Y0 o! i- \6 f0 x
}6 C2 o9 [* I. e
).run()/ ^2 u& ?7 \; _$ m: a
3 A' d7 a( V$ N
第九种玩法:重新启动爬虫
+ P( W- l; R) @" o: R3 ~+ X爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了,比如意外的远程断开链接等低级非代码错误,报错之后还得重新启动断续爬虫,就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫,多次报错结束程序。
' } e+ l A3 X% t. Y* A- v' X2 w/ Z0 Y' W9 ?% `
特点:# r5 B8 k @8 m, m1 C& K8 x: l6 c
检测报错重新启动爬虫
& o4 w5 K, L7 E1 V F; @. w' x无需手动处理错误信息
" [$ F4 s4 |" N) v" W- X5 k
& a( t; x9 A0 m8 Y' z) b3 q; _缺点:
9 d7 j7 x% O& Y3 I( G3 g9 b无法收集子线程错误。
8 J+ O; Q7 t) w+ v# F* q9 L( l& x' y# o" |
:return None
' W4 X) d/ n6 Q/ s0 }- a; N7 @3 h1 e# [4 H) \/ o: h2 P% O
request.parse(6 c( T0 U' [' g" I* D4 a' O5 z- z
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],& V, N1 v4 I+ ^& p9 W- k; o
#login="taobao",2 N1 u$ E% H7 `6 k7 z1 a
type_url = "text",9 ~9 X; [5 W' S* m- x
Parsing = 'xpath',: g% `# O& Q! K4 E
label = {5 d7 f6 N2 {2 H/ z! ~: Q
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],1 a* O0 m* I+ x4 k9 m
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
/ W$ ]! i7 v6 X 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
* n- f. t/ g) Y },& j3 c( u& P4 e3 f
write='result.txt',
$ O. v$ j1 H/ A3 v' z+ Q0 X* I next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
9 Q1 O9 t, S' N page=[True,"now_url.txt"],! n8 X& c0 s# N2 m: _- m' R
# texting 参数为是否启用连续爬虫3 {6 p$ S3 g8 l5 C* x
# 爬虫程序异常报错后重新启动爬虫- Y$ w- A! E, u
texting=True,, p2 J: j$ L3 }
###% [+ V5 _- m/ G4 ~* y1 ?' f* q
write_SQL={
( A. l7 L: m, d: j 'host':'localhost',
& K% g1 j' n- Z2 P/ D 'post':'3306'," V d; s9 E3 E' n0 m
'user':'root',/ ^7 e- v' C+ e; y- Y0 {+ S. O3 |) [
'password':'123456',( c" a% c" G9 h$ s- t$ h, J) b
'db':'example',9 G9 ]9 ]# @! ^3 Q j
'table':'example' s9 g; s9 y4 f9 y4 h" p
}
0 Q r7 y9 _" k7 j# n2 y).run()
% @( N% ` c% I3 l, X4 l
3 W+ I& a" L* u8 S1 ]' ^- x. b- e第十种玩法:多线程爬虫
8 k. V: G% [ `) [2 V$ A特点:
% D+ r6 H% d& f6 A+ a+ }爬虫速度加快,
& h3 m. O+ t4 c6 i( h更好的利用了线程。
. t$ w0 a* C5 T9 W0 t1 u9 q
- B8 @1 `$ V" p4 X3 U" Z缺点:暂无
6 J! Y) ~. l; Q% D7 O1 l8 w5 N; \+ ^
:return None
5 G5 U$ W" S- ?9 k7 R8 q4 t$ b, O" [1 ?# [" ~( j
request.parse(0 A7 U& l) T/ f8 P& L e
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],# u: \& Q9 }! m" d6 Z P5 u
#login="taobao", V$ Y$ N2 z7 m" p! _
type_url = "text",
% J+ c% }% ^; K5 }- a" T9 A/ d Parsing = 'xpath',5 D. s( O4 |; M8 q
label = {0 _" |- G7 |2 |2 j) X, Q, c1 x
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
9 q& h6 G& K0 C; w+ q 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
( \0 i/ M* _! v' f 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]- D( b* L& F8 @' }2 b
},& ]( w8 A* a/ E1 Y" X" K/ L
write='result.txt',
4 R- W0 l' k) [ next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',6 \4 }) f$ k2 D3 [
page=[True,"now_url.txt"],% [) v' b$ J* B% ^+ `
#clean=True,- f4 S( o' ?5 B) {9 y2 @5 M' F$ c
texting=True,3 a% i% W" d- Q, M/ v: p) ?
# status="threads" 启用多线程爬虫! ~$ G, @' [4 Q/ ^/ q4 S
# Thread_num 为线程数目,默认为1 单线程
$ |1 ?0 R! M! X! R. R status="threads",1 e& V! M. R/ Y) Y: o4 N
Thread_num=3,1 m5 i+ n0 F2 `, D4 w7 s7 E' ^
###( f( H+ e- n) E
write_SQL={
# f5 Z, J0 I5 \( E# _% q F& F% j 'host':'localhost',
* ]* b$ T" _, j& H: w9 u: ~ 'post':'3306',
+ ^( k8 ?0 q* W, p H 'user':'root',
9 i, _& S7 ~; ~! Z, c: U4 F* B; d 'password':'123456',
7 K: r B0 @) p3 | 'db':'example',
3 z& W3 q2 g, G# } 'table':'example'- q4 \2 X- }7 q. x
}5 ] G$ N9 D: d, |7 h$ |3 r
).run()
8 X: E/ _/ A2 W. H i+ Z7 E8 k6 K
3 o$ M& V8 h M8 x; }! Z第十一种玩法:多进程爬虫. w/ E! z5 ~- h' R7 \2 J
特点:/ E# N0 h0 D+ I- J1 @* j# |
爬虫速度加快,
/ e$ \, I) \# X0 g8 [. e- F更好的利用了进程。
1 ^5 f' a6 C' Z
9 P0 n4 u8 s+ x& \ A/ S* M缺点:暂无$ c" C+ T1 p; D, l* r: h
3 C8 l8 ]# f! z& u _
:return None; |3 y3 N' D2 R- u8 ~2 [, R
: N1 q, ?, S5 W& v$ i" D
from simple_crawl import request: ]6 K* Z8 x4 R% D6 A- g7 g
request.parse(: L w% W6 \# ]' m" N# P7 @- x
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],! s3 h* k' c6 ?/ T* H6 H
#login="taobao",
; G5 K) y- _1 ^) J2 W) d' ` type_url = "text",
8 J9 @8 `5 j: h& O% ]# z Parsing = 'xpath',# A: @5 Q. D% z2 N& m
label = {8 h, W. h* P# {
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],7 {* e1 W4 l) r. d- s3 `% |& a
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
/ t! O1 y! g9 x2 X 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]! O' v. S' @0 s" k7 F) R" w
},
8 o6 [ Q. i3 r) [& x! w$ i' | write='result.txt',! u: |* a6 ]( J- H
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
( d! o, s [1 m2 z3 m. R% [ page=[True,"now_url.txt"],; F& i% q" v* l; v) Y" F' W
#clean=True,
3 @9 K' t+ L# K0 W4 Z texting=True,
/ L9 N$ v4 b% Z. j$ F7 ] # status="multiprocessing" 启用多进程爬虫0 b6 A/ a- Y8 E" Y0 n' a, n
# cpu_count 为启动代码核心数,默认为系统核数一半/ T p0 t/ g; I$ V* {
status="multiprocessing",
2 w9 P' [! M0 U( l" F cpu_count=2,
5 x/ h/ k+ b `2 R5 S" o0 E- M ###0 E, ]$ h2 C9 l" S* Z
write_SQL={
; W3 H c5 \- \( `/ n& n. m1 J 'host':'localhost',
, c3 H2 k9 c L/ }' f 'post':'3306',; L$ g8 f* N% ^& f. f7 T
'user':'root',
! a" O7 J% t7 q3 K 'password':'123456',
% ]- R) V# f4 G9 |, P" T) n' h# v 'db':'example',% c2 x- K8 g' [* a$ H
'table':'example'
+ j4 x9 P" l) a4 k4 M/ N }
, w3 E7 W/ n, l8 Y% S).run(): G2 @ T( u# B! A
) G" o( r8 m* A+ d8 f7 T
第十二种玩法:异步多线程爬虫
. r0 C& T3 l* o C特点:
, S- M# b7 E9 }& c" u& D4 c爬虫速度加快,$ h0 s1 `0 Y( t; o; S# B1 v
异步使得爬虫无等待时间,. d" Z/ D: T I3 m }4 F
同时使用多线程速度明显加快。
( r8 m8 J8 ^, E5 w7 r/ G- Q
, w7 a$ [- Q2 o缺点:暂无4 O* G$ A' `* ?( F5 U1 O
+ G$ L9 X, I+ ?- F t:return None
2 v$ p& D& [; k; J1 Y3 w8 J1 j' J" R1 _7 J1 j2 F8 L
from simple_crawl import request
/ D" c3 Z. C1 k* A+ A8 `; Urequest.parse(. S' t9 I4 D" X$ y9 \" L4 F
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
$ [. E" c6 A" K, G1 g: L H$ D #login="taobao",
" V, i% R* ^& l, a- \* F type_url = "text",
9 x9 [" W3 f; ?( a, a/ h Parsing = 'xpath',
. e) o7 |! e" g3 r6 ?6 G2 Z9 A label = {
: V" m3 _: ]# L3 N 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],! s) }2 e* t A; H2 w
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],5 ^2 r, \, G% t0 |
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
) v+ M$ s% x$ x- d3 S }, Q" ^0 f1 g: l: N
write='result.txt',( N& ^4 P6 K2 b2 ^$ Z: y6 A
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',4 ?- V T) D. ~5 p- G, f. o2 m
page=[True,"now_url.txt"],
1 }% M7 ?% P: _8 e1 t+ Q, [ #clean=True,
: V' u& [6 J- {. C texting=True,
, B i5 f: E; J' k1 s7 K j # sem 参数为异步引擎数目,默认为57 B0 y& q6 i" g2 ^* y3 r% G/ m: v
# 其他参数同上
: X! Q9 B2 B; F) |- S- M status="aiohttp",+ j# Z, p2 Z+ O" E4 D4 T
Thread_num=3,
( t8 j5 v2 G# e6 ^" Y, z sem=5,* _7 i- _0 t9 ?* [+ V' c# k
###2 R" |( E! N7 p# Q0 a9 P
write_SQL={. z, I! K; H3 ^. `
'host':'localhost',
5 _# ~+ h; y z1 s 'post':'3306',
# H z( ?& J7 D/ F! w4 G& \3 b 'user':'root',. L& ]" U; m4 X* Q" a' T, G
'password':'123456',
" S5 ]1 Q) T3 z% ~ 'db':'example',
9 a& z0 x2 G( S) C+ T& T8 m1 {1 G 'table':'example'/ v5 W! n9 G4 i( k
}' g* O$ c1 d: [
).run()4 Q/ K7 {9 }8 f# k/ X
n( t1 n% o; Y. \第十三种玩法:异步多进程爬虫
; B# t4 E$ c" Y0 a# w特点:% I7 Q) _6 y' N- ?2 ]
爬虫速度加快,( w( A G4 D, Q% Z5 h* m
异步使得爬虫无等待时间,/ C, p, \4 \1 f
同时使用多进程速度明显加快。
3 K# z" W" Q5 c* W
, p0 A g ?7 A2 k ]缺点:暂无* f8 {2 M0 ?. B! E9 a' }
8 i3 B& m, Y; }& S$ k
:return None
; { c& A7 J0 p$ h9 D1 l1 @& c. s h9 d' J1 q ^
from simple_crawl import request1 B: m/ Q! Z. m5 V
request.parse(
/ n% t" o) ?% p, V+ ?0 u url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
|+ e- ]6 E1 P9 w! b% o4 K4 Q+ ] #login="taobao",8 E. H9 S) o0 k0 M% Y
type_url = "text",. ~; B* {! [- g8 a' x: s, K
Parsing = 'xpath',6 C3 a8 w* b3 G( z9 D3 a/ ?
label = {
- U' x) S3 F" [ l 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str]," |6 ]9 P# W. g- ~; r. H& X- U
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],4 P6 z' {8 [4 |
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]2 ]+ D3 D6 v& [' f7 @
},' M5 ], ]$ r ~9 D
write='result.txt',
, f2 F1 u9 K& f: |5 t z next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
/ _* @- K! I) m7 T/ v page=[True,"now_url.txt"],2 } K: p5 Y, C4 E9 q
#clean=True,
) ?. I& S2 A4 b. w3 E: N: ] texting=True,
6 o& |# b5 M1 A; O P+ J' w5 l+ i # 参数如上6 T. Z0 X' h7 n/ k* p& k
status="between",
2 [2 I. W6 p9 Q7 u cpu_count=1,
/ T3 S& a7 U# x1 _- `( N, E sem=5,; L6 T* {& x, Y+ z
###
$ e7 I3 o- D# T% Q write_SQL={" b+ Y2 T9 R4 c* d }0 ?. t
'host':'localhost',
7 \# Y9 J: o- u" V1 I# V* ]& X 'post':'3306',
7 s! V/ q9 V2 @3 f) i) J) ^4 x: T 'user':'root',/ X! k5 O& C ~' O z- T
'password':'123456',, b$ v/ H& b4 {; S' ?$ M" a( ^
'db':'example',
" X' |% n; Q/ Y4 N7 ]) ] 'table':'example'
& I* s( G/ p3 F& {4 _: P3 O }5 D0 u7 W! ^ T7 h# Q7 ^
).run()" L5 T. A6 U" l" x3 F8 J
& R( Q0 F. c1 V$ L
4 \1 q: S/ A5 Z" q+ f# k5 @3 k
功能介绍完毕🤞
4 c9 o4 O, p$ ?# M, u2 m8 W' K最后还是希望你们能给我点一波小小的关注。
, F N8 C& ]1 L2 }奉上自己诚挚的爱心💖" _% j% ~7 B: Z! w
————————————————
) I, Z- @( q; l9 `/ u版权声明:本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。( g8 S+ p* O- r* J
原文链接:https://blog.csdn.net/qq_45414559/article/details/106005684
" k6 {- [# V! s3 G3 i+ N( s
* d. p+ q! P% @
7 {# V* x4 t& J0 C6 g: w( P |
zan
|