数学建模社区-数学中国

标题: Python 迭代器、生成器 [打印本页]

作者: zhangtt123    时间: 2020-6-16 10:18
标题: Python 迭代器、生成器
一、可迭代对象
( l) u" J/ u7 c7 M字面意思:
7 P$ {% v0 z/ g' x! l) @对象:Python 中一切皆为对象(巧了 Java 也是(手动滑稽))1 f& O3 @+ Z2 L
可迭代:可更新迭代,重复、循环的一个过程,每次更新迭代都会获得新的内容
1 N$ Q- \2 x4 _# Y专业角度:内部含有 '__iter__‘ 方法的对象& z& G2 Q9 c8 `2 ?3 u2 b6 g9 u4 h
目前学过的可迭代对象:str、list、tuple、dict、set、range、文件句柄等
% L1 @% |7 d# q) z判断一个对象是否是可迭代对象:看是否有 '__iter__' 方法,dir() 可以获取一个对象的所有方法;或者使用 isinstance(object, collections.iterable) 来判断对象是否是可迭代对象的一个实例& }3 v! o# _0 J4 k9 K: U
* F2 [. t% P; U$ q5 |
' b- I& u# o# n; ?7 y, b9 M* N8 J
优点:
& L. Y+ D8 x. [6 v" z" S$ k/ Q! S存储的数据直接能显示,比较直观:比如直接 print 一个可迭代对象,就会调用 __str__ 方法(相当于 Java 中的 toString),把可迭代对象的值打印出来
- ]4 E/ h4 s( y3 C( c拥有较多的方法,操作方便:增删查改等
: H5 n1 a8 d9 E. |9 X/ S' C, `8 X+ S缺点:
- |' p2 z( B4 r% p占用内存:一旦创建了一个可迭代对象,就会将该对象的内容全部加载到内存中0 c5 u6 _7 X5 C$ \
不能直接通过 for 循环,不能直接取值(通过索引、key等)。诸如通过 for i in iterable 这种形式获取元素实际上也是调用了 __iter__ 方法先将可迭代对象转换成迭代器再进行获取# x- o3 P3 O- N+ y) N0 _% P
二、迭代器" K+ {2 K. H% u2 `, \' i! I
字面意思:器,工具,迭代器也就是可以一直更新迭代取值的工具
7 X- Q2 j. l: f. f' u4 [8 ^专业角度:内部含有 __iter__ 方法且含有 __next__ 方法的对象就是迭代器;或者使用 isinstance(object, collections.iterator) 来判断对象是否是可迭代对象的一个实例
# t6 x# \! M) i4 @# l7 v* P8 p把一个可迭代对象转换成迭代器:使用 iter() 方法或使用对象的 __iter__ 方法
# Y- L- {! {" H) }
4 y/ t# z. M1 |6 W7 y迭代器取值:使用 next() 方法或对象的 __next__ 方法;当迭代器的值去玩了继续取,就会报StopIteration异常,所以一般使用迭代器需要做异常处理$ u# i  Y% ~1 c2 r+ C
/ E! l( S! t1 z. n2 f
优点/ F* d7 Q* Q" u' b, d4 S! [7 d
节省内存:迭代器并不会一次性将对象的值全部加载到内存中,而是需要时才加载(类似 sed)' }0 ~; [8 ~% v- T/ ~3 y4 Q- @* E9 f  G
惰性机制:next 一次只取一个值,绝对不多取8 c+ u  v9 d$ w. l, U7 X0 ^
缺点:
0 u& q, G2 Z6 z- A. T  E速度慢:需要一直 next
: f* f6 ?: X/ \7 l  ^不能回头:只能一直往下取值,取过的值没保存就没了`) L1 V) h# J( x$ Q# E5 v8 z
不能直观的看到里面的数据
) I* R; [  H1 Y' h$ s4 W三、可迭代对象与迭代器对比, {4 Y; U  Y* h- K' F* |
可迭代对象:
! u: ~4 o$ t8 V) I8 I私有方法多,操作灵活(比如列表,字典的增删改查,字符串的常用操作方法等)
( _, {+ c2 ]" x' s& N* {2 S直观,可以直接看到里面的数据
4 X: h% g" p$ V  d9 k占用内存
! l/ T3 ?! U$ l  {不能直接通过循环迭代取值2 ~5 @- g- K& d1 ?
应用:当你侧重于对于数据可以灵活处理,并且内存空间足够,将数据集设置为可迭代对象是明确的选择9 B( \- @- F6 c( D+ ^
迭代器:
& Y# x( U- a' [  h) X+ o! y6 H节省内存,按需取值# H' U! q1 W) \: m# H
可以直接通过循环迭代取值+ L4 i2 F' J. l% u$ k% t6 S0 [  t
数据不直观,操作方法单一  _3 E  y- S. h
应用:当你的数据量过大,大到足以撑爆你的内存或者你以节省内存为首选因素时,将数据集设置为迭代器是一个不错的选择
2 z/ z3 t. S/ o: T四、生成器
1 d& {: `' U$ ]5 b  l/ ^7 c; A生成器的本质就是迭代器,唯一的区别是生成器是我们自己用代码构建的数据结构,迭代器是 Python 提供的,或者通过可迭代对象转化得来的9 |: E# @1 u* W  d1 j' v8 K

1 U/ @% z0 o% t) W定义生成器的方式:
( P8 @$ T* F( |, Z) q" R; x+ s9 w通过生成器函数构建生成器
! C2 a" R3 r% U6 Y( z& k5 p% o 111.png & E2 M8 c- k) i# `1 ^! U# ~8 |

+ t; @* O2 x* y5 X' E; {5 Y- r& [( O- o0 N
这就是最简单的生成器函数。实际上这个 yield 就替代了 return,不仅将函数变成了生成器函数,还会将后面的值在调用 __next__ 的时候返回出来
6 r* H! Z5 G2 Z* w8 Z! l
) \, @, ]( Q9 ~( M1 v也可以在一个函数里定义多个 yield
5 N/ \# P% `4 ^; O& k( w$ k1 Z. {, y$ G. r1 P* s: I( Z, o
之前说过,生成器本质上还是迭代器,一个 yield 对应一个 next,当 next 的数量超过了 yield,就会报 StopIteration
7 K& i* L' h5 ?0 L# d9 _; v- I0 E, e2 h
yield 与 return 的区别+ K: t/ ?1 d. L+ Y. b
. y# I6 v) K  t$ J6 q4 f
return一般在函数中只设置一个,他的作用是终止函数,并且给函数的执行者返回值
; v4 Q! K0 @; K0 a1 Pyield在生成器函数中可设置多个,他并不会终止函数,next会获取对应yield生成的元素
& r3 T  b) s8 K应用举例:+ F! H' t( D1 t; E% b
% e2 {1 ]3 j& w: Z' l1 b# h0 A
买 5000 个包子,假设这个老板很厉害,一下子就把 5000 个包子做出来卖给我们,可是我们只有 5 个人,一下子吃不完,那包子就会冷掉、臭掉、被丢掉浪费了
) @, |% r  z0 q, { 222.png
( B$ H0 g% Y0 T5 L" d% j/ O* p3 ?6 I, q9 p  H
如果这个老板可以在我们需要多少个包子就做出来多少个包子的话,这样做出来的包子就不会被浪费了(比如我们每个人一口气能吃 40 个包子,那每次就做 200 个包子):
' v$ C' s5 c% C& z0 e 3333.png 3 p* `) m0 o: _* O

, a5 y# W- M5 N3 i. O除了 使用 next() 触发 yield 之外,生成器还有一种方法 send(),这个方法可以在调用 yield 的同时传值给生成器内部$ H" y. H9 ~3 `: l9 e/ ?
3 X9 u/ E7 q  C. U
可以看到在使用 next() 的时候,只能获取到 yield 的值,但不能传递值% W  {, B, K: t2 I1 X+ Q
0 R  r% p3 L4 T8 u7 t
在使用 send() 的时候,可以将参数传入生成器中使用
6 M4 R* C% u# p- |( p& R( U8 L0 b+ S# ^# n
需要注意的是第一次不能直接调用 send() 传参,因为每次调用生成器的时候,实际上只会返回 yield 后面的内容,然后生成器就停止了(睡眠了?),而 send() 传入的参数要通过 yield 传入生成器中(每次调用生成器在 yield 停止,然后在 yield 恢复继续允许),第一次调用并没有 yield 给我们传入参数,可以使用 send(None),可以打断点自己分析一下) s9 W3 \5 g/ p

  Q. o! e7 E1 E1 v5 ayield 会将它后面跟着的对象直接返回,如果它后面跟着的是可迭代对象,也可以使用 yield from 将这个可迭代对象变成迭代器返回
7 \' {2 p3 V( N3 h& ]5 y7 t' I# C: b- }. J  s+ d  p: X7 [

" l; Y; e  ]2 byield from 是将列表中的每一个元素返回,所以写两个 yield from 并不会有交替执行的效果
; D: B) t2 e9 B$ ?  G+ K5 t: ]5 N3 [; |1 f2 ^9 m9 O7 z
, ^3 @1 ?+ p, m4 {  C- X

, b/ b4 R* {7 T# d9 S通过推导式构建生成器
$ c( M, P- z) r; X列表推导式:# A: s$ v; T, ?" h7 |6 t" I4 G

4 I) a9 c$ U2 F; h1 j. J$ I3 ~生成器表达式:和列表推导式差不多,把 [] 改成 () 即可$ E5 u1 C" X9 M- y- X
8 {% I% z; M; o+ n: x
/ p6 @- D/ d: {
列表推导式和生成器推导式的区别:% }* h+ e6 m% V& Q; d

- V9 f; L' D1 C. o/ z( e& Z' X8 j2 M列表推导式比较耗内存,所有数据一次性加载到内存;而生成器表达式遵循迭代器协议,逐个产生元素: N- S! g- O+ E
得到的值不一样:列表推导式得到的是一个列表;生成器表达式获取的是一个生成器
9 a8 d# X: K7 ~8 i6 F4 m2 @列表推导式一目了然,生成器表达式只是一个内存地址
# E6 S$ x/ l8 i( s————————————————) i  g5 z9 W8 ?, p
版权声明:本文为CSDN博主「阿玮d博客」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。* E4 B: R; k, j6 {* j/ f
原文链接:https://blog.csdn.net/weixin_42511320/article/details/105676143
: m" ], @; I% s" D
+ I! W: ^5 A% L- E) ^( V) D3 L( i# v. d

作者: dwadasd    时间: 2020-6-24 20:40
多谢大神分享
- Y- {2 f) ?: x# N2 M
作者: dwadasd    时间: 2020-6-24 20:41
太好了太好了/ l0 j& H5 V0 C" p





欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5