QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 4783|回复: 0
打印 上一主题 下一主题

爬虫(六十九)简明 jieba 中文分词教程(六十)

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-31 10:40 |只看该作者 |正序浏览
    |招呼Ta 关注Ta
    爬虫(六十九)简明 jieba 中文分词教程(六十)
    # d) a- ^1 H  H6 a& {) `) j6 \0 {, E: N! Q5 V$ D# [7 n
    0 引言

    jieba 是目前最好的 Python 中文分词组件,它主要有以下 3 种特性:

    • 支持 3 种分词模式:精确模式、全模式、搜索引擎模式

    • 支持繁体分词

    • 支持自定义词典


      5 B) ]8 b: b* `% y7 {( I0 R& q* A
    • ! d6 ^9 D8 p: X  R' D3 ]" `

      0 p4 h- A2 j+ V. ?$ G! X# 导入 jieba
      ! {. Z5 m2 G4 x8 ]0 @

      7 ~8 T# G" e" z4 k' e5 b
    • 7 {& l+ v  H, U* _' ~7 D
      3 q+ z$ d+ l0 \5 \
      import jieba
      2 q, a+ s7 {* J( ~( R

      , r3 V: c1 `) l+ j7 z5 q+ y

    • % X7 r/ M' K. f( a, V, k
      $ D" h; ^2 {9 g2 F
      import jieba.posseg as pseg #词性标注
      & _- \) r# v" y3 N# v2 N9 j

      4 s! S9 ]1 I1 s! F
    • 7 A+ Z4 P+ o; \# Q9 H
      2 D/ e! i& ^6 S: x# Z' d: S& J) J
      import jieba.analyse as anls #关键词提取& f+ ~- X9 U& H9 n

      & Q5 s* q, L' }. O1 h1 k. ]/ }: U+ l! E8 h2 `; T0 R

    1 分词! j* \5 i. j5 _7 Z
    可使用 jieba.cut 和 jieba.cut_for_search 方法进行分词,两者所返回的结构都是一个可迭代的 generator,可使用 for 循环来获得分词后得到的每一个词语(unicode),或者直接使用 jieba.lcut 以及 jieba.lcut_for_search 直接返回 list。其中:0 {+ f- W5 }1 q: ?( ~6 V

    • jieba.cut 和 jieba.lcut 接受 3 个参数:

      ; F: c" ^2 ^; j" T( i
      • 需要分词的字符串(unicode 或 UTF-8 字符串、GBK 字符串)

      • cut_all 参数:是否使用全模式,默认值为 False

      • HMM 参数:用来控制是否使用 HMM 模型,默认值为 True

        . v; y" F+ ^$ `+ [
    • jieba.cut_for_search 和 jieba.lcut_for_search 接受 2 个参数:


      " X# A* y* q- o, l
      • 需要分词的字符串(unicode 或 UTF-8 字符串、GBK 字符串)

      • HMM 参数:用来控制是否使用 HMM 模型,默认值为 True

        3 a" H/ x" L+ s. Z* I2 I

    # 尽量不要使用 GBK 字符串,可能无法预料地错误解码成 UTF-84 f1 v% f) j( @5 d2 B: r) Y
    1.1 全模式和精确模式1 C" t; I& g- A0 A

    / |; j. o. I( i' ]


    • 3 ~+ o) m$ g3 x0 f
      % Z0 k' ?* F' n$ N% Y* u  X
      # 全模式- `# i( \9 Q/ p
      ) l) d- ~3 g! K. E% U: E

    • & e2 e7 m! x( G4 j/ B' _* h

      ; N. l9 i7 Q' W. Z; F  V. Oseg_list = jieba.cut("他来到上海交通大学", cut_all=True)3 S0 x" j" f8 E) o  L3 v' g
      - _. }8 c! d/ M7 R( ^

    • / e6 ?$ |* \8 X9 |' }( U& ]

      2 `2 n" B+ q8 ]& E# ^print("【全模式】:" + "/ ".join(seg_list))  
      ) h: a6 x1 D9 d
      9 D6 X4 J9 i2 n# J2 b) Z

      2 m3 j, j: \! f0 i# P* Z, j/ }

    【全模式】:他/ 来到/ 上海/ 上海交通大学/ 交通/ 大学


    • 1 n7 x1 w; D# {: }

      3 o/ u/ r  c. w9 {: X+ e# 精确模式
      ! Y* l  a+ o2 `. H, P
      8 R$ w2 W' N  n. W$ k
    • 7 T& O& g. o8 d9 s/ Q
      8 o3 g) z6 q6 L% x' R
      seg_list = jieba.cut("他来到上海交通大学", cut_all=False)
      / ]5 |: v+ X$ ^$ I! i

      + {3 t8 z) T* T" r

    • * C" T% u) I% K' Q; [
        [% D" |2 ?7 _; A; a8 M
      print("【精确模式】:" + "/ ".join(seg_list))/ H# y3 g9 a4 G

      8 ]9 T; @9 _; u) ~5 J; \
      + ^2 U! J/ @( ?( d

    【精确模式】:他/ 来到/ 上海交通大学

    type(seg_list)

    generator

    • ; [8 D0 C; ]0 H
      $ J8 ~( |5 V! x% ]8 U5 Y. a$ I$ w/ v
      # 返回列表3 k, R: e& _9 m: m0 B, m- ?! ]
      1 D7 Y5 O# r) Y  x8 m( z

    • - O# f4 b* R" V' l4 W  X' e+ d: |. p, O) T
      $ X- M7 G2 {: z% Q" H
      seg_list = jieba.lcut("他来到上海交通大学", cut_all=True)2 C; Y4 L* d) |9 i9 n

      4 _/ H) N. b- O& }% O7 P

    • . j$ @2 O" Q, \* j, x8 B4 m2 |

      1 v& ^2 O1 N) }# G% j( B$ l5 t+ c2 Eprint("【返回列表】:{0}".format(seg_list))" X3 h. z; z) E9 [

      3 H* ], f+ {) d
      4 W5 |: G' H' w4 ~6 W9 d

    【返回列表】:['他', '来到', '上海', '上海交通大学', '交通', '大学']

    type(seg_list)

    list

    1.2 搜索引擎模式

    • ! m9 \2 Z6 Z# k# ]7 W1 ~# V5 z

      # p# a9 {4 w  v2 T# 搜索引擎模式
      0 s7 ]% Q: h0 C
      ( ?% b, K/ |" [( F1 m& Q
    • # ^! p8 g* t& F2 Z5 i/ p

      4 C& U+ K2 j* U5 O2 Fseg_list = jieba.cut_for_search("他毕业于上海交通大学机电系,后来在一机部上海电器科学研究所工作")1 Q4 c, U3 n5 @* R7 a* X

      5 ~. R- \" U0 t( M4 r# ^

    • $ A; R$ Z( O3 c! U
      3 d/ ?/ ?# U1 o
      print("【搜索引擎模式】:" + "/ ".join(seg_list))2 x) B, G  n+ |7 ]" v' @& |7 S
      ) j2 {  Q, G% u! `
      - u1 Y9 C/ y3 }) R

    【搜索引擎模式】:他/ 毕业/ 于/ 上海/ 交通/ 大学/ 上海交通大学/ 机电/ 系/ ,/ 后来/ 在/ 一机部/ 上海/ 电器/ 科学/ 研究/ 研究所/ 工作

    • 3 U6 ~1 {+ ~) g9 @, a

      0 m9 b2 |( {0 K- u: x# 返回列表
      0 P! }& w8 ]: h* l. A

      , ~: @+ G5 ]+ F5 r+ N
    • 2 h# o8 X) ]3 |* F8 H  a
      1 C% `, _1 j! J  Q0 q
      seg_list = jieba.lcut_for_search("他毕业于上海交通大学机电系,后来在一机部上海电器科学研究所工作")9 D' [5 b: ]' n+ I; q5 ~. [6 |
      5 E  l" v6 d+ _7 w  A8 K
    • 2 G  l+ \. Y9 G- C  ?/ N
      ' _9 w% W) g/ ^3 s  x: r% v! ~
      print("【返回列表】:{0}".format(seg_list))
        x* R( Y2 n* V4 S, q

      ; ~% L4 Y( F% ?6 K2 h: F9 d5 u5 Y  ?' y# m

    【返回列表】:['他', '毕业', '于', '上海', '交通', '大学', '上海交通大学', '机电', '系', ',', '后来', '在', '一机部', '上海', '电器', '科学', '研究', '研究所', '工作']& M6 H+ H7 X' J4 K
    / \1 N' i9 V; f0 }1 Y! {$ s
    1.3 HMM 模型! p  x( a9 z: i6 K0 M8 q
    HMM 模型,即隐马尔可夫模型(Hidden Markov Model, HMM),是一种基于概率的统计分析模型,用来描述一个系统隐性状态的转移和隐性状态的表现概率。在 jieba 中,对于未登录到词库的词,使用了基于汉字成词能力的 HMM 模型和 Viterbi 算法,其大致原理是:
    ! d1 K2 B, u7 j' |采用四个隐含状态,分别表示为单字成词,词组的开头,词组的中间,词组的结尾。通过标注好的分词训练集,可以得到 HMM 的各个参数,然后使用 Viterbi 算法来解释测试集,得到分词结果。
    % p+ V/ F/ A: W
    2 r2 m5 Y9 s/ Q# 代码实现可参考 HmmSeg.py
    ' _; {8 d. }1 L. ~, M2 r& i, \5 x" N% ?  C

    •   g( |! X( E3 ?; l
      : U2 J5 v8 p: T* s" R
      # 未启用 HMM
      8 L( @( n% ]8 W( O3 o

      . q4 n8 v) M8 k
    • 6 R2 h! w# V2 w" E5 y% F; e
      8 R( {1 \2 \# m  Y
      seg_list = jieba.cut("他来到了网易杭研大厦", HMM=False) #默认精确模式和启用 HMM+ F* C- P) ^7 _$ E9 l& d4 ]( E' W: k

      . l  |7 p% I# [/ Q, U* \

    • # C+ p, J3 r/ R# I
      + ?2 F/ L+ z5 _# N2 h1 b" n
      print("【未启用 HMM】:" + "/ ".join(seg_list))9 t2 b; H6 N) n/ F

      / {! v4 E  M" R. z+ e: N' P7 V: S* U  M" F9 B. B# ^( k6 ?

    【未启用 HMM】:他/ 来到/ 了/ 网易/ 杭/ 研/ 大厦

    • # Z  D+ P' {. i# P) x6 e1 k3 Z

      2 r& U0 n& n4 a' ]3 O; ^# 识别新词: I7 t2 ~. s: n

      ; M4 \# Z0 `0 r' W! u* `/ d& r
    • 0 ~: }+ R0 L/ f' [
      6 {" d0 I, i( S: |  }; w- K/ e1 W& |9 S
      seg_list = jieba.cut("他来到了网易杭研大厦") #默认精确模式和启用 HMM1 U( q$ i. Y5 G, ]2 R

      ! ?/ S! [! T( E. T4 o% a

    • 9 x3 F3 f" W% _. r& t- I- [
      / t4 O/ G3 `0 n" W, z6 r' x  z1 p; m
      print("【识别新词】:" + "/ ".join(seg_list))/ l4 [" |9 }9 [2 a3 i; K/ }5 l2 [

      8 _' z4 s4 Y6 T3 E/ h! o# e
      ; E; d) i: l; ^  D7 n3 t

    【识别新词】:他/ 来到/ 了/ 网易/ 杭研/ 大厦

    2 繁体字分词

    jieba 还支持对繁体字进行分词。


    • # D7 a; F& @5 f
      9 E7 P3 T# V% V$ ~4 t# ]6 q
      # 繁体字文本
      8 I! ^" Y9 Y, L

      2 \2 \/ r+ ?# F4 x1 s) s' L

    • ( ?5 v: P/ D4 E" ?9 y

      $ \# o+ ~& g1 l& R# _, h  xft_text = """人生易老天難老 歲歲重陽 今又重陽 戰地黃花分外香 壹年壹度秋風勁 不似春光 勝似春光 寥廓江天萬裏霜 """$ ]: I7 }/ M& Y7 u# J

      ) P: F: P. i. ^% o! y

    • 1 _% K- a) v. `- c- s) T: t
      - \5 r5 ?- t" f; p
      # 全模式
      $ E6 Q$ M" {& a  z

      ( Z0 v% U0 v& U* c0 K; t

    • # h' I- N  n6 X0 j3 L

      6 D' U) y9 }" ~: U+ f, f  Kprint("【全模式】:" + "/ ".join(jieba.cut(ft_text, cut_all=True)))
      & Q5 n0 _1 z4 q' B0 j* z( p
      $ a9 k4 x8 T: [5 |

      8 c& N& A, }4 B5 r8 m) s

    【全模式】:人生/ 易/ 老天/ 難/ 老/ / / 歲/ 歲/ 重/ 陽/ / / 今/ 又/ 重/ 陽/ / / 戰/ 地/ 黃/ 花/ 分外/ 香/ / / 壹年/ 壹/ 度/ 秋/ 風/ 勁/ / / 不似/ 春光/ / / 勝/ 似/ 春光/ / / 寥廓/ 江天/ 萬/ 裏/ 霜/ /1 O) C4 ~7 o: L3 q! P

    • ! g5 x# ~/ Y' b* B

      ) m. q, |2 I* @0 }4 g8 o# 精确模式9 E' x2 c  w; H, X2 f) N
      6 K6 d  n: F" Q0 ~' Y  o
    • 6 s. w% [! F0 H* e, o
      % C* [" B0 I+ m2 u/ j: [8 V
      print("【精确模式】:" + "/ ".join(jieba.cut(ft_text, cut_all=False)))
      , ]. {5 h$ E/ T) Y% r

      ( f& H. D- k( g0 g% t5 P- S' P3 m3 q9 Q$ p1 h8 \- E: B

    【精确模式】:人生/ 易/ 老天/ 難老/ / 歲/ 歲/ 重陽/ / 今/ 又/ 重陽/ / 戰地/ 黃/ 花/ 分外/ 香/ / 壹年/ 壹度/ 秋風勁/ / 不/ 似/ 春光/ / 勝似/ 春光/ / 寥廓/ 江天/ 萬/ 裏/ 霜/
    2 H. i+ A) y# m3 k7 E8 x; [0 U6 v9 K
    3 C& u8 ~8 L$ L  Q5 I  ?- S

    • . J6 @4 X6 n% y/ b# Z8 h. m. }
      ' `+ s* l# ?% ]! I
      # 搜索引擎模式+ V5 B! ^. g% l3 t( n3 i
      $ _- c$ m/ s- _; [
    • 1 k+ T: d9 ~2 N8 X
      ; ^  J% z( j, v+ I+ \
      print("【搜索引擎模式】:" + "/ ".join(jieba.cut_for_search(ft_text)))
      # r, b7 M( a& s5 E% g3 a4 D/ g

      / ~) u, z0 L2 u  r- J" `
      % `7 z& }$ {" X+ I. r+ o3 w

    搜索引擎模式】:人生/ 易/ 老天/ 難老/ / 歲/ 歲/ 重陽/ / 今/ 又/ 重陽/ / 戰地/ 黃/ 花/ 分外/ 香/ / 壹年/ 壹度/ 秋風勁/ / 不/ 似/ 春光/ / 勝似/ 春光/ / 寥廓/ 江天/ 萬/ 裏/ 霜/2 b# i6 b. q5 Y: Z7 O- V

    5 G" W' `8 N+ L0 `3 添加自定义词典! |# E6 T' c+ _4 a& j+ p/ l
    开发者可以指定自定义词典,以便包含 jieba 词库里没有的词,词典格式如下:' [; C( q& X$ W% v3 I0 B" B
    词语 词频(可省略) 词性(可省略)
    0 J% I% F$ W$ @$ L6 y  d% n$ S6 m2 M8 ^2 Y$ u: f) |* V& w. t7 C
    例如:
      T& C, `% i) q) J4 ^0 H( F1 Z6 K; z: S9 r& p
    ( q9 y5 w: C( K; {

    • 2 H: |7 L7 ?3 h( r. z, c
      ! w  ^5 R( L! n2 c7 ]8 a: e, N
      创新办 3 i( ]1 ~+ K) f/ n" O. d  O( E2 D; K

      " {4 _! M/ K- C4 n- G& H

    • : N+ X0 _' @) V) P

      1 W( ?; C9 ?1 ~% H/ @! [  T云计算 5
      % S& \9 }: R: w

      ! }' B; _/ u& ?6 \6 M
    • 9 Z* U2 ^  M% @

      6 `% i  f4 [% G) I# b( r/ _4 j; @凱特琳 nz7 C% \( X' y' {: L$ M
      ! V' u; m3 [9 b' a8 w

      : u7 W6 }- l6 ^! I3 G

    # 虽然 jieba 有新词识别能力,但自行添加新词可以保证更高的正确率。: A) e2 |$ H; n4 J6 Q! }0 x5 Z
    3.1 载入词典9 s/ {& e2 p- c" ^2 p* y, [
    使用 jieba.load_userdict(file_name) 即可载入词典。2 |, f, F; |  O
    # file_name 为文件类对象或自定义词典的路径
    1 L( v: o/ `) ~* p6 j. b
    # N6 F! R: w" T# n
    $ ^: ~* i5 {1 c# q) @' F2 ?- b: h6 @' ~

    • - O2 P( c; t- Q% c
      8 O0 a* |3 U6 }* N* X1 r
      # 示例文本! R1 }& f  o0 A
      % v4 z! Z6 s# p9 ?- N1 a6 n9 n
    • 0 \/ l3 Y* X) Y6 X
      2 V' l3 m% c+ I; v  `
      sample_text = "周大福是创新办主任也是云计算方面的专家"
      % Q5 t" K  x1 Z9 X/ M

        N4 E' S3 I0 A6 D8 z

    • , l1 w& O: W0 h& W) S  J

      % p4 _4 I4 X; x1 q! ^
      ; l- T7 }' g, a, ^6 G( d

        F% x6 C: f( Y% v

    • " P+ d  |5 K: q. i7 T* r

      6 r# F- ~7 \- l: J% M# 未加载词典
      7 u6 S2 O& D& E0 o
      6 [+ s/ \* Q5 G" T; W
    • & F6 u+ ^5 |# O4 z. D8 D6 r+ \  s
      + D; t, y5 v8 O  ?
      print("【未加载词典】:" + '/ '.join(jieba.cut(sample_text)))
      7 `. o& z' n/ J2 P1 j* s
      ( B! G" h  H" t0 m

      ) z' \  i+ E& `" ?

    【未加载词典】:周大福/ 是/ 创新/ 办/ 主任/ 也/ 是/ 云/ 计算/ 方面/ 的/ 专家

    【加载词典后】:周大福/ 是/ 创新办/ 主任/ 也/ 是/ 云计算/ 方面/ 的/ 专家1 R" A- l- c8 l, Y

    ! Z& p2 l$ F* f5 `; j) [3.2 调整词典1 k$ H$ X! Q4 m7 J( Q
    使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。" Z+ c* j, O0 N% ]; \6 u' ^. i
    ; C# y0 e) z! \1 A9 a; N' w
    , u5 B; O: E, P9 [0 a: ^2 R: W' Z


    • ! ^- }4 @& l' ^9 V( K  z9 ^
      : f# V# y: B/ ~9 q" c. q9 @1 |9 H
      jieba.add_word('石墨烯') #增加自定义词语
      & p5 d0 [* |* A/ ?* U: s

      . n% I) ?& L2 Z1 w# c# I  z

    • $ U; x5 k' g. U, ?3 U
      " f  ^9 E( `1 f
      jieba.add_word('凱特琳', freq=42, tag='nz') #设置词频和词性
      ! f4 c: u) g$ D! K  x9 j; ]
      5 ~4 ~9 {2 [( p( S

    • 1 D  o  j7 T9 Q8 F

      # f* P) {, E5 V7 Q1 y9 j7 y5 wjieba.del_word('自定义词') #删除自定义词语" k+ I- F% s  f5 F" B8 w9 U1 Y: R# O

      3 J# U$ O8 H* e: `
      : g" P4 N8 G* @# N% W3 K

    使用suggest_freq(segment, tune=True)可调节单个词语的词频,使其能(或不能)被分出来


    • / e# h$ Q1 P5 O5 g7 h, @; a2 C& n
      . o3 E) I! \  b
      # 调节词频前
      $ ]% }- l( y/ V8 a
      / l* @3 [& c* N: f- M% E8 h
    • . ]& O: v4 Z+ N7 q; f8 {2 ^* a
      ; ^" S1 Z7 Y' r9 P& n6 _) W
      print("【调节词频前】:" + '/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))% U' r. J2 {8 @4 X( b) v7 M) l
      * {; N/ i7 D* B1 c  {! W

      # D# l+ H  `: P" n, z0 @

    【调节词频前】:如果/放到/post/中将/出错/。

    • 3 [9 s+ d2 O. s+ {( D$ Q
      6 l9 c3 m4 O! K8 E
      # 调节词频
      - x* E  \7 }6 d7 }, o8 J% H- k. e- X' m
      / l/ ?; G: u6 v& [$ a
    • 2 l# }" |; ?" U5 a

      : e6 w; k+ ?3 z9 J2 S# xjieba.suggest_freq(('中', '将'), True)
      : o) M- p( {6 Q. @9 l, ^9 `
      7 X( [6 W) U3 ?: J; T, d3 l

      - q2 d- z0 S; M6 {

    494

    • - \/ z& O% E# S! u, R* z
      # B7 m- f# G7 z- M* m
      # 调节词频后
      , r0 ~$ B9 e' B$ W1 j

        d1 j2 l2 N" X

    • # k) E! _! D0 a$ S" m; R

      & X+ b$ e6 j( L2 h3 Nprint("【调节词频后】:" + '/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
      8 [/ g  a5 F, o7 `

      ! W# @. g: i- Z; f1 T- M$ O) q; P: Q; L  @9 y

    【调节词频后】:如果/放到/post/中/将/出错/。
    5 A; Y9 r! Q( O( z7 J+ u# P8 u: R9 ~5 `& t$ |3 X
    4 关键词提取
    ! l' r5 `! x( R( S0 M- ajieba 提供了两种关键词提取方法,分别基于 TF-IDF 算法和 TextRank 算法。
    4 E: D$ |" B5 r4 A2 D! b3 Q* _4.1 基于 TF-IDF 算法的关键词提取
    3 W$ M# d. E) X3 X& B4 F6 lTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种统计方法,用以评估一个词语对于一个文件集或一个语料库中的一份文件的重要程度,其原理可概括为:! N) Q) U# e2 k& [9 C
    一个词语在一篇文章中出现次数越多,同时在所有文档中出现次数越少,越能够代表该文章3 m' E  O: ~" T. `' y

    $ r6 P1 [  ^4 W" @5 M计算公式:TF-IDF = TF * IDF,其中:+ U  L3 k/ i2 e! U9 M

    • TF(term frequency, TF):词频,某一个给定的词语在该文件中出现的次数,计算公式:; y' u" K- E  D# Q
      , T& A5 ?$ N; A
      ( h8 @* T4 c9 a3 Y


      $ u/ c, g- b8 w2 c" G  Q
    • IDF(inverse document frequency, IDF):逆文件频率,如果包含词条的文件越少,则说明词条具有很好的类别区分能力,计算公式:
      8 W" _3 B6 i! K1 K9 p/ O  [0 Y/ u" c. r5 x
      ) \1 o, L! e/ E, `( Q5 _

      # P9 s+ Z2 ?- }

    通过 jieba.analyse.extract_tags 方法可以基于 TF-IDF 算法进行关键词提取,该方法共有 4 个参数:6 Y1 @2 L. Y: w& d

    • sentence:为待提取的文本

    • topK:为返回几个 TF/IDF 权重最大的关键词,默认值为 20

    • withWeight:是否一并返回关键词权重值,默认值为 False

    • allowPOS:仅包括指定词性的词,默认值为空


      # s% J* _0 }0 Y

    • . D$ O( ]$ c& f& x2 }$ B

      % C  n$ W$ g4 q; n+ U& l) Us = "此外,公司拟对全资子公司吉林欧亚置业有限公司增资4.3亿元,增资后,吉林欧亚置业注册资本由7000万元增加到5亿元。吉林欧亚置业主要经营范围为房地产开发及百货零售等业务。目前在建吉林欧亚城市商业综合体项目。2013年,实现营业收入0万元,实现净利润-139.13万元。"
      # V, ?' t* ?5 ^
      ; x4 A& f1 ]1 o' k" u3 r& |9 n% J
    • 9 h* c6 t! `' U$ ^3 }6 Z

      ; t  l* _8 F; x$ S+ Afor x, w in anls.extract_tags(s, topK=20, withWeight=True):
      9 x3 Z/ K" a9 q, ?/ F
      & G( i7 [1 l' @1 ~/ f3 G2 H3 w( k

    • . j! a1 Q) `$ N$ p9 \; g4 T+ |% P* k( \
      * g% @8 {9 ?5 ?5 s8 z: o
          print('%s %s' % (x, w))
      5 t) {1 ^( d; o0 E& H
      2 _8 A8 T# F  t5 P; B

      # {' `7 f8 `' P1 [. v* ]

    欧亚 0.73001427002893635 X& ]0 Z& `1 D" y  r& t
    吉林 0.659038184373617
    8 }* F8 v! ~" N6 m. A; G置业 0.4887134522112766/ l2 b( g/ V0 Z% @4 Q
    万元 0.33927224818595749 H3 r4 J$ o! t- n0 o5 Y
    增资 0.33582401985234045
      m$ Y+ l; [, @4.3 0.254356755380851061 J! e* G9 }- Q, z) f
    7000 0.25435675538085106
    " Z& S+ G; i0 ]$ a2013 0.25435675538085106
    ) n- F7 t4 t3 D7 g139.13 0.25435675538085106
    $ p( v# T4 n/ ]& b. `实现 0.19900979900382978
    : {" n( }+ r1 X( D1 P( r* d综合体 0.19480309624702127
    6 m( h3 O$ I5 r" w' e- H经营范围 0.19389757253595744
    + x  Z8 b7 z: u亿元 0.1914421623587234
    0 v) U8 c: S5 D- @- g+ @. y9 a在建 0.17541884768425534
    ; O& r8 \% e: c/ A5 {3 Y  L全资 0.17180164988510638( h9 V: H3 I$ N8 _
    注册资本 0.17124415266 K$ h/ V1 G) R6 f/ r
    百货 0.167344600413829790 Z! ?* d2 y9 @. c' r
    零售 0.1475057117057447  m7 I' E. P! O9 B8 E9 P( X% O. f$ S
    子公司 0.14596045237787234+ Q5 f" ]9 f9 A4 `+ |' N" o2 u
    营业 0.13920178509021275
    1 K( M, Z, l/ r: u  {3 j4 b6 ^0 S: q( B. B9 B: Q( l
    使用 jieba.analyse.TFIDF(idf_path=None) 可以新建 TFIDF 实例,其中 idf_path 为 IDF 频率文件。% F$ w( Y* H7 D3 t) K+ w# g
    4.2 基于 TextRank 算法的关键词提取
    8 r* h. t/ M% yTextRank 是另一种关键词提取算法,基于大名鼎鼎的 PageRank,其原理可参见论文—— TextRank: Bringing Order into Texts 。
    6 w! \  A6 p5 U+ @' |& u通过 jieba.analyse.textrank 方法可以使用基于 TextRank 算法的关键词提取,其与 'jieba.analyse.extract_tags' 有一样的参数,但前者默认过滤词性(allowPOS=('ns', 'n', 'vn', 'v'))。
    ; u% `! e& _% s% e* l# X
    + m* ~7 h, Q# f; v, A0 t+ u$ J
    / U* Q6 ?4 v7 {* `; t' F

    • 5 d6 [5 O/ s4 ]* u
      # j3 P' h8 d. D+ w0 U6 D
      for x, w in anls.textrank(s, withWeight=True):
      + k" n9 b# v* }* R: F
      ( J+ v  F9 i/ `- J
    • & `  U0 p) M. c* y. X: J1 o
      ( g! x7 T3 ]4 [
          print('%s %s' % (x, w))
      ; W' d* `4 E# b
      4 B4 s+ y* l3 J" T* I- J

        K3 o  D8 V' K& i- N

    吉林 1.0
    8 P. x) O* K0 {* `0 v/ a1 ~欧亚 0.9966893354178172/ c9 d  H% h2 m0 V6 u
    置业 0.6434360313092776
    % ~  v5 U" X) a4 _1 g实现 0.5898606692859626
      s1 L' v$ ~8 `8 y收入 0.43677859947991454( v6 ~8 |" L. V# P8 T
    增资 0.4099900531283276, _, w* |) h7 v
    子公司 0.35678295947672795) c, v' z4 a1 j; y) ~, \$ ^
    城市 0.34971383667403655. s/ M7 D. I9 @* O. y- D: b
    商业 0.34817220716026936
    ) Y# W3 e4 }9 ~# \业务 0.3092230992619838
    ) s& J& s! L, _4 l- Z在建 0.3077929164033088
      M6 L/ f# o( z0 r/ Y9 a/ W营业 0.30357770493195884 v7 o4 q- |2 A  j$ ^4 W; |( b
    全资 0.303540981053475
    ) Z/ u* d2 Z3 C) C. z8 g综合体 0.29580869172394825. y+ e& H3 p% v0 k
    注册资本 0.29000519464085045
    + V5 p! J- J$ U2 j' P* \) e1 V8 j有限公司 0.2807830798576574
    1 Q3 ^# O  t6 p2 h' h零售 0.27883620861218145
    1 F! q6 W2 |, A% H& w$ ^0 u百货 0.2781657628445476
    ) s/ x, f; q8 B" Y, a开发 0.2693488779295851
    & p0 n5 J2 ^! d! T) a3 G经营范围 0.2642762173558316! K% s2 ?) o9 V
    : M0 }/ U, p& ?* e
    使用 jieba.analyse.TextRank() 可以新建自定义 TextRank 实例。. X: w9 R4 H6 l5 N; s8 a3 v
    4.3 自定义语料库
    1 F3 V) g: D. e6 x% a9 C关键词提取所使用逆向文件频率(IDF)文本语料库和停止词(Stop Words)文本语料库可以切换成自定义语料库的路径。
    . c5 g( R# _5 ^* x. Q
    + q# Z4 H8 i/ }. z: \8 o, ~% R8 b! S: p


    • + S- d6 D  Y+ U
      6 A8 J( O+ z+ G$ ]" K
      jieba.analyse.set_stop_words("stop_words.txt")
      2 o7 F. j  L5 Y" ~& e- Q6 z
      ( |- W6 m7 [( j9 `( j: K
    • ! j: v5 V1 n3 E# D: T

      4 o  z$ d$ Y# T- y8 O) Tjieba.analyse.set_idf_path("idf.txt.big");0 x) M8 t4 C% P, m& R0 e
      , B9 G! E4 k0 w( k% X
    • ' Y  T) M) q! B& P
      , C# j3 y8 q3 g3 O: P, W: Y
      for x, w in anls.extract_tags(s, topK=20, withWeight=True):
      4 B9 v4 B2 m0 ~5 u) F
      / V1 n8 e9 \( V9 }3 o* P

    • 7 v( d& `/ ]# k4 ?

      7 e! ?( @) n  f  P. d7 k! t6 T    print('%s %s' % (x, w))
      $ e: A9 D* V" S' w

      6 Y" {8 m* c. j* B9 |
      ) }, n) ]: i  I1 r# i

    吉林 1.0174270215234043" A  S, r/ D( `8 N( d
    欧亚 0.7300142700289363& V: }7 _2 x& i; b% b; z
    增资 0.5087135107617021  F9 m% C/ K& s/ g9 {( S3 L
    实现 0.5087135107617021  @! U% a' l3 m$ c1 H0 @
    置业 0.4887134522112766
    " Z" j. [/ }) L8 ?5 ?/ c万元 0.3392722481859574
    3 @% |4 Y$ C9 Y: s! A  r& Z2 O' A此外 0.25435675538085106. e/ O- r. g' B5 |( t& o& a
    全资 0.254356755380851068 V9 }9 d- m4 h
    有限公司 0.25435675538085106
    2 P0 C/ r# D' N: q2 P+ a4.3 0.254356755380851063 F( u' @- @. C. H! e
    注册资本 0.25435675538085106
    - ]5 z$ U& t7 z0 p- y7000 0.254356755380851068 o/ e( k0 t; h4 \
    增加 0.254356755380851061 C/ j+ }' V" e* u
    主要 0.25435675538085106" r; D  }3 o9 ^1 @% m4 ~' h
    房地产 0.25435675538085106' _  K5 [3 p7 R0 x; a
    业务 0.25435675538085106
    $ J2 ?$ {4 J8 W& A: I8 s. y2 C1 J$ S目前 0.254356755380851065 h, ?0 Y9 O! |
    城市 0.25435675538085106
    3 w# H. C/ w# g5 T$ v6 M. U综合体 0.25435675538085106- h. T3 F: V# u6 f2 H6 \
    2013 0.25435675538085106
    0 T6 K) `- A  O' y- V# h3 d
    # j1 [$ U' B- g, P0 y5 H$ Z5 d
    5 词性标注- S  X1 d' f! R, \, L* s3 f
    jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。& U& j! N9 }% ]- @. \0 ^
    # 标注句子分词后每个词的词性,采用和 ictclas 兼容的标记法。& l* \: ~/ x1 G

      B1 ^, M, T% h1 S: {0 Y% L$ z( D% w' H! L* K$ f+ ?0 m


    • $ c; `4 P. n) [8 q* o

      ' N& H( ?" u1 I8 ~$ Nwords = pseg.cut("他改变了中国")- ]) q- B  X2 c5 {

      * q, J* U! U( U8 s, d! R3 v/ \

    • ) f  s/ x1 ~0 _

      + d0 ^- t3 V) E! u$ r  _3 P" u6 g2 U# gfor word, flag in words:
      0 M" J; G( s' M0 ]4 o
      5 H1 l: K/ _& e* `8 x
    • 2 D" o9 j; v% O( b
      0 W2 s* |( Z3 q4 C" q# u2 K! Q
          print("{0} {1}".format(word, flag))/ k; X3 ^! Y2 c1 x0 ?6 j
      & x1 d9 ?0 P, O, a# ?
      / C# q* H9 x. O: U+ e! R) x

    他 r

    改变 v

    了 ul

    中国 ns

    6 并行分词
    . e& R! V- n' z) L1 N8 X9 A! e将目标文本按行分隔后,把各行文本分配到多个 Python 进程并行分词,然后归并结果,从而获得分词速度的可观提升。用法:% L3 c4 L7 P: ]0 L6 a* i5 m

    • jieba.enable_parallel(4):开启并行分词模式,参数为并行进程数

    • jieba.disable_parallel() :关闭并行分词模式


      / C" J- B  f! Y7 j/ |3 L: |

    # 可参考 test_file.py
    5 r7 J  Q! B& v/ A8 F2 S注意:基于 python 自带的 multiprocessing 模块,目前暂不支持 Windows
    ' Q+ Z9 a$ V  O8 N4 t! P! H5 G/ v9 C: g/ g9 a9 G3 ]: O
    " ^% w  D: l: a9 T( v
    7 返回词语在原文的起止位置

    使用 jieba.tokenize 方法可以返回词语在原文的起止位置。

    注意:输入参数只接受 unicode

    •   u5 f% T* n' k4 X- z/ P

      ; A) r: N6 M! r* p$ B" g, R7 Mresult = jieba.tokenize(u'上海益民食品一厂有限公司')9 ~! r0 E( v. W3 u! y& V$ S7 @$ V/ v( @

      7 m* P) F) Y$ s8 W; A  {& e
    • + p, N# p( D  j" T' f4 g
      % f  v2 G" c8 e$ v7 P
      print("【普通模式】")- }7 T/ f7 }2 Y: I

      " V* l: ^; \5 [  H) U: n- @

    • * m6 Z) C( L5 T$ _

      " ?. T$ M( L3 W0 afor tk in result:) ~- j! q7 K3 p7 f9 ?7 F

      4 S$ j" N8 E1 J4 I
    • 8 z! l& p1 `* J

      5 V9 ~- d: h$ r    print("word: {0} \t\t start: {1} \t\t end: {2}".format(tk[0],tk[1],tk[2]))' P4 r! x1 B# `- A$ B" R" x, Q! C
      1 w# i" o! R4 o, q# k8 Z2 T) o
      0 t: d6 G: k9 D1 _

    【普通模式】, a& K# f% p7 a1 K1 s; R1 x& d
    word: 上海 start: 0 end: 2
    2 O$ c9 R. \; B" ]/ A3 }word: 益民 start: 2 end: 4) Y2 |) H6 C2 b+ U
    word: 食品 start: 4 end: 6
    ' C' [9 x3 X9 k& E& @) Kword: 一厂 start: 6 end: 8
    ) M9 s- P+ V4 e  Yword: 有限公司 start: 8 end: 12
    $ v' y; B, R: G7 E0 a; q+ [. L# H4 K
    ( n: [# w- [3 h9 a# Z: X

    • 4 R+ A/ S- t5 G

      % Z; r. t1 W& r9 Q2 Qresult = jieba.tokenize(u'上海益民食品一厂有限公司', mode='search')4 I" S9 s7 W2 k

        Z' {2 @1 n% M2 p3 g- ]
    • ; ?0 g! x; D- H1 A% n/ m  s8 I
      & T% W2 d; d  A1 S
      print("【搜索模式】")$ G0 ?  h& L$ x) u& l
      % F, X: A5 w  A2 w. u& r3 {& p

    • 7 P% V+ c- _) a+ v4 ^

      , _, g- k) y: I( Wfor tk in result:
      % u( O2 ]+ H: n% S; f

      " ]1 l1 U) A* }- r# R6 @( D
    • , O: |+ w5 k% S9 [* ]' O
      ; A5 {. N# u" a$ l0 }# `+ \/ K
          print("word: {0} \t\t start: {1} \t\t end: {2}".format(tk[0],tk[1],tk[2]))- M" {# `" a* _+ A! I3 s3 q* S
      * Y& j' F/ w$ A4 c1 `9 [# [$ P7 u0 D

      ( q8 x1 Y0 K  h

    【搜索模式】
    3 _0 O* v+ \. }9 n/ xword: 上海 start: 0 end: 26 a; c8 n/ d( Q5 b, J5 G% `
    word: 益民 start: 2 end: 4
    6 Q: G* _. s( V; `+ q3 dword: 食品 start: 4 end: 6
    * ~. B2 ]. v4 q1 kword: 一厂 start: 6 end: 8
    1 ?$ ^! K6 S1 A1 _5 {% rword: 有限 start: 8 end: 10$ B# t  u- e0 `5 I* c
    word: 公司 start: 10 end: 12
    & Z9 J# L/ m9 p: l  p' |0 zword: 有限公司 start: 8 end: 12

    # P$ |0 v" g5 b/ l4 P. e7 p
    - r. t' }( V+ d  S+ x$ \/ ~# O$ ~
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2025-7-10 18:14 , Processed in 0.391587 second(s), 51 queries .

    回顶部