决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。
: ~- L3 U# p$ r5 i/ L
/ F" K# S( k8 j5 X0 e2 a1 h### 类 `tree`
' f# R  m! R) p7 ]2 n1 }
- p1 i8 |% D0 }1 |这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。
. v7 G1 d" y$ U# N, O: U
#### 1. **初始化方法 `__init__`**
- **参数**:
) V9 S: l: t; m' ^  - `feature`: 输入特征数据。
  - `label`: 对应的标签（目标值）。
- **功能**: 将特征和标签保存为类的属性，以备后续使用。

) C+ K- W+ d3 x5 M' {' \. }3 U#### 2. **方法 `Gini`**
6 m) U3 d9 v$ e/ K8 _' E4 R- **参数**:
- m/ X* Q& C+ V( u. [9 I  - `dataset`: 一个类别标签数组。
- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- **流程**:
4 K5 E* C9 @, ~8 p, ^, _6 S  - 首先获取数据集中不同类别（标签）的集合。
  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。
6 C* r" A; T- i, R$ _8 w) g
#### 3. **方法 `cmpgini`**
- **参数**:
  - `feature`: 当前特征列。
  - `label`: 对应的标签。
& K! Z6 k! f& s+ o- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
4 w4 N8 ?3 d$ y) a- **流程**:
# h) l% z! O, r" s  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。

#### 4. **方法 `maketree`**
9 u9 k( d$ C& k* I7 n6 k- **参数**:
  - `feature`: 当前特征数据。
& z# g* R" o& Z+ Z) k8 p  - `label`: 当前标签数据。
  C+ E3 u& `7 y1 }0 H- **功能**: 根据特征和标签递归构建决策树。
/ H  s7 W& Q' |* a  C- **流程**:
  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
  - 计算所有特征列的基尼指数，找到最优特征及其值。
3 Q8 @5 X& W: }5 P% U  - 如果最小基尼指数等于 1，则返回标签。
0 U* K, `, C% G* m% U/ r  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
8 N; [' K3 E3 P  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。
9 z7 T' i1 B5 s$ [5 s" L, n
#### 5. **方法 `train`**
- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
/ ^1 O# e/ O, A1 \5 P- **作用**: 结果存储在 `self.train_result` 属性中。

( |5 S( O4 V: ^6 U2 g. b#### 6. **方法 `prediction`**
- **参数**:
  - `Mat`: 待预测的特征矩阵。
- **功能**: 根据训练得到的决策树进行分类预测。
* d  Z: J+ s$ i* Q- **流程**:
  - 遍历每个样本，通过树结构进行预测。
6 h" b  F$ b$ q' h2 U8 ?  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
1 a* ?4 O5 w' R/ }8 [  - 返回每个样本的预测结果。

6 F  ]) y. U* t4 v, w#### 7. **方法 `isLeaf`**
; y  H" x7 {' z" w+ q& @- **参数**:
  - `tree`: 当前树的节点。
6 W9 j; x6 @* a: M! c3 w- **功能**: 判断当前节点是否为叶子节点。
2 N& e0 c1 \) d! G/ B" E- **返回值**: 如果是叶子节点返回 True，否则返回 False。
7 n9 e  T; K; j4 n2 R, J2 t
. ?+ C  W& l8 z3 t6 t2 v#### 8. **方法 `getLeft` 和 `getRight`**
1 o% C) x4 v' w- J6 [+ E- **参数**:
  - `tree`: 当前树节点。
8 p. l4 l3 p8 r; T% d" P- **功能**: 分别获取当前节点的左子树和右子树。
; p: F& Q; `% I; I( X! D2 v- **返回值**: 返回子树。
: K+ J: A& E/ F  r$ D- N# z! s
### 总结
4 {% O3 G9 r& A! |  m2 n该代码实现了一个基本的决策树分类器，主要功能包括：
- 计算数据集的基尼指数。
3 c5 g! B4 G1 c7 z) K; s% ^- 根据特征和标签构建决策树。
: A' `4 |! `: N) X9 D; h+ \- 利用训练得到的树对新样本进行分类预测。

该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。
5 I2 N8 ^  O0 ^3 ?& A
  _' Y' S4 _, L# H
: r( I. t, ]9 r9 i/ _; ]