决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。
0 @) U; X6 o$ y
### 类 `tree`
8 l7 F1 ]" A( y, q
这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。
2 c0 b7 i" t1 R7 m, i1 D
" a& E$ `$ B9 X- R8 g! x* E0 a#### 1. **初始化方法 `__init__`**
- **参数**:
  - `feature`: 输入特征数据。
  - `label`: 对应的标签（目标值）。
: O# Q+ {0 z9 J- **功能**: 将特征和标签保存为类的属性，以备后续使用。

#### 2. **方法 `Gini`**
8 D* H2 P' B" Y* e/ n9 i+ w9 t& P- **参数**:
/ W9 u3 H5 L% q6 m8 {  - `dataset`: 一个类别标签数组。
- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- **流程**:
; D1 g' W& x! y( W  Q/ l( ^. f  - 首先获取数据集中不同类别（标签）的集合。
  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。

#### 3. **方法 `cmpgini`**
- **参数**:
  - `feature`: 当前特征列。
9 P) V% \/ I7 ~9 O  - `label`: 对应的标签。
- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
- **流程**:
! K" ?- o) m* b( f6 {  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
' C$ \2 \' G# t; l  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。
  h5 n7 w( a2 [* [
#### 4. **方法 `maketree`**
6 g5 B, I3 W3 o- O- **参数**:
) M" w( U, g- D8 d6 Y  - `feature`: 当前特征数据。
  - `label`: 当前标签数据。
7 e: p* S  @; Q. E- **功能**: 根据特征和标签递归构建决策树。
& Z: J; D- o% W* e0 W2 }$ H: a- **流程**:
! [+ M. ?3 o! l" H) b4 t  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
3 t% {/ ^  ~8 w" @4 {3 q$ O3 J  - 计算所有特征列的基尼指数，找到最优特征及其值。
  - 如果最小基尼指数等于 1，则返回标签。
  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。
* t9 K- j4 _% t. E# {6 C5 }" L/ o
8 ?8 m; E3 e, R; a: g#### 5. **方法 `train`**
- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
- **作用**: 结果存储在 `self.train_result` 属性中。

#### 6. **方法 `prediction`**
$ w5 ?0 W, |; B, [* X( J- **参数**:
  - `Mat`: 待预测的特征矩阵。
& B% q, j: |3 y( n  |2 D& h$ C- **功能**: 根据训练得到的决策树进行分类预测。
4 k4 ?. p* H+ f  k! D- **流程**:
, X# W) p$ R+ z  - 遍历每个样本，通过树结构进行预测。
7 {2 B' ~$ L# g5 ~$ G  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
  - 返回每个样本的预测结果。
& u9 P! e9 d/ l) U
: ^  `/ s5 k0 V4 F#### 7. **方法 `isLeaf`**
4 M/ {+ Z& |0 F, ?+ c/ N- **参数**:
  - `tree`: 当前树的节点。
- **功能**: 判断当前节点是否为叶子节点。
  h( G9 X) a* x7 d3 K0 ^$ D- **返回值**: 如果是叶子节点返回 True，否则返回 False。
+ }5 f. u* H) R) q
#### 8. **方法 `getLeft` 和 `getRight`**
- **参数**:
& o( N0 d/ J2 l* P  - `tree`: 当前树节点。
5 l3 ]  v0 f. X8 U- **功能**: 分别获取当前节点的左子树和右子树。
- **返回值**: 返回子树。

; }  O3 M+ Y) C  q& f### 总结
. b2 n9 S' R* K该代码实现了一个基本的决策树分类器，主要功能包括：
1 I9 P2 L. G- [- 计算数据集的基尼指数。
( h6 e# a% p% n1 V0 }7 N" a- 根据特征和标签构建决策树。
- 利用训练得到的树对新样本进行分类预测。
1 j' y9 j/ A/ z0 o! F
7 `; D3 G# J5 P5 v7 n- k4 Z该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。
  y. n: q+ F# M5 I4 @% g& ]% E
- `# Q, O" K7 S" J7 ?: y4 X, m
5 ^0 ?& R: a; U! N+ [2 @# a0 j1 K
% E( {6 A) u6 L: c6 Z