决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。

5 y% G) n8 r* W9 \### 类 `tree`

这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。
$ J( f' [: M6 s4 d5 \3 a' t3 R+ W
/ `* y1 C- ]/ ?% J1 ?  I* A) P#### 1. **初始化方法 `__init__`**
+ @7 f5 g* r' g- **参数**:
6 h" i$ s- G: H! _& S  g: x4 i9 f  - `feature`: 输入特征数据。
( m. K% @" E: G* _7 l2 `( m  - `label`: 对应的标签（目标值）。
- **功能**: 将特征和标签保存为类的属性，以备后续使用。
" ?3 D. o' e1 Z' r1 I: Y, A
#### 2. **方法 `Gini`**
9 z4 @+ |6 ]4 O3 p- **参数**:
  - `dataset`: 一个类别标签数组。
/ C8 [6 e2 P( |  b+ f- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- **流程**:
  - 首先获取数据集中不同类别（标签）的集合。
  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。
( `' z! Q7 V9 w" |6 |. ?  }
#### 3. **方法 `cmpgini`**
- **参数**:
1 m/ C/ `! R# T  - `feature`: 当前特征列。
  - `label`: 对应的标签。
2 P; p/ g+ r, ]# N. z. k( {  S- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
- **流程**:
  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。

#### 4. **方法 `maketree`**
/ a" K/ T/ A2 r/ h2 @1 i( Z" [! D- **参数**:
  - `feature`: 当前特征数据。
2 n! w7 |% f9 {  - `label`: 当前标签数据。
/ I6 I( K8 q/ ]: n- **功能**: 根据特征和标签递归构建决策树。
' j3 u, T9 b) f# ?: _$ y; v- **流程**:
  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
' u0 \5 k. N$ X2 Y+ M. L8 r$ ], X- d  - 计算所有特征列的基尼指数，找到最优特征及其值。
+ ^7 Q2 x% |0 }3 P2 k+ K. X* D  - 如果最小基尼指数等于 1，则返回标签。
% Y1 O6 y4 j& d3 Y! |3 a  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。

#### 5. **方法 `train`**
3 W, d. f- u  K; X. \! E- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
- **作用**: 结果存储在 `self.train_result` 属性中。

#### 6. **方法 `prediction`**
% @+ }$ b# ?2 Z8 i. r$ C" }4 u8 u- **参数**:
  - `Mat`: 待预测的特征矩阵。
- **功能**: 根据训练得到的决策树进行分类预测。
- **流程**:
  - 遍历每个样本，通过树结构进行预测。
% n, C! o7 t- G' i. H9 ^2 C4 N  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
  - 返回每个样本的预测结果。
$ r% W0 r+ C- Q) i3 i  G+ \
7 g" x, O& _6 K: W0 }0 ]#### 7. **方法 `isLeaf`**
9 I! j' X4 C5 Z3 M! G2 K! v) s) J- **参数**:
2 a9 C) b0 z* E# t  - `tree`: 当前树的节点。
- **功能**: 判断当前节点是否为叶子节点。
- **返回值**: 如果是叶子节点返回 True，否则返回 False。

#### 8. **方法 `getLeft` 和 `getRight`**
- **参数**:
! J$ C7 P/ B, u+ {3 A  - `tree`: 当前树节点。
- **功能**: 分别获取当前节点的左子树和右子树。
$ p& V1 ~7 `9 t/ B! S( c+ x- **返回值**: 返回子树。
' S* h( F9 ?1 D
### 总结
$ ?$ F. G9 {- C% E5 m该代码实现了一个基本的决策树分类器，主要功能包括：
  P; X; g% w2 o$ c! R- 计算数据集的基尼指数。
  R8 T# u7 M  g: _, C% v- 根据特征和标签构建决策树。
- 利用训练得到的树对新样本进行分类预测。
* d1 `! U0 G3 e+ ^) V
该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。
% v8 [* w  I9 ?  B$ I5 R
1 B$ m9 F6 l" o
2 c! b: m* C$ }- a" |) H
6 J& r$ {0 c! n4 u* f9 r1 b4 C