决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。

### 类 `tree`

  a* r, T  O$ }* _  [3 ]这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。

$ i. P  I$ x- [/ `8 j#### 1. **初始化方法 `__init__`**
2 u- f2 n% M% P8 o" ~6 v7 [- **参数**:
  - `feature`: 输入特征数据。
" ^* R$ @+ D6 a  - `label`: 对应的标签（目标值）。
- **功能**: 将特征和标签保存为类的属性，以备后续使用。

% T4 F. V$ G" T#### 2. **方法 `Gini`**
4 o, J" D% W( _4 e( d+ X- **参数**:
  - `dataset`: 一个类别标签数组。
" m3 l# K  o) j: L4 t- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- **流程**:
" k% k1 C- Q# ]8 V& P1 _! r/ }  - 首先获取数据集中不同类别（标签）的集合。
  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。
4 r2 N1 p9 {( i- K* X
#### 3. **方法 `cmpgini`**
# S& F/ n# Z  B! i2 M) S- **参数**:
  - `feature`: 当前特征列。
) q, g( J/ P- i3 B6 S: G1 K# d  - `label`: 对应的标签。
- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
5 Y8 m3 M8 V! u7 ]  X  G, i. f- **流程**:
  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。

: W1 b6 W) t$ q, [# r" V#### 4. **方法 `maketree`**
- **参数**:
1 W2 H7 G2 g# h4 q  - `feature`: 当前特征数据。
  - `label`: 当前标签数据。
7 P. M$ u% o5 s; h- **功能**: 根据特征和标签递归构建决策树。
) F  j. r1 M1 n  Y- **流程**:
8 N6 Z' Z% P' ]+ B$ ~3 C* K( @  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
  - 计算所有特征列的基尼指数，找到最优特征及其值。
  - 如果最小基尼指数等于 1，则返回标签。
2 h, I8 Q2 g5 A7 d) z# n  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
* i- D* l1 a2 `  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。
! [' W" ?) G+ n
#### 5. **方法 `train`**
- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
( o& y2 B+ c- H6 q2 W' t- **作用**: 结果存储在 `self.train_result` 属性中。

#### 6. **方法 `prediction`**
/ z7 s2 _; f5 e7 A2 C7 i) \( f- **参数**:
  - `Mat`: 待预测的特征矩阵。
* B& I6 m9 c1 x5 Q8 ?- F) X- **功能**: 根据训练得到的决策树进行分类预测。
: r6 c; B' B  j9 p0 n- **流程**:
! p2 M7 u& o* M  - 遍历每个样本，通过树结构进行预测。
  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
  - 返回每个样本的预测结果。
  s# x! U5 b; M
#### 7. **方法 `isLeaf`**
- **参数**:
  - `tree`: 当前树的节点。
3 a7 A% ]: f3 U- **功能**: 判断当前节点是否为叶子节点。
- **返回值**: 如果是叶子节点返回 True，否则返回 False。
: ~" _. _# I% H$ \2 a1 l: F; p
#### 8. **方法 `getLeft` 和 `getRight`**
- **参数**:
. t& s/ W- ]' n. w" i: v1 w  - `tree`: 当前树节点。
- **功能**: 分别获取当前节点的左子树和右子树。
# B5 }! i; `& e3 Q- **返回值**: 返回子树。
4 s5 Y4 [3 f- T
, Z* N/ a  Z3 _  F### 总结
该代码实现了一个基本的决策树分类器，主要功能包括：
' \+ U/ Z2 C6 t( _4 e) W7 y- 计算数据集的基尼指数。
! e* J# D, r( d8 U- 根据特征和标签构建决策树。
- 利用训练得到的树对新样本进行分类预测。

该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。


8 C2 w; |# v" Y, R) R