决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。
8 u" s7 q$ H! o. P  K
### 类 `tree`

这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。
& [7 A# b6 x5 A- d! X6 t
- m5 A6 t( ~1 o/ R, D5 g+ y& u#### 1. **初始化方法 `__init__`**
* O2 v, w9 T' v, U2 x# f- **参数**:
  - `feature`: 输入特征数据。
/ p$ _4 F$ C/ ]; `- R' e  - `label`: 对应的标签（目标值）。
) R+ n% K+ O$ m5 t0 u* F- **功能**: 将特征和标签保存为类的属性，以备后续使用。

#### 2. **方法 `Gini`**
7 [) O- M/ ]5 B+ o8 ~, V3 L- **参数**:
  - `dataset`: 一个类别标签数组。
- X4 h' Q& ?5 j- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
6 x; d( P3 b4 A+ @- **流程**:
3 Y- O# m) S) m3 E  - 首先获取数据集中不同类别（标签）的集合。
3 _! z) H# o0 N+ ^  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
; g- {! p6 d- H! S# m6 Y+ O  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。

#### 3. **方法 `cmpgini`**
5 q& B, r) G. I4 g$ E3 n/ L" i- **参数**:
2 q/ S) ^$ m; Q3 t* q  - `feature`: 当前特征列。
  - `label`: 对应的标签。
! R/ r$ v* A7 W- `3 [3 |- o- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
) H9 r& f2 P' x; h; e4 I/ d- **流程**:
  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。
2 }2 p# }6 d8 [' L+ O- M* Q4 P
! W6 w! y+ F/ @& ^4 z! `& ]; W#### 4. **方法 `maketree`**
- **参数**:
  - `feature`: 当前特征数据。
' J# F8 F6 b8 ?9 M9 ^% M0 p) X  - `label`: 当前标签数据。
- **功能**: 根据特征和标签递归构建决策树。
- **流程**:
8 x+ q2 k' b( t0 c  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
8 v  i/ ^5 M# k8 h4 F  - 计算所有特征列的基尼指数，找到最优特征及其值。
  - 如果最小基尼指数等于 1，则返回标签。
' `5 [' t' t$ i6 D3 g  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。
1 E) G  z# m) ~/ q4 H* S: `( |( _
#### 5. **方法 `train`**
- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
- **作用**: 结果存储在 `self.train_result` 属性中。
% {0 X+ z% D3 c
7 X& q5 l! L6 c7 o: H$ I; b#### 6. **方法 `prediction`**
- **参数**:
  - `Mat`: 待预测的特征矩阵。
- **功能**: 根据训练得到的决策树进行分类预测。
9 M) |: _6 r% U3 V$ h" \! u- **流程**:
0 R( u& O% Q. y# t7 s: c! ^( u  - 遍历每个样本，通过树结构进行预测。
2 |) Q! ]$ W5 B. z" j  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
  - 返回每个样本的预测结果。

6 C  T5 q* ?- ?1 K) M. d8 _#### 7. **方法 `isLeaf`**
- **参数**:
4 o, K- p+ S" W; C* p% s  - `tree`: 当前树的节点。
$ y+ n0 [1 s7 d' ]- **功能**: 判断当前节点是否为叶子节点。
- **返回值**: 如果是叶子节点返回 True，否则返回 False。
9 h& T. b1 u2 r* z+ e1 V$ u
) b. K9 k7 Q& h* Z#### 8. **方法 `getLeft` 和 `getRight`**
2 v- Q2 M, ~5 J/ a9 o$ L- **参数**:
  - `tree`: 当前树节点。
1 N, `' u) q  {6 I4 f- **功能**: 分别获取当前节点的左子树和右子树。
; @( Y3 ]5 J. Q. }! A- **返回值**: 返回子树。
, v5 z; k1 M3 w& s  a3 F* i
0 F2 ^# G( p9 {1 x  V! [* C### 总结
该代码实现了一个基本的决策树分类器，主要功能包括：
- 计算数据集的基尼指数。
- 根据特征和标签构建决策树。
- 利用训练得到的树对新样本进行分类预测。
6 @4 s, V$ s1 U* [* Q4 A" x
# `$ f" H/ u  U3 H, E! m7 X该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。

- s" d; J% Y" q6 J9 \
9 ]3 j3 X9 V3 w  J- E, n" X: B. [4 n