决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。
, h. q0 _8 q9 H4 z
### 类 `tree`

$ }* q" W0 u$ A4 n7 Y这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。

! M& U8 R1 V. N/ C#### 1. **初始化方法 `__init__`**
- **参数**:
% u3 c' p% o7 _  - `feature`: 输入特征数据。
) L8 Z: k* v; t2 W/ N. L. }4 s  - `label`: 对应的标签（目标值）。
' q. {5 T; [' N; I6 I, h- **功能**: 将特征和标签保存为类的属性，以备后续使用。
7 ?& G, b5 @! O- \/ A
#### 2. **方法 `Gini`**
- **参数**:
  - `dataset`: 一个类别标签数组。
( U2 A- {! S  `6 L0 H- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- **流程**:
1 o/ l' a4 v! Y  - 首先获取数据集中不同类别（标签）的集合。
  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
; p$ v) X: f3 [9 Q  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。
8 x! x7 @; q2 c- m" s. O* m
; j* u5 d5 ]  g9 H  c9 Z- s. A#### 3. **方法 `cmpgini`**
: d  B' [9 M# r7 a- **参数**:
  - `feature`: 当前特征列。
% L3 s' T! Z0 ]0 C0 S3 Z% U- Z  - `label`: 对应的标签。
2 u4 Q$ Q4 H1 [  @+ y$ d- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
- **流程**:
  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
3 ?! g: z/ N( I. d9 a) o/ O( Q: D  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。

#### 4. **方法 `maketree`**
- **参数**:
+ z6 T! Z8 ?  @! s: J  - `feature`: 当前特征数据。
  - `label`: 当前标签数据。
- **功能**: 根据特征和标签递归构建决策树。
3 S9 m2 U! S- Y- **流程**:
  ~3 T9 b, @+ E8 j# n2 e+ B  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
* S- B; y' u! F  - 计算所有特征列的基尼指数，找到最优特征及其值。
  - 如果最小基尼指数等于 1，则返回标签。
' H$ M! B6 x* h8 t4 k2 P' A  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
1 d* n: D& }* J3 y5 ]2 c  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。
) C3 O' F5 e3 \# {  p$ B1 V- t
3 p* s7 Z. q) O% d#### 5. **方法 `train`**
- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
- **作用**: 结果存储在 `self.train_result` 属性中。

#### 6. **方法 `prediction`**
3 [) v7 S% D$ u0 j- **参数**:
& S2 G6 K3 v: T4 u1 h4 Z8 r7 H  - `Mat`: 待预测的特征矩阵。
6 l3 m5 x% G5 O) o$ g4 H2 h5 g- **功能**: 根据训练得到的决策树进行分类预测。
7 I9 E3 Z1 B( R  s& x$ W/ l" P- **流程**:
- @4 J) A0 U! y! y  - 遍历每个样本，通过树结构进行预测。
& p+ T: f" s) D, e. Z  t0 C  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
+ H+ }% w$ i8 ?" ?$ {" D9 X  - 返回每个样本的预测结果。

#### 7. **方法 `isLeaf`**
7 B0 D: U: {. R6 h: a- **参数**:
  - `tree`: 当前树的节点。
. Q4 i( l! X+ `2 V( w3 d- **功能**: 判断当前节点是否为叶子节点。
- **返回值**: 如果是叶子节点返回 True，否则返回 False。

. n6 n2 Y5 r0 Q& Q6 O& E#### 8. **方法 `getLeft` 和 `getRight`**
- **参数**:
  - `tree`: 当前树节点。
6 Q: f* d, A. z  l  `- **功能**: 分别获取当前节点的左子树和右子树。
- **返回值**: 返回子树。
! g$ K4 M' R8 D7 \; K0 i: _1 I
) K2 y4 t- @9 t( H1 O$ w### 总结
! t7 o2 t5 ^; m, R- E, B. R, ~该代码实现了一个基本的决策树分类器，主要功能包括：
- 计算数据集的基尼指数。
- 根据特征和标签构建决策树。
- 利用训练得到的树对新样本进行分类预测。

该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。



% w& t4 U, B6 Z# X: e; L