决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。

0 }5 C) M+ d( a; |; S- ?  ^4 |### 类 `tree`

! @1 a- |* u, \$ A) W这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。

  B& e7 P5 X2 H  j" \& g) O8 q#### 1. **初始化方法 `__init__`**
- **参数**:
  - `feature`: 输入特征数据。
  - `label`: 对应的标签（目标值）。
$ V' U2 h8 E: d; u: _/ c0 f/ N- m- **功能**: 将特征和标签保存为类的属性，以备后续使用。

#### 2. **方法 `Gini`**
* V1 G* h+ ?* u- **参数**:
3 H' ?. W/ K0 U* f* `  - `dataset`: 一个类别标签数组。
1 x) O; @2 [) x1 \- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- **流程**:
  - 首先获取数据集中不同类别（标签）的集合。
, u( R  c! q1 }. |" Q" b1 k  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。

#### 3. **方法 `cmpgini`**
- **参数**:
  - `feature`: 当前特征列。
2 Q" z7 n; @& R- @) Z$ \  - `label`: 对应的标签。
- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
- **流程**:
6 V. A1 g3 l" c6 l8 l) r! ~  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。
5 L0 a& E3 n0 h* H! U, t% n$ S) [
#### 4. **方法 `maketree`**
. }9 r' Y5 K' J0 I; V8 ]- **参数**:
3 {$ P2 b! b* i# D. O  - `feature`: 当前特征数据。
  - `label`: 当前标签数据。
* r. y/ c, ?+ X) Y. L5 k( H- K- **功能**: 根据特征和标签递归构建决策树。
- **流程**:
' q: h: O" o+ e' h% [8 s- C6 `3 K  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
  - 计算所有特征列的基尼指数，找到最优特征及其值。
  - 如果最小基尼指数等于 1，则返回标签。
  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。

& W' e; Y) j- |5 Y- N# P#### 5. **方法 `train`**
! T% |( H  E6 f( b( q0 j- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
- **作用**: 结果存储在 `self.train_result` 属性中。
* c$ N5 U& K; d
( O* c) a0 Q' G6 f& I2 s#### 6. **方法 `prediction`**
5 c5 L3 R0 b5 @; R$ [$ h- c7 O8 l  U- **参数**:
  - `Mat`: 待预测的特征矩阵。
3 j+ S7 C" W" Y* f4 Q  @+ ^$ b- **功能**: 根据训练得到的决策树进行分类预测。
* C  s; H$ d# f7 d+ e. ^1 g+ e; A- **流程**:
  - 遍历每个样本，通过树结构进行预测。
  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
  - 返回每个样本的预测结果。
  B+ ]! `( B) V/ m8 C: S
2 x: _7 {, k' N% T$ h1 Q#### 7. **方法 `isLeaf`**
- **参数**:
  - `tree`: 当前树的节点。
3 V7 Y9 q; W" W- **功能**: 判断当前节点是否为叶子节点。
- **返回值**: 如果是叶子节点返回 True，否则返回 False。
% v& R' E: o8 @* }0 G
#### 8. **方法 `getLeft` 和 `getRight`**
9 S% D3 b, u& k4 ^  @. Y! [- **参数**:
  - `tree`: 当前树节点。
- **功能**: 分别获取当前节点的左子树和右子树。
- **返回值**: 返回子树。
5 y! W8 [. M/ N* v. j
### 总结
该代码实现了一个基本的决策树分类器，主要功能包括：
- 计算数据集的基尼指数。
- 根据特征和标签构建决策树。
- 利用训练得到的树对新样本进行分类预测。
" d$ v7 T+ \- ?' A! m/ v$ j/ r) C
7 c" s$ ~5 b0 \5 _& S1 ?! S- k0 Y该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。
- [& b0 [0 G6 B3 H( f