决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。

### 类 `tree`
3 Q) D8 ]' L% O7 e% R6 d# A
" t; A; V: E6 Y9 a! \" Y: P+ T这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。
7 _7 e! F! w% w$ u) K
#### 1. **初始化方法 `__init__`**
# r1 n! }+ y* G" w3 v8 j3 h- **参数**:
  - `feature`: 输入特征数据。
  - `label`: 对应的标签（目标值）。
- **功能**: 将特征和标签保存为类的属性，以备后续使用。

. o/ V" z4 Z1 w#### 2. **方法 `Gini`**
- **参数**:
  - `dataset`: 一个类别标签数组。
- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
  F9 U; F6 \7 n2 t3 b5 k- **流程**:
- A7 d6 x; P1 K( {% n  - 首先获取数据集中不同类别（标签）的集合。
6 c5 }/ a- q9 W" m  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。
* h3 E6 w) h) F( u
#### 3. **方法 `cmpgini`**
# j" \# A1 ~4 I) E: M- **参数**:
  - `feature`: 当前特征列。
  - `label`: 对应的标签。
3 b+ K6 h. `, N9 k: Z( ^- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
- **流程**:
  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。

8 W$ `- c3 ^) y/ L7 F8 `( i#### 4. **方法 `maketree`**
- **参数**:
  - `feature`: 当前特征数据。
  - `label`: 当前标签数据。
+ t; J  A7 f7 P# I- **功能**: 根据特征和标签递归构建决策树。
- **流程**:
  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
4 s# s3 h# s! J3 m  - 计算所有特征列的基尼指数，找到最优特征及其值。
: G4 A6 d  m6 ~# [5 S' j) ^! P  - 如果最小基尼指数等于 1，则返回标签。
  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。

" w5 S1 M* X! G# f' J#### 5. **方法 `train`**
& _$ ?2 y6 _1 c& u. k- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
- **作用**: 结果存储在 `self.train_result` 属性中。
8 M# S  E: l$ @: Z
" l- F; A; J0 ~* Z$ {2 y#### 6. **方法 `prediction`**
- **参数**:
  - `Mat`: 待预测的特征矩阵。
- **功能**: 根据训练得到的决策树进行分类预测。
6 K+ K" O0 y2 u4 \9 l- b: f; i- **流程**:
  - 遍历每个样本，通过树结构进行预测。
/ b5 I- B5 M6 l5 }! W# z  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
8 b+ h7 x3 ?% Z# _3 y  - 返回每个样本的预测结果。
0 M0 B/ O0 R8 s: J( d+ N! \/ J
8 M, B, y) f- Y9 @3 k4 v5 J#### 7. **方法 `isLeaf`**
7 Y7 m/ ~- z2 v9 b6 R4 D5 k$ c- **参数**:
2 k6 P: v: G: ?1 P1 k2 h  - `tree`: 当前树的节点。
' O! |/ O1 T5 L: B/ V2 l- **功能**: 判断当前节点是否为叶子节点。
+ |, g  F- ?9 e* f" c  N1 v- **返回值**: 如果是叶子节点返回 True，否则返回 False。
6 p9 c  g! c9 g/ h
#### 8. **方法 `getLeft` 和 `getRight`**
' n, T" |; ]# a7 u- **参数**:
  - `tree`: 当前树节点。
- **功能**: 分别获取当前节点的左子树和右子树。
) I3 r& E; n% b4 R- **返回值**: 返回子树。
. {5 A0 v0 S( L
### 总结
该代码实现了一个基本的决策树分类器，主要功能包括：
( \8 D3 _2 P2 q3 M- M- 计算数据集的基尼指数。
- 根据特征和标签构建决策树。
: B+ Q# N" R7 Z( K3 b- 利用训练得到的树对新样本进行分类预测。

该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。
+ ]* I% c0 a' N7 u

# u% q8 w1 A7 y( k2 t  L4 h2 A% l9 Y