决策树分类器简单实现

2744557306

这段代码实现了一个基本的决策树分类器，下面对代码进行详细解析。

' [: Z! L2 r1 I8 i### 类 `tree`
  L/ b* ]6 z+ F4 p, ~1 f
5 g2 F) p0 R* m5 [; \0 n这个类包含了决策树的基本功能，包括计算基尼指数、构建树、训练和预测等。

#### 1. **初始化方法 `__init__`**
/ v- D/ G/ i8 }' Y- **参数**:
& y" P. B1 p* ^$ D/ w) S; U/ I2 Q  - `feature`: 输入特征数据。
8 v; G2 m. F- d3 Q2 Z  - `label`: 对应的标签（目标值）。
3 G1 U7 `3 d& e# D- **功能**: 将特征和标签保存为类的属性，以备后续使用。

; D) @( T) P" s  K( h#### 2. **方法 `Gini`**
- **参数**:
  - `dataset`: 一个类别标签数组。
' B& q7 I9 H) D- **功能**: 计算给定数据集的基尼指数（Gini impurity）。
- Z5 j8 Z, b& j- **流程**:
  - 首先获取数据集中不同类别（标签）的集合。
  E) z3 g4 \# ^  - 对于每个类别，计算其在数据集中出现的概率，并将其平方后累加。
" f$ ^* V/ M2 d, \# J  - 返回 \(1 - \text{sum}\) 作为基尼指数，值越小表示纯度越高。
  ~- o8 G  h, P3 A
#### 3. **方法 `cmpgini`**
9 Y: s& k6 d1 S$ N6 P( r) s- **参数**:
6 N  {* J# p! G! q' e5 ^7 ^- J1 N0 z  - `feature`: 当前特征列。
  - `label`: 对应的标签。
- e" N& s4 c# A0 o9 M- **功能**: 计算当前特征对标签的基尼划分，选择出可以最小化基尼指数的特征值。
# `8 q6 A, G. a# n1 K1 F8 t# m4 Q: N- **流程**:
  - 遍历特征列中的唯一值，计算每个特征值的基尼指数。
  - 根据特征值划分数据集，计算各自的基尼指数并加权求和，找到最小的基尼，加上特征对应的值返回。
- E' q6 p! m5 z- O! t) U$ v6 d
#### 4. **方法 `maketree`**
- **参数**:
1 L0 i  X2 F% u" E  - `feature`: 当前特征数据。
  - `label`: 当前标签数据。
- **功能**: 根据特征和标签递归构建决策树。
- **流程**:
: v. l1 X6 Z8 V  - 首先判断当前标签是否单一（即所有标签相同），如果是，返回该标签。
  - 计算所有特征列的基尼指数，找到最优特征及其值。
  - 如果最小基尼指数等于 1，则返回标签。
% p1 i$ \  i+ O+ d7 z2 d  - 将数据集按照最优特征值分为左右子集，并递归调用 `maketree`。
  - 返回树的结构：[(特征索引, 该特征的最优值), 左子树, 右子树]。
: U6 F8 n3 \+ v3 R
# A/ [$ n9 Y8 r1 A3 g#### 5. **方法 `train`**
- **功能**: 训练决策树，调用 `maketree` 方法构建树，并保存最终结果。
  S+ T, n* [; x# C6 p- **作用**: 结果存储在 `self.train_result` 属性中。
/ X7 b3 e, f3 x1 f5 G' Y
#### 6. **方法 `prediction`**
% G6 H! @. a) C2 E: x3 E- **参数**:
( k% m5 f1 _8 ^- l2 F7 r  - `Mat`: 待预测的特征矩阵。
2 }, G) [" f7 C7 s2 k9 v" ?- X- **功能**: 根据训练得到的决策树进行分类预测。
) p' U4 M" W2 B/ A9 V( h  E( @/ Q- **流程**:
9 F7 O+ j# v  t/ r  - 遍历每个样本，通过树结构进行预测。
  - 在树的每一层，根据特征值值进行左右子树的选择，直到到达叶子节点。
  - 返回每个样本的预测结果。
/ q% p/ P2 i+ b1 `5 w5 q# E
, T/ s# b+ @( H6 m#### 7. **方法 `isLeaf`**
- **参数**:
/ O0 j; x4 `9 g9 g9 q+ |% E/ K  - `tree`: 当前树的节点。
  j! V5 S# |% t, T- **功能**: 判断当前节点是否为叶子节点。
- **返回值**: 如果是叶子节点返回 True，否则返回 False。

#### 8. **方法 `getLeft` 和 `getRight`**
- **参数**:
4 O3 o7 v( s1 W( ?  - `tree`: 当前树节点。
- **功能**: 分别获取当前节点的左子树和右子树。
- **返回值**: 返回子树。

### 总结
该代码实现了一个基本的决策树分类器，主要功能包括：
- 计算数据集的基尼指数。
- 根据特征和标签构建决策树。
8 J8 D+ \# g9 u. g5 R* o  Z& r" z- 利用训练得到的树对新样本进行分类预测。
, s2 _, h4 _- C3 G  h
该决策树是通过递归的方法构建的，将数据集根据特征进行分割，最终形成由节点和叶子组成的树形结构。叶子节点代表最终的分类结果。这个实现是决策树算法的基础，适合用于分类任务。


3 S& G% ^) S5 R
4 W# H, T; W" J& G1 q$ r