查看: 2742|回复: 0

EM算法实现

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-8-9 11:34 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

以上代码实现了高斯混合模型（Gaussian Mixture Model, GMM）的期望-最大化（Expectation-Maximization, EM）算法。这是一种用于数据聚类的概率模型，适用于处理具有多个高斯分布的复杂数据。下面我将逐步解释代码的各个部分。

### 1. **导入必要的库**
```python
import numpy as np
import math
import copy
```
导入 `numpy` 用于数值计算，`math` 用于数学运算，`copy` 用于对象的深拷贝。

### 2. **定义 `EmGMM` 类**
此类封装了高斯混合模型的实现。

#### 2.1. **初始化方法 `__init__`**
```python
def __init__(self, sigma, k, N, MU, epsilon):
```
- **参数说明**:
  - `sigma`: 高斯分布的协方差矩阵。
  - `k`: 高斯分布的数量（组件数）。
  - `N`: 数据点的数量。
  - `MU`: 初始均值（位置参数）的列表。
  - `epsilon`: 收敛阈值。

实例化时，类中会设置相关参数和初始均值。

#### 2.2. **初始化数据方法 `init_data`**
```python
def init_data(self):
```
- **功能**: 随机生成样本数据集 `self.X`，其数据点从两个高斯分布中生成。

### 3. **E步：期望步骤 `e_step`**
```python
def e_step(self):
```
- **功能**: 计算每个数据点属于每个组件的后验概率（期望）。

在E步中，算法会遍历所有数据点，并计算每个点在每个高斯分布下的概率。

### 4. **M步：最大化步骤 `m_step`**
```python
def m_step(self):
```
- **功能**: 根据E步计算的后验概率更新模型参数，包括均值、混合系数和协方差矩阵。

在M步中，算法会更新每个组件的均值 `MU`、权重 `alpha`（混合系数）和协方差矩阵 `sigma`，以尽量提高模型对数据的拟合。

### 5. **训练方法 `train`**
```python
def train(self, inter=1000):
```
- **功能**: 迭代执行E步和M步直至收敛，或达到最大迭代次数。

在每次迭代中，算法会计算参数的变化情况，并当变化小于给定的阈值 `epsilon` 时停止迭代。

#### 细节
- 使用 `copy.deepcopy` 来保存参数的旧值，以便计算变化。
- 在每次迭代输出当前的估计值，包括均值、协方差和混合系数。

### 6. **收敛条件**
在 `train` 方法中，通过比较参数在上一次迭代和当前迭代的差异，判断模型是否已收敛。如果所有的误差都小于 `epsilon`，则认定训练结束。

### 总结
这段代码实现了高斯混合模型的基本EM算法，主要用于通过不断迭代优化模型参数来适应数据分布。通过隐含的概率模型，GMM允许数据点同时属于多个类别，适用于较为复杂的聚类任务。