最新要闻

广告

手机

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

家电

机器学习-PCA

来源:博客园


(资料图)

前言

PCA(Principal Component Analysis)是一种常用的数据降维方法,它的主要思想是将高维数据降维到一个低维空间,同时保留尽可能多的原始数据的信息。

定义

PCA (Principal Component Analysis) 是一种常用的数据降维算法,用于对高维数据进行降维和特征提取。它的主要思想是通过对数据的协方差矩阵进行特征值分解,选择前 k 个特征值最大的特征向量作为新的主成分,将原始数据投影到主成分空间,从而实现数据降维。

PCA 常用于数据降维、数据可视化、数据压缩等场景,其特点是可以有效的降低数据维度,保留数据的主要特征。

PCA步骤
  1. 中心化:将数据的每一个特征列减去该列的平均值,使得每一个特征的均值为 0。
  2. 协方差:计算样本的协方差矩阵,该矩阵表示各个特征之间的关系。
  3. 特征分析:对协方差矩阵进行特征分析,得到特征值和特征向量。特征向量表示了新的坐标轴的方向,特征值表示了新坐标轴的方差。
  4. 降维:选择特征值较大的特征向量,构造新的坐标系,将原始数据投影到新的坐标系上,从而达到降维的目的。

​这些步骤通过计算的过程可以得到一个主成分的矩阵,该矩阵的列表示了新的坐标轴,行表示了每一个样本在新坐标系上的坐标。

​PCA 算法的一个重要优点是可以有效的降低数据的维度,降低数据的维数对于降低算法的复杂度和避免过拟合都有很重

PCA 优点
  1. 简化数据:PCA 可以有效的降低数据的维度,简化数据,便于后续数据分析。
  2. 减少噪声:PCA 可以把噪声数据降低到最小,提高数据的质量。
  3. 可视化:PCA 可以将高维数据映射到二维或三维空间,便于人眼观察和可视化。
  4. 去冗余:PCA 可以消除数据中的冗余信息,只保留主要信息。
PCA 缺点
  1. 信息损失:PCA 为了降低数据的维度,可能会导致一定的信息损失。
  2. 难以解释:PCA 降维后的数据维度和特征很难被人类直接理解和解释。
  3. 不适用于非线性数据:PCA 适用于线性数据,对于非线性数据,PCA 可能不能得到理想的结果。

所以在使用PCA时,要根据你的实际情况权衡利弊,结合其他算法一起使用

代码
import numpy as np# 使用这段代码可以实现将原始数据降维至指定的维数,并返回降维后的数据def PCA(X, k=None):    """    X: m x n 的数据矩阵,m 表示样本数量,n 表示每个样本的特征数    k: 需要保留的主成分数量,如果不指定,则保留所有的主成分    """    # 对样本进行中心化    X_mean = np.mean(X, axis=0)    X = X - X_mean    # 计算协方差矩阵    cov_matrix = np.cov(X.T)    # 计算协方差矩阵的特征值和特征向量    eigenvalues, eigenvectors = np.linalg.eig(cov_matrix)    # 对特征值进行排序,从大到小    eigenvalues_sorted_index = np.argsort(eigenvalues)[::-1]    eigenvalues = eigenvalues[eigenvalues_sorted_index]    eigenvectors = eigenvectors[:, eigenvalues_sorted_index]    # 根据 k 的值选择保留的主成分数量    if k is not None:        eigenvalues = eigenvalues[:k]        eigenvectors = eigenvectors[:, :k]    # 计算降维后的数据    transformed_X = np.dot(X, eigenvectors)    return transformed_X

关键词: 协方差矩阵 特征向量 原始数据