机器学习中，特征提取和特征选择有什么区别?

特征提取和特征选择都是机器学习中的重要环节,但二者存在以下主要区别:

特征提取:是从原始数据中派生出新的特征,这些特征可以更好地表示数据的含义和内在相关性。例如,从图像数据中提取色 histogram、纹理特征等。特征提取的目的是得到数据的新的表示,这些表示可以提高学习模型的预测能力。

特征选择:是从已有的特征中选择最优的特征子集,用于训练学习模型。特征选择的目的是消除无关和冗余特征,减小特征维度,从而简化模型,提高预测性能和算法效率。常用的特征选择方法有过滤法(基于相关系数)、包裹法(基于学习模型)等。

可以看出,特征提取是生成新的特征表示,而特征选择是选择现有特征中的最优特征。两者的目的都是提高机器学习模型的效果,但达到目的的手段不同。实际应用中,也经常将两者结合使用,通过特征提取获得更丰富的特征表示,再从中采用特征选择方法选择最优特征,这种特征工程的流程可以获得最佳的特征集合,从而训练出高精度的学习模型。

所以,总的来说,特征提取侧重于获得数据的新表示,而特征选择侧重于优化现有特征,二者的区别主要在于对特征的获取方式不同,但目的和作用都是为了提高机器学习效果。希望这个区分可以帮助您理解特征工程的概念和流程。