机器学习过程中的数据预处理和特征选择方法
数据清洗（data cleaning）是在机器学习过程中一个不可缺少的环节，其数据的清洗结果直接关系到模型效果以及最终的结论。
在实际的工作中，数据清洗通常占开发过程的50%-80%左右的时间。
数据清洗过程：
在数据预处理过程主要考虑两个方面，如下：（2）缺省值清洗
（4）逻辑错误清洗
主要是通过简单的逻辑推理发现数据中的问题数据，防止分析结果走偏，主要包含以下几个步骤：
（5）去除不需要的数据
如果数据有多个来源，那么有必要进行关联性验证，该过程常应用到多数据源合并的过程中，通过验证数据之间的关联性来选择比较正确的特征属性，比如：汽车的线下购买信息和电话客服问卷信息，两者之间可以通过姓名和手机号进行关联操作，匹配两者之间的车辆信息是否是同一辆，如果不是，那么就需要进行数据调整。
特征转换主要指将原始数据中的字段数据进行转换操作，从而得到适合进行算法模型构建的输入数据（数值型数据），在这个过程中主要包括但不限于以下几种数据的处理：机器学习的模型算法均要求输入的数据必须是数值型的，所以对于文本类型的特征属性，需要进行文本数据转换，也就是需要将文本数据转换为数值型数据。
常用方式如下：
以词袋法的形式表示文档
HashingVectorizer
以HashingTF的模型来表示文档的特征向量
以TF-IDF的模型来表示文档的特征向量，等价于先做CountVectorizer，然后做TfidfTransformer转换操作的结果
使用改进的TF-IDF公式对文档的特征向量矩阵（数值型的）进行重计算的操作，TFIDF=TF*(IDF+1)。
备注：该转换常应用到CountVectorizer或者HashingVectorizer之后
Scikit-learn中进行缺省值填充
对于缺省的数据，在处理之前一定需要进行预处理操作，一般采用中位数、均值或者众数来进行填充，在Scikit-learn中主要通过Imputer类来实现对缺省值的填充。
区间缩放法
区间缩放法：是指按照数据的方差特性对数据进行缩放操作，将数据缩放到给定区间上，常用的计算方式如下。
归一化：和标准化不同，归一化是基于矩阵的行进行数据处理，其目的是将矩阵的行均转换为“单位向量”，l2规则转换公式如下：
数据多项式扩充变换
多项式数据变换主要是指基于输入的特征数据按照既定的多项式规则构建更多的输出特征属性，比如输入特征属性为，当设置degree为2的时候，那么输出的多项式特征为
当做完特征转换后，实际上可能会存在很多的特征属性，比如：多项式扩展转换、文本数据转换等等，但是太多的特征属性的存在可能会导致模型构建效率降低，同时模型的效果有可能会变的不好，那么这个时候就需要从这些特征属性中选择出影响最大的特征属性作为最后构建模型的特征属性列表。
在选择模型的过程中，通常从两方面来选择特征：特征选择的方法主要有以下三种：
常见的降维方法除了基于L1的惩罚模型外，还有主成分析法（PCA）和线性判别分析法（LDA），这两种方法的本质都是将原始数据映射到维度更低的样本空间中，但是采用的方式不同，PCA是为了让映射后的样本具有更大的发散性，LDA是为了让映射后的样本有最好的分类性能。
将高维的特征向量合并成为低维度的特征属性，是
线性判别分析（LDA）
LDA是一种基于分类模型进行特征属性合并的操作，是一种有监督的降维方法。
Jieba分词原理Jieba分词使用
所谓特征工程即模型搭建之前进行的数据预处理和特征提取。
有时人们常常好高骛远，数据都没处理好就开始折腾各种算法，从第一开始就有问题，那岂不是还没开始就已经结束了。
作者：苏小保（jacksu） 华为工程师 擅长分布式系统、大数据、机器学习。
在这次校园招聘的过程中，我学到了很多的东西，也纠正了我之前的算法至上的思想，尤其是面试百度的过程中，让我渐渐意识到机器学...在这次校园招聘的过程中，我学到了很多的东西，也纠正了我之前的算法至上的思想，尤其是面试百度的过程中，让我渐渐意识到机器学习不是唯有算法，机器学习是一个过...原文链接： 机器学习中的一个经典理论是：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。
也正因如此，特征工程在机器学习流程中占有着重要地位。
广义的特征工程一般...对于机器学习，业内早有这样的说法：“数据和特征决定了你机器学习模型效果的上限，而模型和算法只是逐渐逼近这个上限而已。”小编不才，在机器学习方面只尝试过一些简单的...通过对这些数据的分析和挖掘，不仅能给美团业务...机器学习（ML）应用的数据量在不断增长。
不仅是观察值的数量，特别是测量变量（特征）的数量随着不断的数字化而增加。
为预测性建模选择最合适的特征是商业和研究中ML应...今天说一说面向高维和不平衡数据分类的集成学习研究论文研读笔记「建议收藏」,希望能够帮助大家进步!
!作者：JasonDing1354
我们接下来会详细介绍机器学习如何应用到实际问题...可能有人还记得一个非常古典的、关于推荐系统的例子：超市把尿布和啤酒摆一起，显著的增加了二者的销量。