聚类分析在桥梁监测数据中的应用
将物理或抽象对象的集合分组成为有类似的对象组成的多个子计划的过程叫聚类，聚类一般是对几个数据项同时操作。
分类的学习过程是一种有指导的学习过程，是基于某种标量，进行分类，而聚类的学习过程是一种无指导的学习过程。
其中的数据可以划分为一系列有意义的子集，即类。
聚类分析的内容很丰富，它源于许多研究领域。
聚类算法大题可以划分为以下几类：基于模型的的方法，划分方法，层次方法，基于密度的方法，和基于网格的方法。
1）基于模型的方法
，基于模型的方法为每个簇假定了一个模型，寻找数据对给定模型的最佳拟合。
基于模型的算法可能通过构建反映数据点空间分布的密度函数来定位聚类。
基于模型聚类方法包括统计分析方法，神经网络方法等。
在统计分析方法中，聚类分析是基于距离的聚类，如欧式距离，海明距离等。
这种聚类分析方法是一个基于全局比较的聚类，他需要考察所有的个体才能决定类的划分。
如ART模型、Kohonen模型等，这是一种无监督学习方法。
当给定距离阈值后，各种本按阈值进行聚类。
2）划分方法
通常会采用一个划分准则（经常称为相似度函数），例如距离，即便在同一个簇中的对象是相似的，在不同簇中的对象是相异的。
3）层次方法
根据层次分解是自底向上还是自顶向下形成，层次聚类的方法可以进一步分为凝聚和分裂的。
层次聚类方法的缺陷在于，一旦一个步骤（合并或分裂）完成，它就不能被撤销，因此而不能更正错误的决定。
改进层次方法的聚类质量的一个有希望的方向是将层次聚类和其它聚类技术进行集成，今天多阶段聚类。
4）基于密度的方法
提出了基于密度的聚类方法是为了发现任意形状的聚类结果。
其主要思想是：只要邻近区
域的密度超过某个阈值，就继续聚类。
这样的方法可以用来过滤噪声，孤立点数据，发现任意形状的簇。
5）基于网格的方法
基于网格的聚类方法采用一个多分辨率的网格数据结构。
把对象空间量化为有限数目的单元，形成一个网格结构。
所有的距离操作都在这个网格结构上进行。
这种方法的主要优点是它的处理速度很快，其处理时间独立于数据对象的数目，只与量化空间中每一组为的单位数目有关。
二、桥梁监测数据的聚类分析模型，
聚类分析是一种数据化分或分组处理的重要手段和方法，其操作的目的在于将特征空间中一组没有类别标记的矢量按某种相似性准则划分到若干个子集中，使得每个子集代表整个样本集的某个或某些特征和性质。
聚类可以看成无指导（监督）分类，而一般的分类方法一般是一些基于有监督的方法，也就是已知某些样本的分类情况，用这些已知样本对分类系统进行学习（训练），使得分类系统能够对这些已知样本正确分类，然后用以学习好的分类系统对未知样本进行分类。
基于监督分类的方法需要知道学习样本的先验知识，而聚类不需要，聚力解决的问题就是将已给定的若干无标记的模式聚集起来使之成为有意义的聚类。
对于桥梁监测数据而言，大多数情况下不清楚如何对桥梁监测数据进行评估，不知道这些数据是如何分类的，即没有好的分类标记（除非有桥梁专家添加一个变量作为分类标记），在这种情况下可以利用聚类技术对数据进行无指导的分析处理，得出数据的一些簇，自动产生监测数据的不同集合。
聚类分析有许多方法，本文采用kohonen网络的聚类方法。
2.1 kohonen人工神经网络
kohonen网络是一种SOM（self-Organizing Maps 自组织映射）竞争型人工神经网络，它由kohonen提出，对生物神经系统进化过程的模拟。
SOM网络分为两层，一层为输入层，一层为输出层（也称竞争层），两层之间的各神经元实现双向全连接，网络中没有隐含层。
输入层是一维的神经元，输出层是二维的神经元，输出层神经元构成二维格形，格形确定了神经元在空间中的邻域关系（格式由X和Y轴确定），且输出层神经元与每个输入节点都有连接，每个连接都有权值。
kohonen网络的本质上是希望模拟外界信息在人脑中自组织力形成概念的过程。
对于一个系统来说，就是要解决一个系统在受外界信息作用时在内部自组织力形成对应表示形式。
这包括神经网络的权系数调整。
kohonen神经网络的自调整过程和大脑的自组织过程是相仿的。
神经网络是由可以自调正的神经元组成，可以把网络自组织成对输入信息中某一特征敏感的形式。
设输入向量表示为：
kohonen网络和许多其他的神经网络方法一样，要对网络进行训练，SOM网络训练过程如下：
初始化权值向量U，确定学习率的初始值
和邻近值的初始值和总的学习次数T，以及网络的结构。
为了使相同的数据能在每次聚类分析后能得到相同的值，可采用固定的初始权值，这样就使生成的聚类模型可以重复利用。
2）取样。
以一定概率从输入向量里取样本。
3）找出权值向量最接近输入向量的获胜神经元e。
4）调整权值向量。
通过使用以下更新公式调整临近值范围内的神经元的权值向量。
为了确定某神经元是否在临近值范围内，可以引入切比雪夫距离：
按照上述方式对kohonen网络不停训练，直到满足设定的条件为止，训练结束条件可以设定为在规定时间结束或者为规定训练循环次数。
kohonen网络中的两个参数必须预先定义：
学习率控制权值的调整的幅度，学习率越大，权值变化的幅度越大，相反就越小。
的初始值可以选择较大的数值，在学习过程中将按下式不断减少，
t: 训练的次数
2）邻近值的大小No
训练刚开始时通常会选择较大的相邻邻居个数，在学习的过程中将按下式不断减少，
从kohonen网络的训练过程看，输出神经元的权值向量U逐渐向样本集中的某个区域的某个样本（这些样本总是以该神经元为获胜神经元）靠近，实现了对输入数据的聚类。
自组织的目的就是通过调整权系数，使神经网络收敛于一种表示形态，在这一表示形态中的一个神经元只对某种输入模式特别匹配或特别敏感，自组织映射的目的就是神经元的权系数的形态表示可以间接模仿输入的信号模式。
2.2 桥梁监测数据的聚类分析
在利用kohonen对数据进行聚类分析之前，需要对数据进行空缺之处理、规范化处理。
由于神经网络的处理大型数据集的速度较慢，可以用，PCA（主要成分分析）来压缩数据，也可以把数据概化到较高层次来处理。
kohonen对数据进行分析可分为两个过程，一个是大体的评估过程，就能获得数据的总体模式，另一个是调整优化过程，用来对映射网络进行调整，为数据包含的特征建立更好的模型。
利用一个3行2列的kohonen网络对桥梁监测数据（如包含挠度、湿度、温度、应变和加速度等桥梁监测数据）进行分析，当kohonen网络训练和学习结束后，分析数据都映射到如图4.3所示的六个方格，据一共聚类为六个簇，方格的颜色越深，表示那个簇的记录越多。
其分析结果为，据一共聚类为6个簇，每一条记录数据记录都属于相应的簇，同时用于分析的数据中多了一个簇变量，也生成了其他一些非常有用的信息。
为了对分析的结果做更好的观察，可以使用各种可视化的方法来显示结果。
如kohonen网络的Distance图（图4.4）所示，每个圆圈为一个簇，圆圈的大小反映了簇类数据之间距离的大小，而圆圈之间的位置关系也反映簇之间的距离大小，距离越大，簇之间的差别就越大。
对于跟其它簇较远的类所含的数据需要认真检测，因为这些数据可能是些不寻常的数据。
聚类结束后可以从许多方面对聚类分析的结果进行深入分析。
如表4.1所示，该表反映了部分数据变量聚类时的相对重要度，其值的取值范围为, 值越大表示该变量对聚类的结果影响越大。
可以从表中看出变量WD61（为温度变量）、YB24（为应变变量）对聚类的结果影响较大，可以多研究一下重要度较大的数据。
还可以结合聚类后数据直方图、分位数图、盒图及其他统计信息来分析聚类结果。
对kohonen网络进行训练时，需给出学心率和邻近值的初始值，已经决定了kohonen的拓扑结构，为了训练出更适合桥梁监测数据的kohonen网络，可以更改这些参数的初始值设定，重新对网络进行训练，并对产生的聚类模型进行评估，直到找到一个满意的模型。
当桥梁的结构或环境参数值出现异常时，kohonen聚类模型可用于孤立点的检测，发现异常记录，通过异常记录的采集位置来发现桥梁的结构的异常变化位置，即kohonen聚类网络也可用于桥梁监测数据的孤立点分析，。
当桥梁各项结构和环境参数值正常时，由这些正常的数据所训练出来的kohonen神经网络，就可以对以后所采集的参数值进行检验，把现在的数据用原来建立的kohonen聚类模型进行聚类分析，如果聚类情况差异较大，就说明现在的数据可能出现了异常。
桥梁监测数据集的大小往往要达到100M以上，数据记录的字段数也会超过100个，kohonen聚类可用于对数据进行维规约，以减小参与分析的字段数。
聚类在分析桥梁检测数据中可以用于：
1）普通类和不寻常内的识别。
如果一个类记录数较小并且与其它类的差距（一般距离表示，见图4.4所示）较大，它就属于不寻常的类，该类中可能还有一些异常数据，它可能是桥梁结构出现异常情况的表现。
如果一个类所含的记录较多，并且这样的类比较集中，这种类就属于普通类，它反映了桥梁监测数据的主要特征。
2）对桥梁监测数据进行预处理，特别是对于大的数据进行数据归约，用生成的类替原有数据。
3）建立的聚类模型用于后来所采集数据的检测和对比。