数据挖掘复习笔记---04.2分类问题之 KNN

分类问题之 KNN

简介

• lazy learning, 训练阶段仅仅保存样本, 没有显式的学习过程, 待收到测试样本后再进行处理

  
  

• 三要素: k值的选择, 距离度量(街区, 欧式, 闵可夫斯基), 分类决策规则(majority vote)

  
  

• 分类步骤

  1.计算测试点到训练集各个点的距离
  2.找出距离最小的 k 个点
  3.投票法得出类别

  
  

• k 过小, 则对噪声敏感; k 太大, 则可能包含太多其余类别的点

  
  
  

• 属性中须要归一化, 防止某一属性在计算距离的时候占主导地位

  
  

优势

• 复杂度较低
• 效率高
• 很是适用于简单数据集的分类
• 抗噪，对噪声鲁棒
• 选取最优决策树是NP彻底问题

  
  

其余

• PEBLS: Parallel Examplar-Based Learning System (Cost & Salzberg)