KNN算法中K是 咋决定的( 二 )
。在操作层面，原文还讨论了在
有限时如何利用 cross-validation 选择
的问题。
第二篇文章直接讨论了当
趋于无穷时
-NN 中的
应该怎么选的问题。前面说了
-NN 是不具有一致性的，而事实上如果
不发散到无穷，任何 【KNN算法中K是 咋决定的】
-NN 都不具有一致性（比如
-NN）。Hall et al. (2008) 对
-NN 分类器的风险函数（risk function）
（
指原始训练集的样本量）进行了展开，发现最优（使得
最小）的
应该满足
其中
为常数项，
是指数据的维度。此时最小的风险
则满足
此中
表示（理论上最优的）贝叶斯分类器的风险。也就是说，当
以一定的速度发散到无穷时，
-NN 的风险收敛到贝叶斯分类器的风险。这里我们可以看到维度
对于
-NN 方法的风险的收敛速度的负面影响。当然到这里问题并没有完全解决，因为我们并不知道 (1) 式中的常数项
怎么选（一般来讲这类常数项的准确表达都很难得到，除非是有很具体的参数假设）。因此原文还讨论了如何在这些理论基础上利用 cross-validation 选择
的问题。
如果题主对
-NN 的理论有兴趣，可以进一步搜索这两篇文章引用的以及引用这两篇文章的文献。关于 Peter Hall 教授在分类问题上的其他贡献，可以参考这一篇综述：
Samworth, R. J. (2016). Peter Hall’s work on high-dimensional data and classification. The Annals of Statistics, 44(5), 1888–1895.
■网友
按照前几天组会交流的方法，
推荐阅读
![[美国女巫]飞星传情，姻缘随风来，3星座难抵旧情，决心重来，4月下旬](https://imgcdn.toutiaoyule.com/20200405/20200405165802361662a_t.jpeg)
- 为啥这个算法误差的看起来这么小
- 使用算法帮助人们筛选reader的信息是否存在可能
- 请问如果想成为算法工程师的话，大学选专业是选软件工程好还是计算机科学与技术好。
- 神经网络算法是否真的属于人工智能范畴
- 以算法为例，是否存在讲解者认为“懂得自然懂了，不懂的我说再多也白搭”的心理
- 豆瓣FM的推荐算法还有哪些可以改进的地方
- 如果已确定图像中物体的位置， 常用的目标分割和提取算法有哪些
- 请问只靠优化软件可以提高手机信号质量吗就是说不改变基带芯片和天线设计，信号质量可以靠算法优化吗
- 网络台球的动量算法规则是咋写的
- 各种hash算法的值域是啥分布