建站
咨询
售后
建站咨询
本篇文章给大家分享的是有关Python中怎么实现knn算法，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
作为一家“创意+整合+营销”的成都网站建设机构，我们在业内良好的客户口碑。创新互联公司提供从前期的网站品牌分析策划、网站设计、成都网站设计、成都网站建设、外贸网站建设、创意表现、网页制作、系统开发以及后续网站营销运营等一系列服务，帮助企业打造创新的互联网品牌经营模式与有效的网络营销方法,创造更大的价值。
一、题目名称
实现knn分类算法
二、题目内容
原生Python实现knn分类算法，并使用鸢尾花数据集进行测试
三、算法分析
knn算法是最简单的机器学习算法之一，通过测量不同特征值之间的距离进行分类。其基本思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最近邻)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
本次作业主要模拟实现了knn测试数据与训练数据之间的距离求解、排序、最邻近k个元素的筛选。其中，空间距离采用“欧式距离”进行计算，表达式如下：
上式中dist[i] 为测试数据与下标为i的训练数据的距离，xt,xi 分别为测试数据和下标为i的训练数据，算法整体流程图如下：
图 1 knn算法流程图
四、调试截图
调试过程主要的任务是观察数据结构：Python中的嵌套结构较为复杂，需要清楚每一步输出结果的维度和具体数据结构
五、运行结果
本次作业中的输入为鸢尾花数据集，输出为预测后的鸢尾花类型。最初设想采用散点图输出，但原生Python散点图效果较差，故改为直接字符串输出，输出类别即可，得出运行结果
图 4 原生Python散点图效果较差
=
图 5 改为直接字符串输出类别
六、问题及解决
实现过程中遇到的主要问题是数据结构的混淆。在knn实现类中，经过多次列表生成、嵌套，容易造成对数据结构的混淆，从而出现下标维数错误等错误，解决办法也很简单，debug查看数据结构或者直接print输出每步内容观察。
图 6 下标错误
七、源代码
1.knn.py
# !/usr/bin/env python
# -*- encoding: utf-8 -*-
# @Project : machinelearning
# @File : knn.py
# @Author : yanchengxu
# @Contact : yanchengxu1214@outlook.com
# @Time : 2019/10/7 16:14
# @IDE : PyCharm
import numpy as np
import math
class KNNClassifier:
"""
KNN
"""
def __init__(self, k=3):
"""
初始化
X_train 特征测试集
y_train 标量测试集
res_class 预测结果
:param k: 默认值为3
"""
self.k = k
self.X_train = []
self.y_train = []
self.result = []
def fit(self, X_train, y_train):
"""
KNN 训练模型
:param X_train: 训练集特征数据
:param y_train: 训练集目标数据
:return: self
"""
assert X_train.shape[0] == y_train.shape[0], '训练集特征与目标值个数不匹配'
assert self.k <= X_train.shape[0], 'K值超出训练数据范围'
self.X_train = X_train
self.y_train = y_train
# print('K', self.k)
# print('X.shape', self.X_train.shape)
# print('y.shape', self.y_train.shape)
def get_distance(self, x_test):
"""
计算距离
:param x_test: 测试集
:return: list_dist
"""
list_dist = []
for i in range(len(x_test)):
# x_train 是 X_train 中的每个坐标，只有一个维度
list_dist.append(
[math.sqrt(np.sum(x_train[0] - x_test[i][0]) ** 2 + np.sum(x_train[1] - x_test[i][1]) ** 2) for x_train
in self.X_train])
# print('len of list_dist =', len(list_dist[0]))
return list_dist
def get_k_nearest_dist(self, list_dist):
"""
对距离进行排序
:param list_dist: 测试点距离样本的距离
:return: list_k_nearest_dist
"""
k = self.k
list_each_dist = []
for i in range(len(list_dist)):
dict_temp = {}
for j in range(len(list_dist[i])):
dict_temp[j] = list_dist[i][j]
list_each_dist.append(dict_temp)
# print('list_each_dist:', list_each_dist)
# print('len of count_mix:', len(list_each_dist))
list_k_nearest_dist = []
for i in range(len(list_each_dist)):
# 键值对排序
dict_sorted_dist = dict(sorted(list_each_dist[i].items(), key=lambda x: x[1], reverse=False))
# print('dict_sorted_dist', dict_sorted_dist)
top = 0
dict_knearest_distance = {}
for key in dict_sorted_dist:
dict_knearest_distance[key] = dict_sorted_dist[key]
top += 1
if top == self.k:
break
list_k_nearest_dist.append(dict_knearest_distance)
# print('list_k_nearest_dist:', list_k_nearest_dist)
# 注意缩进!!!
return list_k_nearest_dist
def vote(self, k_nearest_dist):
"""
投票
:param k_nearest_dist: k个最近距离
:return: self
"""
# 所有测试点的topK个标签
list_all_test = []
for i in range(len(k_nearest_dist)):
# 每个测试点的topK个标签
list_each_test = []
for key in k_nearest_dist[i]:
# 数据结构
list_each_test.append(self.y_train[key])
# list_each_test.append(self.y_train[key][0])
list_all_test.append(list_each_test)
# print('list_class2', list_each_test)
# print('list_all_test：', list_all_test)
# 利用set去重->优化速度
set_list_class = []
for i in range(len(list_all_test)):
set_list_class.append(set(list_all_test[i]))
# print('set_list_class', set_list_class)
for i in range(len(set_list_class)):
dict_count = {}
for item in set_list_class[i]:
dict_count.update({item: list_all_test[i].count(item)})
# print('dict_count', dict_count)
# 获得字典dict_count中value最大值对应的key，即为每个点的分类结果
each_result = max(dict_count, key=dict_count.get)
# print('each_result', each_result)
self.result.append(each_result)
# print('result:', self.result)
return self.result
def predict(self, X_predict):
"""
预测
:param X_predict: 待测集
:return: self
"""
assert X_predict.shape[1] == self.X_train.shape[1], '特征数不匹配'
# 获取待测点与标准点的距离
distances = self.get_distance(X_predict)
# print("distances：", distances)
# 获取k个最近距离
k_nearest_dist = self.get_k_nearest_dist(distances)
# print("k_nearest_dist：", k_nearest_dist)
# 投票
result = self.vote(k_nearest_dist)
return result
2.test.py
# !/usr/bin/env python
# -*- encoding: utf-8 -*-
# @Project : machinelearning
# @File : test.py
# @Author : yanchengxu
# @Contact : yanchengxu1214@outlook.com
# @Time : 2019/10/7 16:57
# @IDE : PyCharm
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from myknn.knn import KNNClassifier
import numpy as np
import matplotlib.pyplot as plt
# import itertools
# import random
kn = KNNClassifier(3)
# 训练数据
# X = [[1, 1], [1, 2], [1, 3], [2, 1], [2, 2], [2, 3], [3, 1], [3, 2], [3, 3],
# [6, 6], [6, 7], [6, 8], [7, 6], [7, 7], [7, 8], [8, 6], [8, 7], [8, 8],
# [11, 1], [11, 2], [11, 3], [12, 1], [12, 2], [12, 3], [13, 1], [13, 2], [13, 3]]
#无锡做人流多少钱 http://www.xasgyy.net/
# Y = [['A'], ['A'], ['A'], ['A'], ['A'], ['A'], ['A'], ['A'], ['A'],
# ['B'], ['B'], ['B'], ['B'], ['B'], ['B'], ['B'], ['B'], ['B'],
# ['C'], ['C'], ['C'], ['C'], ['C'], ['C'], ['C'], ['C'], ['C']]
# # 随机
# random_list = list(itertools.product(range(1, 13), range(1, 8)))
# X = random.sample(random_list, len(Y))
# # print('random_list', X)
# print('shape y:', y_train.shape)
iris_dataset = load_iris()
# test
# print(iris_dataset)
X_train, X_test, y_train, y_test = train_test_split(iris_dataset['data'], iris_dataset['target'], random_state=0)
X = np.asarray(X_train)
Y = np.asarray(y_train)
# print('X:', X)
# print('Y,shape', Y.shape)
# print('Y.type', type(Y))
# 模型训练
kn.fit(X, Y)
# 数据预测
x_test = [[5, 2.9, 1, 0.2], [6.7, 3.2, 5.2, 2.3], [5.6, 3.1, 4.5, 1.5]]
X_test = np.asarray(x_test)
prediction = kn.predict(X_test)
# 打印预测结果
for i in range(len(prediction)):
print(x_test[i], '->', iris_dataset['target_names'][prediction[i]])
# # 散点图观察
# x1 = []
# y1 = []
#
# # 训练集
# for i in np.asarray(X):
# x1.append(i[0])
# y1.append(i[1])
#
# x2 = []
# y2 = []
# # 测试集
# for i in np.asarray(x_test):
# x2.append(i[0])
# y2.append(i[1])
#
# plt.plot(x1, y1, 'r*')
# plt.plot(x2, y2, 'g+')
# plt.show()
以上就是Python中怎么实现knn算法，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
当前题目：Python中怎么实现knn算法
标题来源：http://lswzjz.com/article/gicgcs.html
