使用sklearn 决策树，KNN，以及自定义KNN类来实现分类

本函数主要是使用sklearn三方库的一些函数来实现花朵种类的分类 同时也使用scipy自定义KNN算法

import numpy as np from sklearn.datasets import load_iris #导入数据 from sklearn import tree # 导入决策树

导入数据

> iris = load_iris() # print iris.feature_names # print iris.target_names # print iris.data[1] # print iris.target[1] iris = load_iris() test_idx=[0,50,100]

对训练数据和测试数据进行分类 改算法实现只使用了一部分数据，下面将使用全部数据 训练数据

train_targe = np.delete(iris.target,test_idx) train_data = np.delete(iris.data,test_idx,axis=0) 测试数据 test_target = iris.target[test_idx] test_data = iris.data[test_idx] #加载决策树分类器 clf = tree.DecisionTreeClassifier() 对训练数据进行训练 clf.fit(train_data,train_targe) #下面实现的是使用pydot把决策树输出到pdf文件中，可视化决策树 在实现这个功能之前需要下载pydot这个库 import pydot dot_data = tree.export_graphviz(clf, out_file=None) graph = pydotplus.graph_from_dot_data(dot_data) graph.write_pdf("iris.pdf") print test_target print clf.predict(test_data)

下面采用KNN，和决策树来实现分类 去读数据 X是数据 Y 是类别标签

这是使用的决策树实现分类

iris = load_iris() X = iris.data y= iris.target from sklearn.cross_validation import train_test_split # 使用交叉验证方法 test_size：样本占比，如果是整数的话就是样本的数量 X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=.2) from sklearn import tree #导入决策树 my_classfiler = tree.DecisionTreeClassifier() #决策树分类器 my_classfiler.fit(X_train,y_train) #进行训练 predictions=my_classfiler.predict(X_test) # 对模型进行验证 from sklearn.metrics import accuracy_score print (accuracy_score(y_test,predictions)) # 显示模型的准确率

使用KNN 进行分类

from sklearn.neighbors import KNeighborsClassifier my_classfiler=KNeighborsClassifier() my_classfiler.fit(X_train,y_train) #进行训练 predictions=my_classfiler.predict(X_test) # 对模型进行验证 from sklearn.metrics import accuracy_score print (accuracy_score(y_test,predictions)) # 显示模型的准确率

下面是自定义的KNN 创建KNN类 以及把欧氏距离函数写出来 改函数使用scipy包实现

#计算距离的欧氏距离算法 from scipy.spatial import distance def euc(a,b): return distance.euclidean(a,b) # 自定义KNN 类 import random class ScrapyKNN: def fit(self,X_train,y_train): self.X_train=X_train self.y_train=y_train def predict(self,X_test): predictions = [] for row in X_test: lable=self.closest(row) predictions.append(lable) return predictions def closest(self,row): best_dist=euc(row,self.X_train[0]) best_index = 0; for i in range(1,len(self.X_train)): dist=euc(row,self.X_train[i]) if (dist < best_dist): best_dist=dist best_index = i return self.y_train[best_index] my_classfiler =ScrapyKNN() my_classfiler.fit(X_train,y_train) predictions = my_classfiler.predict(X_test) from sklearn.metrics import accuracy_score print accuracy_score(y_test,predictions)

到此KNN和决策树实现花朵分类就已经实现了，导入knn和决策树对于机器学习算法来说只是比较简单的算法。值得一提的是自定义的KNN算法和sklearn中的knn算法的准确率差别并不是很大，自定义的KNN算法使用的是默认的邻近数字1 这些都是可以自己更改的。