机器学习—决策树构造算法的python实现

客官°小女子只卖身不卖艺 2024-02-19 21:20 128阅读 0赞

#### 机器学习—决策树算法的python实现 ####

*  想要实现的效果
 *  先来看下结果
 *  程序原理
 *  数据
 *  完整代码（附有具体解析）

## 想要实现的效果 ##

对于这个不好玩的决策树，我想要得到的就是通过决策树训练我的数据然后生成这棵决策树，再进行测试，把辣鸡数据输入得出最后的预测结果

## 先来看下结果 ##

1.得到的辣鸡决策树  
哇，调用graph模块竟然可直接生成如下的PDF图片诶  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70]  
2.那随手在来张测试结果的截图吧  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70 1]

## 程序原理 ##

这个什么鬼原理就是先将训练集的数据按age、spectacle-prescrip、astigmatism、tear-prod-rate、contact-lenses的分类提取特征数据，再转化为如下的numpy矩阵。其中age有三中数据故前三位数代表age，以此类推。接着两位数为astigmatism，再两位为spectacle-prescrip，再为ear-prod-rate，右边那3个就是代表contact-lenses。  
这个总共有19行的数据蛮，就是代表有19组的数据（数据后面有的）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70 2]  
通过得到的上图就可以推断出各个数据所对应的代码，下图中把age下的三个数据代码写出来了，其他的蛮，emmmmm就留给你们了（假装不是因为我懒哈哈哈哈哈哈）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70 3]  
得到楼上辣个矩阵后直接调用python的决策树库函数构建决策树再生成一个决策树PDF就好了，哈哈

## 数据 ##

以下这些乱七八糟的数据是隐形眼镜数据，属性特征为：  
age:\{young，pre-presbyopic，presbyopic\}；  
年龄 \{年轻的,老花眼前期,老花眼\}  
astigmatism:\{no，yes\}  
散光 \{否,是\}  
spectacle-prescrip:\{myope，hypermetrope\}；  
眼睛处方 \{近视者,远视者\}  
tear-prod-rate \{reduced, normal\}  
眼泪分泌率 \{减少,正常\}  
contact-lenses \{soft, hard, none\}  
隐形眼镜 \{软性,硬性,不适合佩戴\}  
（我们最后就是要通过前面几个属性来预测这个孩子适合什么样的眼镜）

1.那就先给你看下训练集数据吧

number,age,spectacle-prescrip,astigmatism,tear-prod-rate,contact-lenses
    1,young,myope,no,reduced,none
    2,young,myope,no,normal,soft
    3,young,myope,yes,reduced,none
    4,young,myope,yes,normal,hard
    5,young,hypermetrope,no,reduced,none
    6,young,hypermetrope,no,normal,soft
    7,young,hypermetrope,yes,reduced,none
    8,young,hypermetrope,yes,normal,hard
    9,pre-presbyopic,myope,no,reduced,none
    10,pre-presbyopic,myope,no,normal,soft
    11,pre-presbyopic,myope,yes,reduced,none
    12,pre-presbyopic,myope,yes,normal,hard
    13,pre-presbyopic,hypermetrope,no,reduced,none
    14,pre-presbyopic,hypermetrope,no,normal,soft
    15,pre-presbyopic,hypermetrope,yes,reduced,none
    16,pre-presbyopic,hypermetrope,yes,normal,none
    17,presbyopic,myope,no,reduced,none
    18,presbyopic,myope,no,normal,none
    19,presbyopic,myope,yes,reduced,none

2.在来个测试数据

young,hypermetrope,yes,normal,hard
    pre-presbyopic,hypermetrope,yes,reduced,none
    pre-presbyopic,hypermetrope,yes,normal,none
    presbyopic,hypermetrope,yes,reduced,none
    presbyopic,hypermetrope,yes,normal,none

## 完整代码（附有具体解析） ##

# pyinstaller -F agfd.py
    import os
    import csv
    import sys
    import pydotplus
    from sklearn.feature_extraction import DictVectorizer
    from sklearn import preprocessing
    from sklearn import tree
    
    #导入挖掘数据
    film_data = open('film.csv','r')
    reader = csv.reader(film_data)
    headers = next(reader)
    
    #展示数据内容
    file = open('film.txt', 'r')
    for line in file:
        print(line,end="")
    file.close()
    
    #定义特征值数组，结果数组
    feature_list = []
    result_list = []
    
    #按行循环
    for row in reader:
        #取结果 将每行最后一个添加到数组中
        result_list.append(row[-1])
        #取特征值 即除去序号和结果的中间部分其余留下，压缩两个数组为字典，添加到特征数组中
        feature_list.append(dict(zip(headers[1:-1],row[1:-1])))
    
    # print(result_list)
    # print(feature_list)
    
    #转化数据类型为numpy array
    vec = DictVectorizer()
    
    #进行标准化处理数据
    featue1 = vec.fit_transform(feature_list)
    result1 = preprocessing.LabelBinarizer().fit_transform(result_list)
    
    # print(dummyX)
    # print(dummyY)
    
    #调用决策树，传入信息熵类型
    clf = tree.DecisionTreeClassifier(criterion='entropy',random_state=0)
    #用fit方法传入训练集及结果集
    clf = clf.fit(featue1,result1)
    os.environ["PATH"] += os.pathsep + 'D:/Graphviz/bin/'
    
    #展示决策树
    dot_data = tree.export_graphviz(clf,
                                    feature_names=vec.get_feature_names(),
                                    filled=True, rounded=True,
                                    special_characters=True,
                                    out_file=None)
    from IPython.display import display, Image
    graph = pydotplus.graph_from_dot_data(dot_data)
    graph.write_pdf("film.pdf")
    
    #测试数据，展示分类结果
    age = input("age: ")
    dct = {'young': '0,0,1', 'pre-presbyopic': '1,0,0', 'presbyopic': '0,1,0'}
    age1 = dct[age]
    # print(age1)
    
    ast = input("astigmatism: ")
    dct = {'no': '1,0', 'yes': '0,1'}
    ast1 = dct[ast]
    # print(ast1)
    
    spe = input("spectacle-prescrip: ")
    dct = {'myope': '0,1', 'hypermetrope': '1,0'}
    spe1 = dct[spe]
    # print(spe1)
    
    tear = input("tear-prod-rate: ")
    dct = {'reduce': '0,1', 'normal': '1,0'}
    tear1 = dct[tear]
    # print(tear1)
    
    print("A=([[%s,%s,%s,%s]])" % (age1, ast1, spe1, tear1))
    input("请将A值填入程序中的对应位置，填完后请输入'1'确认:")
    
    A=([[0,0,1,0,1,1,0,1,0]])
    predict_result = clf.predict(A)
    
    if sum((predict_result==[[0,0,1.]])[0])==3:
        predict_result = 'soft'
        print('预测结果：' + predict_result)
    
    if sum((predict_result==[[0,1,0.]])[0])==3:
        predict_result = 'none'
        print('预测结果：' + predict_result)
    
    if sum((predict_result==[[1,0,0.]])[0])==3:
        predict_result = 'hard'
        print('预测结果：' + predict_result)
    
    sys.exit()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/0f426b7feeeb47cdb34d66b8385d450b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/30041962ced44ad8b2a34e7dcb934241.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/079d841237bb4d2dadf233794d0a108b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjA1MjI5_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a485da413fb847b18404e4607b04db95.png