基于Python的卷积神经网络CNN人工智能实验

朱雀 2024-03-27 12:04 156阅读 0赞

人工智能实验  
目录  
人工智能实验 1  
一、 卷积神经网络CNN 1

1.  算法原理 1
2.  网络结构 2
3.  结果分析 5  
    二、 循环神经网络RNN 9
4.  算法原理 9
5.  网络结构 11
6.  结果分析 11  
    三、 其他 13  
    二、 循环神经网络RNN
7.  算法原理  
    1.1 RNN的基本思想  
    RNN是一类扩展的人工神经网络，适用于对序列数据进行建模，如文本、语音、视频等。RNN的核心思想是前后的样本在时序上存在相关性，通过神经网络在时序上的展开，可以捕捉样本之间的序列相关性。  
    RNN的每次的输入除了本次的输入 x t x\_t xt之外，还有上一次的循环部分的隐藏层结果 h t − 1 h\_\{t-1\} ht−1。两个部分都乘以各自的权重后进行拼接，再进行之后的计算。如某层在某一序列 t t t的输入为 x t x\_t xt，改层在上一序列的结果为 h t − 1 h\_\{t-1\} ht−1，则本序列下本层的结果为：

再进行加权运算和经过激活函数得到本层最终的输出：

循环神经网络中，最常用的激活函数为sigmoid和tanh，公式分别为：  
 f ( z ) = 1 1 + exp ⁡ ( − z ) f(z)=\\frac\{1\}\{1+\\exp(-z)\} f(z)=1\+exp(−z)1  
 f ( z ) = e z − e − z e z + e − z f(z)=\\frac\{e^z-e^\{-z\}\}\{e^z+e^\{-z\}\} f(z)=ez\+e−zez−e−z  
在多分类任务的输出层，也可以使用softmax函数。softmax函数是sigmoid函数的一个变种，能够将输入的特征向量转化成各个标签的概率：

1.2 关键词提取原理  
在本次RNN实验中，需要提取语句中的关键词。考虑将每个句子的单词依次作为输入给RNN进行训练。考虑到单词作为字符串不能直接用于神经网络的输入，需要将每个单词转换为向量，被称为词向量。两个词向量的夹角越小，表示这两个词的词义越相近。  
提取关键词的过程相当于给各个单词进行分类。总的来说，所有的单词可以分为两类：是关键词和不是关键词。但考虑到关键词不一定是单个单词，有可能是多个单词组成的词组，因此又可以继续细分。最终，将单词分成以下四类：  
非关键词  
单个单词本身是关键词  
该单词是构成关键词的词组的一部分，但不是词组的最后一个单词  
该单词是构成关键词的词组的一部分，且是词组的最后一个单词  
在训练过程中，考虑到输入单词是按句子中单词排列顺序进行的，在遇到词组作为的关键词时，若当前单词是词组的一部分，则继续学习下一个单词，遇到词组的最后一个单词时就学习了整个词组。

网络结构部分代码如下：
        def __init__(self, input_size, hidden_size, output_size):
            super(RNN, self).__init__()
            self.hidden_size = hidden_size
            self.i2h = nn.Linear(input_size + hidden_size, hidden_size)
            self.i2o = nn.Linear(input_size + hidden_size, output_size)
            self.softmax = nn.LogSoftmax(dim=1)
    
        def forward(self, input, hidden):
            combined = torch.cat((input, hidden), 1)
            hidden = self.i2h(combined)
            output = self.i2o(combined)
            output = self.softmax(output)
            return output, hidden

![在这里插入图片描述][b07a2e98905149d1b0f230efa54570eb.png_pic_center]  
![在这里插入图片描述][14c4f744dfee4dc2afe9c8a1c416eea2.png_pic_center]  
![在这里插入图片描述][9a054b0b7f0d43238570bce7063fae2e.png_pic_center]  
![在这里插入图片描述][455cb9cc07744473bf2e118f54ed7212.png_pic_center]  
![在这里插入图片描述][afafc13eb28d45aea29342b9da286f41.png_pic_center]  
![在这里插入图片描述][b1df87048cd7492b9e482ed06daeb4ef.png_pic_center]  
![在这里插入图片描述][7a6964d9ec6943318a3b67c70226c452.png_pic_center]  
![在这里插入图片描述][e47bb7a5c0404129b7ce4c9f0866bd08.png_pic_center]  
![在这里插入图片描述][cc2fcc656c5c468a8be9a7a2947711fa.png_pic_center]  
![在这里插入图片描述][1770646efc6240cd8b98c2b61c7163df.png_pic_center]  
![在这里插入图片描述][fa9a519ecf824f1ab565d5dccd9bcf7e.png_pic_center]  
![在这里插入图片描述][2003e8c40251473e8722a1c32f5d84ea.png_pic_center]

[b07a2e98905149d1b0f230efa54570eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1dfe3bcac0b04a2e82a7284957b09705.png
[14c4f744dfee4dc2afe9c8a1c416eea2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/aeef419dbcb54145af99165c97ae2757.png
[9a054b0b7f0d43238570bce7063fae2e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/29907dca7cf24d0db764d7f3c3125117.png
[455cb9cc07744473bf2e118f54ed7212.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a11004179c434178b28885d2d8b4a737.png
[afafc13eb28d45aea29342b9da286f41.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2ea56cacc3cd4e868971c14a126f33bc.png
[b1df87048cd7492b9e482ed06daeb4ef.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/45f165ff1bff405ebfd97af7a3564e27.png
[7a6964d9ec6943318a3b67c70226c452.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/416170424dc44703bfc878b0ccb76969.png
[e47bb7a5c0404129b7ce4c9f0866bd08.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/456d62bf20454cffacaec3deea16fef9.png
[cc2fcc656c5c468a8be9a7a2947711fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9fe0509a457a4ecf928414a6f6c34e46.png
[1770646efc6240cd8b98c2b61c7163df.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/659e1deaaded4a08b68c09578bd4713e.png
[fa9a519ecf824f1ab565d5dccd9bcf7e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/85a476a08bf34d6f8e98d3c731c39105.png
[2003e8c40251473e8722a1c32f5d84ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/04e4bacd50c84968aad485b29103db4f.png