NLP深度网络中self.embedding(x)词嵌入后降维方法

柔光的暖阳◎ 2023-09-30 23:35 28阅读 0赞

> 在自然语言处理中的循环神经网络中，经常使用`torch`定义类，`self.embedding(x）`中，`x`是输入，介绍`self.embedding(x）`返回结果，以及结果的形状，并解释这个形状

在自然语言处理中的循环神经网络中，使用`PyTorch`定义类时通常会包含一个嵌入层`（embedding layer）`。在嵌入层中，使用`self.embedding(x)`语句将一个整数张量`x`作为输入，并将其转换为一个浮点数张量。

具体来说，嵌入层将每个整数x映射到一个长度为`embedding_dim`的浮点数向量，其中`embedding_dim`是嵌入向量的维度。这些浮点数向量可以被认为是嵌入空间中的点，表示输入序列中每个单词的语义信息。因此，嵌入层的作用是将整数序列转换为连续向量空间中的向量表示。

`self.embedding(x)`返回的结果是一个形状为`[batch_size, seq_length, embedding_dim]`的三维浮点数张量，  
其中:

`batch_size`表示输入数据的批次大小，  
`seq_length`表示输入序列的长度，  
`embedding_dim`表示嵌入向量的维度。

例如，如果我们有一个批次大小为`32`、序列长度为`10`、嵌入向量维度为`100`的输入张量`x`，则`self.embedding(x)`将返回一个形状为`[32, 10, 100]`的浮点数张量。这个张量的每个元素都是一个浮点数值，表示输入序列中每个单词在嵌入空间中的向量表示。

需要注意的是，这个张量的形状可能会根据输入的大小和模型的设计而有所不同。但总体来说，这个张量的形状反映了嵌入层将输入序列转换为连续向量空间中的向量表示的结果。

> 如何将`[batch_size, seq_length, embedding_dim]`张量，按照`dim=0`展开，对每一个`[seq_length, embedding_dim]`的`2`维张量进行处理，最后将所有`dim=0`展开处理后的结果，重新组成`3`维张量

可以使用PyTorch中的view和permute函数来完成这个操作。具体步骤如下：

*  使用view函数将\[batch\_size, seq\_length, embedding\_dim\]张量变形为\[batch\_size\*seq\_length, embedding\_dim\]二维张量。
 *  对变形后的二维张量进行处理，比如可以使用全连接层进行处理。
 *  使用view函数将处理后的二维张量变形为\[batch\_size, seq\_length, processed\_dim\]张量，其中processed\_dim为处理后的结果维度。
 *  使用permute函数将维度顺序恢复为\[batch\_size, seq\_length, processed\_dim\]。

下面是代码示例：

import torch
    
    # 定义处理函数
    def process_func(input):
        # 对二维张量进行处理，这里使用全连接层进行处理
        processed = torch.nn.Linear(input.shape[1], 128)(input)
        return processed
    
    # 输入张量
    input_tensor = torch.randn(4, 10, 32)
    
    # 将张量展开为二维张量
    batch_size, seq_length, embedding_dim = input_tensor.shape
    flat_input = input_tensor.view(batch_size*seq_length, embedding_dim)
    
    # 对二维张量进行处理
    processed = process_func(flat_input)
    
    # 将处理后的二维张量变形为三维张量
    processed_dim = processed.shape[1]
    output_tensor = processed.view(batch_size, seq_length, processed_dim).permute(0, 1, 2)
    
    # 输出结果
    print(output_tensor.shape)

这段代码首先将`[batch_size, seq_length, embedding_dim]`的张量变形为`[batch_size*seq_length, embedding_dim]`的二维张量，然后使用`process_func`函数对二维张量进行处理，最后将处理后的结果变形为`[batch_size, seq_length, processed_dim]`的三维张量，并恢复维度顺序。

![在这里插入图片描述][b92123d54efb4b7584d29e4fb7d193cb.png_pic_center]

[b92123d54efb4b7584d29e4fb7d193cb.png_pic_center]: https://img-blog.csdnimg.cn/b92123d54efb4b7584d29e4fb7d193cb.png#pic_center