Pytorch：torch.Tensor的4种乘法【*==torch.mul（元素对应相乘）、torch.mm（满足矩阵结构的乘法）、torch.matmul（最后2个维度进行torch.mm操作）】

绝地灬酷狼 2023-10-02 10:30 14阅读 0赞

## 一、点乘（\*）==torch.mul【具备broadcast性质】 ##

a与b做\*乘法，原则是如果a与b的size不同，则以某种方式将a或b进行复制，使得复制后的a和b的size相同，然后再将a和b做element-wise的乘法。

**点积是broadcast的**。broadcast是torch的一个概念，简单理解就是在一定的规则下允许高维Tensor和低维Tensor之间的运算。

### 1、\* 标量 ###

Tensor与标量k做\*乘法的结果是Tensor的每个元素乘以k（相当于把k复制成与lhs大小相同，元素全为k的Tensor）.

>>> a = torch.ones(3,4)
    >>> a
    tensor([[1., 1., 1., 1.],
            [1., 1., 1., 1.],
            [1., 1., 1., 1.]])
    >>> a * 2
    tensor([[2., 2., 2., 2.],
            [2., 2., 2., 2.],
            [2., 2., 2., 2.]])

### 2、\* 一维向量 ###

Tensor与行向量做\*乘法的结果是每列乘以行向量对应列的值（相当于把行向量的行复制，成为与lhs维度相同的Tensor）. 注意此时要求Tensor的列数与行向量的列数相等。

>>> a = torch.ones(3,4)
    >>> a
    tensor([[1., 1., 1., 1.],
            [1., 1., 1., 1.],
            [1., 1., 1., 1.]])
    >>> b = torch.Tensor([1,2,3,4])
    >>> b
    tensor([1., 2., 3., 4.])
    >>> a * b
    tensor([[1., 2., 3., 4.],
            [1., 2., 3., 4.],
            [1., 2., 3., 4.]])

>>> a = torch.ones(3,4)
    >>> a
    tensor([[1., 1., 1., 1.],
            [1., 1., 1., 1.],
            [1., 1., 1., 1.]])
    >>> b = torch.Tensor([1,2,3,4])
    >>> b
    tensor([1., 2., 3., 4.])
    >>> torch.mul(a, b)
    tensor([[1., 2., 3., 4.],
            [1., 2., 3., 4.],
            [1., 2., 3., 4.]])

Tensor与列向量做\*乘法的结果是每行乘以列向量对应行的值（相当于把列向量的列复制，成为与lhs维度相同的Tensor）. 注意此时要求Tensor的行数与列向量的行数相等。

>>> a = torch.ones(3,4)
    >>> a
    tensor([[1., 1., 1., 1.],
            [1., 1., 1., 1.],
            [1., 1., 1., 1.]])
    >>> b = torch.Tensor([1,2,3]).reshape((3,1))
    >>> b
    tensor([[1.],
            [2.],
            [3.]])
    >>> a * b
    tensor([[1., 1., 1., 1.],
            [2., 2., 2., 2.],
            [3., 3., 3., 3.]])

>>> a = torch.ones(3,4)
    >>> a
    tensor([[1., 1., 1., 1.],
            [1., 1., 1., 1.],
            [1., 1., 1., 1.]])
    >>> b = torch.Tensor([1,2,3]).reshape((3,1))
    >>> b
    tensor([[1.],
            [2.],
            [3.]])
    >>> torch.mul(a, b)
    tensor([[1., 1., 1., 1.],
            [2., 2., 2., 2.],
            [3., 3., 3., 3.]])

### 3、\* 矩阵 ###

如果两个二维矩阵A与B做点积A \* B，则要求A与B的维度完全相同，即A的行数=B的行数，A的列数=B的列数

>>> a = torch.tensor([[1, 2], [2, 3]])
    >>> a * a
    tensor([[1, 4],
            [4, 9]])

>>> a = torch.tensor([[1, 2], [2, 3]])
    >>> torch.mul(a,a)
    tensor([[1, 4],
            [4, 9]])

>>> a = torch.tensor([[1, 2], [2, 3]])
    >>> b = torch.tensor([[[1,2],[2,3]],[[-1,-2],[-2,-3]]])
    >>> torch.mul(a,b)
    tensor([[[ 1,  4],
             [ 4,  9]],
    
            [[-1, -4],
             [-4, -9]]])

## 二、torch.mm ##

数学里的矩阵乘法，要求两个Tensor的维度满足矩阵乘法的要求.

>>> a = torch.ones(3,4)
    >>> b = torch.ones(4,2)
    >>> torch.mm(a, b)
    tensor([[4., 4.],
            [4., 4.],
            [4., 4.]])

## 三、torch.matmul ##

批处理，最后两个维度进行torch.mm操作。

>>> a = torch.ones(3,4)
    >>> b = torch.ones(5,4,2)
    >>> torch.matmul(a, b)
    tensor([[[4., 4.],
             [4., 4.],
             [4., 4.]],
    
            [[4., 4.],
             [4., 4.],
             [4., 4.]],
    
            [[4., 4.],
             [4., 4.],
             [4., 4.]],
    
            [[4., 4.],
             [4., 4.],
             [4., 4.]],
    
            [[4., 4.],
             [4., 4.],
             [4., 4.]]])

--------------------

参考资料：  
[torch.Tensor的4种乘法][torch.Tensor_4]  
[详解torch.Tensor的4种乘法][torch.Tensor_4 1]  
[PYTORCH DOCUMENTATION][]

[torch.Tensor_4]: https://blog.csdn.net/da_kao_la/article/details/87484403
[torch.Tensor_4 1]: https://www.jb51.net/article/194805.htm
[PYTORCH DOCUMENTATION]: https://pytorch.org/docs/stable/index.html