《深度学习之tensorflow。。。》例7-1交叉熵的计算

女爷i 2022-04-04 10:54 135阅读 0赞

近日看《深度学习之tensorflow。。。》例7-1，作者用到了交叉熵计算损失，用S函数作为激活函数：原代码如下：

output =tf.nn.sigmoid( tf.matmul(input_features, W) + b)
    cross_entropy = -(input_lables * tf.log(output) + (1 - input_lables) * tf.log(1 - output))
    loss = tf.reduce_mean(cross_entropy)

实际上，tensoflow提供了四种交叉熵函数可以直接调用，而不必再构造交叉熵公式。结合S函数的交叉熵函数为：  
sigmoid\_cross\_entropy\_with\_logits（期待值，计算值）  
看下面的小例子，两种方式的交叉熵结果一致：

import tensorflow as tf
    import numpy as np
    t=np.random.multivariate_normal([2,2],[[1,0],[0,1]],5)
    input_lables=np.random.multivariate_normal([2,2],[[1,0],[0,1]],5)
    
    output=tf.nn.sigmoid(t)
    loss=tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=input_lables,logits=t))
    cross=-(input_lables*tf.log(output)+(1-input_lables)*tf.log(1-output))
    loss2=tf.reduce_mean(cross)
    with tf.Session() as sess:
        print(loss.eval())
        print("----------------------")
        print(loss2.eval())

所以原书7-1此部分代码可以改为：

loss=tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=input_lables,logits=tf.matmul(input_features,W)+b))

当然，原书代码更清晰的表明了S型交叉熵的运行原理

发表评论取消回复

表情：

评论列表（有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

相关【深度学习】两种交叉熵损失函数的异同

在学习李沐老师的《动手学深度学习》softmax算法的时候，发现其损失函数和机器学习里的逻辑回归交叉熵损失函数有些不一样，探究了一下背后的原因，总结如下：首先看一下逻辑回归

不念不忘少年蓝@/ 2023年09月27日 11:41/ 0 赞/ 193 阅读

相关【深度学习】分类问题损失函数——交叉熵

神经网络模型的效果以及优化的目标是通过损失函数（loss function）来定义的。下面主要介绍适用于分类问题和回归问题的经典损失函数，并通过TensoFlow实现这些损失函

系统管理员/ 2023年06月17日 04:53/ 0 赞/ 86 阅读

相关 TensorFlow：交叉熵损失函数

基础损失函数 \[[机器学习中的损失函数][Link 1]\] 示例说明：计算multilabel时的BinaryCrossentropy tf.kera

以你之姓@/ 2022年06月12日 03:23/ 0 赞/ 509 阅读

相关【机器学习】熵（信息熵，联合熵，交叉熵，互信息）

机器学习中的各种熵，什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？前言：你必须知道的信息论 1948年，数学家和电气工程师

「爱情、让人受尽委屈。」/ 2022年06月02日 11:51/ 0 赞/ 1201 阅读

相关交叉熵

上一篇译文《[香农熵][Link 1]》中介绍了熵的由来及其计算公式的产生，这篇译文介绍另外一个与香农熵相关的概念：交叉熵（Cross-Entropy）注：可能文中对一些专

偏执的太偏执、/ 2022年05月27日 05:05/ 0 赞/ 367 阅读

相关多分类问题的交叉熵计算

多分类问题的交叉熵在多分类问题中，损失函数（loss function）为交叉熵（cross entropy）损失函数。对于样本点(x,y)来说，y是真实的标签，在

r囧r小猫/ 2022年05月18日 00:41/ 0 赞/ 249 阅读

相关信息熵、相对熵、交叉熵公式及tensorflow代码

最近在学习卷积神经网络，其中遇到了信息熵和交叉熵，对此理解的一知半解，现记录一下信息熵、相对熵、交叉熵公式及tensorflow代码，供以后参考。假设概率分布中，真实分布：

刺骨的言语ヽ痛彻心扉/ 2022年05月16日 09:38/ 0 赞/ 397 阅读

相关交叉熵

文章转自：[https://blog.csdn.net/tsyccnh/article/details/79163834][https_blog.csdn.net_tsyccn

素颜马尾好姑娘i/ 2022年05月15日 12:19/ 0 赞/ 361 阅读

相关《深度学习之tensorflow。。。》例7-1交叉熵的计算

近日看《深度学习之tensorflow。。。》例7-1，作者用到了交叉熵计算损失，用S函数作为激活函数：原代码如下： output =tf.nn.sigmoid( t

女爷i/ 2022年04月04日 10:54/ 0 赞/ 136 阅读

相关 TensorFlow Memo: 两个交叉熵

API - 1: tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels) 它的 label

梦里梦外;/ 2022年03月09日 00:20/ 0 赞/ 237 阅读