LLM：ChatGLM-6B模型文件modeling_chatglm.py讲解

桃扇骨 2023-10-14 17:01 31阅读 0赞

""" PyTorch ChatGLM model. """
    
    import math
    import copy
    import os
    import warnings
    import re
    import sys
    
    import torch
    import torch.utils.checkpoint
    import torch.nn.functional as F
    from torch import nn
    from torch.nn import CrossEntropyLoss, LayerNorm
    from torch.nn.utils import skip_init
    from typing import Optional, Tuple, Union, List, Callable, Dict, Any
    
    from transformers.utils import (
        add_code_sample_docstrings,
        add_start_docstrings,
        add_start_docstrings_to_model_forward,
    )
    from transformers.modeling_outputs import (
        BaseModelOutputWithPast,
        CausalLMOutputWithPast,
        BaseModelOutputWithPastAndCrossAttentions,
    )
    from transformers.modeling_utils import PreTrainedModel
    from transformers.utils import logging
    from transformers.generation.logits_process import LogitsProcessor
    from transformers.generation.utils import LogitsProcessorList, StoppingCriteriaList, GenerationConfig, ModelOutput
    
    fro

发表评论取消回复

表情：

评论列表（有 0 条评论，31人围观）

还没有评论，来说两句吧...

相关阅读

相关 HarmonyOS Stage模型应用配置文件讲解

description 是这个abilities的描述同样读的也是 $string 当前模块的 string文件。也就是说，我们以后开发的所有应用它都会有自己的...

╰半橙微兮°/ 2024年04月22日 07:35/ 0 赞/ 154 阅读

相关 Python：清华ChatGLM-6B中文对话模型部署

简述了清华ChatGLM-6B中文对话模型部署

红太狼/ 2024年04月20日 12:02/ 0 赞/ 137 阅读

相关 6.hadoop文件数据库系列讲解

学习总结 > hadoop由两大块组成：`hadoop自身`\+`hadoop生态` > hadoop管理的是文件，也就是相当于一个windows的文件资源管理器，文

ゝ一世哀愁。/ 2024年04月07日 15:17/ 0 赞/ 39 阅读

相关 B树和B+树的详解讲解

1.B树前面我们已经学习了[二叉查找树][Link 1]、2-3树以及它的实现[红黑树][Link 2]。2-3树中，一个结点做多能有两个key，它的实现红黑树中使用对

左手的ㄟ右手/ 2024年03月30日 11:18/ 0 赞/ 127 阅读

相关 LLM：ChatGLM-6B模型文件modeling_chatglm.py讲解

""" PyTorch ChatGLM model. """ import math import copy import os

桃扇骨/ 2023年10月14日 17:01/ 0 赞/ 32 阅读

相关 LLM：ChatGLM-6B模型进行P-Tunning训练记录及参数讲解

模型训练首先说明一下训练的目的：提供本地问答知识文件，训练之后可以按接近原文语义进行回答，类似一个问答机器人。步骤 1. 安装微调需要的依赖： p

我会带着你远行/ 2023年10月14日 17:01/ 0 赞/ 86 阅读

相关【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解

文章目录模型训练步骤参数含义名词解释欠拟合泛化能力

妖狐艹你老母/ 2023年10月12日 12:49/ 0 赞/ 92 阅读

相关 ChatGLM-6B 类似ChatGPT功能型对话大模型部署实践

好难为了看到这个页面 ![05daa972c8c61aec1a5eb85f2146b189.png][] ChatGLM-6B 简介 ChatGLM-6B 是基于清华

落日映苍穹つ/ 2023年09月27日 19:02/ 0 赞/ 95 阅读

相关 B+树耗子漫画讲解

这一次我们来介绍 B+ 树。 ![17a0c4f672b34e668a0cd2eb214c117d_th.png][] ![c56155c2131e45b0bf69f9ae

ゝ一世哀愁。/ 2022年11月21日 01:13/ 0 赞/ 182 阅读

相关 OSI 七层模型讲解

OSI 七层模型通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯，因此其最主要的功能就是帮助不同类型的主机实现数据传输。完成中继功能的节点通常称

分手后的思念是犯贱/ 2022年11月11日 13:17/ 0 赞/ 164 阅读