你好，谢谢你的伟大工作。我想知道如何计算损失给定的原始文本。例如：我在训练数据中有一个样本：当我把这个字符串输入GPT-2模型时，每个输出logits都有一个损失值，那么总损失就是所有输出logits损失的总和？
r7s23pms1#
不，所有输出logits损失的总和不是总损失。损失函数通常在GPT-2和其他神经网络模型中定义，用于计算目标输出和预测输出之间的差异。交叉熵损失或均方误差度量经常用于量化此差异。GPT-2算法在接收到短语“我想去上学”作为输入后输出一系列令牌。给定输入的上下文，输出中的每个字符都有相应的概率分布（logits），该概率分布显示每个潜在令牌的可能性。您可以将每个生成的令牌的概率分布与训练数据中的关联目标令牌相匹配，以计算此输出的损失。为了在训练期间调整模型的参数，损失函数将量化每个令牌的预期范围和真实的范围之间的差异。
1条答案
按热度按时间r7s23pms1#
不，所有输出logits损失的总和不是总损失。损失函数通常在GPT-2和其他神经网络模型中定义，用于计算目标输出和预测输出之间的差异。交叉熵损失或均方误差度量经常用于量化此差异。
GPT-2算法在接收到短语“我想去上学”作为输入后输出一系列令牌。给定输入的上下文，输出中的每个字符都有相应的概率分布（logits），该概率分布显示每个潜在令牌的可能性。
您可以将每个生成的令牌的概率分布与训练数据中的关联目标令牌相匹配，以计算此输出的损失。为了在训练期间调整模型的参数，损失函数将量化每个令牌的预期范围和真实的范围之间的差异。