本文共 164 字,大约阅读时间需要 1 分钟。
2018年OpenAI提出, 在BERT之前 GPT全称Generative Pre-Training GPT底层也基于Transformer模型,与针对翻译任务的Transformer模型不同的是:它只使用了多个Deocder层。 GPT 训练过程分为两个部分,无监督预训练语言模型和有监督的下游任务 fine-tuning。
2018年OpenAI提出, 在BERT之前
GPT全称Generative Pre-Training
GPT底层也基于Transformer模型,与针对翻译任务的Transformer模型不同的是:它只使用了多个Deocder层。
GPT 训练过程分为两个部分,无监督预训练语言模型和有监督的下游任务 fine-tuning。
转载地址:http://beygf.baihongyu.com/