GPT 代表生成式预训练变压器。 GPT-4 已经是 GPT 模型系列的第四代，由 OpenAI 公司开发。 OpenAI 于 2015 年 12 月由埃隆·马斯克、山姆·奥尔特曼、格雷格·布罗克曼和伊利亚·苏茨克弗等一批科技名人创立。该公司的使命是开发安全有用的人工智能（AI），帮助解决世界上一些最紧迫的问题，例如气候变化、贫困和疾病。
该公司致力于各种人工智能技术——包括语音识别、图像识别、NLP（自然语言处理）、机器人技术等。
GPT 模型起源于 Transformer 架构。 Vaswani 等人在 2017 年的一篇文章中对此进行了讨论。在论文“注意力就是你所需要的”中提出。由于它们处理远程依赖性和并行性的能力，它们已成为自然语言处理任务的流行选择。许多突破性的人工智能模型都基于这种架构。
第一次迭代 GPT-1 于 2018 年发布，展示了无监督学习和预 医疗邮件列表 训练技术在自然语言理解方面的潜力。 GPT-2 于 2019 年发布，在语言建模方面取得了重大进展，拥有 15 亿个参数，可生成连贯且上下文相关的文本。由于担心潜在的滥用，OpenAI 最初拒绝完整发布。
2020 年 6 月，OpenAI 推出了拥有令人难以置信的 1750 亿个参数的 GPT-3，标志着 AI 领域的一个重要里程碑。 GPT-3 在翻译、摘要和问答等各种任务上表现出了出色的性能，并且只需进行最少的微调。但其尺寸较大限制了其广泛应用。
后续版本（包括 ChatGPT（聊天机器人））基于 GPT-3 的核心原则构建，并完善了模型的功能，以实现更有效的通信和实际应用。这些发展导致 GPT 模型在从客户支持和内容创建到虚拟助理和语言翻译等行业中得到广泛采用。
GPT-4是什么？
GPT-4由OpenAI于2023年3月14日提出，但GPT-4的实际训练于2022年中期完成。发布之前的时间用于优化模型以实现用户对齐和安全性。
不幸的是，我们不知道 GPT-4 有多大。它被认为是一个拥有 100 万亿个参数的模型。前身 GPT-3 和 GPT-4 之间的尺寸差异在下图中非常明显。但也可能是模型大小大致相同，但使用更好的数据进行了更长的训练。不幸的是，这并没有发表。我们将在技术报告中描述为什么会出现这种情况。
简而言之，GPT 使用经过大量数据训练的神经网络根据输入和上下文关系生成自然语言文本。
GPT-3和GPT-4的大小对比，来源：tinykiwi
与 ChatGPT 有什么区别？
OpenAI在开发GPT-4时非常重视模型的安全性。安全的人工智能模型是一种已开发的模型，不会产生可能对用户或环境有害的意外或不良结果。这意味着模型必须可靠且可预测，并且必须能够承受不正确的输入或恶意攻击。