据了解,目前的ai聊天机器人chatgpt,由gpt-3.5系列中的模型微调而成。gpt-4是未来进一步升级的模型。
微软德国公司的技术总监andreasbraun表示,「有了gpt-4,ai就有可能生成文本、图像甚至视频。」而以前版本的chatgpt只能够生成文本。」
gpt-4作为多模态语言的另一个强大功能在于,它可以管理不同语言的数据输入和输出。
比方说,你可以用西班牙语对chatgpt提出要求,而得到的生成文本是英语。显然,这种新奇的东西对翻译工具也会有很大的帮助。
braun将gpt-4描述为人工智能领域的游戏规则改变者,它将向着拥有人类的解释能力这一目标更进一步。
gpt,即generativepre-trainedtransformer,是由openai提出的一系列非常强大的预训练语言模型。该系列模型基于互联网上的可用数据上进行训练,在nlp(自然语言处理)方面表现卓越,可用于问答、文章生成、机器翻译、代码生成和对话ai等。
在gpt系列模型推出之前,传统的nlp模型都是针对特定任务(如分类、翻译等)进行训练的,并且往往使用监督学习,这就导致了两个问题:缺乏大量的标注数据,模型也无法概括和泛化任务。
于是,openai在2018年推出了gpt-1,模型参数数量为1.17亿,通过未标注的数据训练出一种生成式语言模型,再根据特定的下游任务进行微调,将无监督学习作为有监督模型的预训练目标。
时隔一年后,2019年具有15亿参数的gpt-2出现。与gpt-1相比,gpt-2在结构上并没有太多创新与设计,使用了更大的数据集和更多的模型参数进行训练,以此强化并提高模型性能。
从gpt-1的1.17亿到gpt-2的15亿,超10倍的参数差距带来了性能上的飞跃。这似乎意味着,随着容量和参数量的增多,模型性能还有更大的潜力——因此,2020年gpt-3的参数量翻了100倍:1750亿,其预训练数据量也高达45tb(gpt-2是40gb,gpt-1约5gb)。
事实证明,海量参数确实让gpt-3具备了更强大的性能,它在下游任务表现的非常好。即便是复杂的nlp任务,gpt-3也表现惊艳:可以模仿人类写作,编写sql查询语句、react或javascript代码等。
回顾gpt-1、gpt-2和gpt-3这一路的发展,许多人对gpt-4寄予厚望,甚至还有消息称gpt-4的参数量将高达100万亿。