随着NLP预训练模型的发展,大语言模型在各个领域的作用也越来越大。几个月前,GitHub基于OpenAI的GPT-3训练的Copilot效果十分惊艳,可惜现在已经开始收费(参考:Copilot Labs插件——基于AI的代码解释和代码翻译神器)。而最近,清华大学也发布了一个代码补全神器——CodeGeeX。
一、CodeGeeX简介
这是一个具有130亿个参数的大型多语言代码生成模型,它预先经过20多种编程语言的大型代码库的训练。截至2022年6月22日,CodeGeeX已经在1536个Ascend 910 AI处理器集群上接受了8500多亿tokens的训练。
该模型的VS Code插件目前一周内被调用25万次左右,并上榜VSCode Weekly,十分火爆。
这个代码补全模型的特点如下: