Facebook推出的大语言模型
最近,FacebookResearch 开源了他们最新的大规模语言模型 LLaMA,包含从 7B 到 65B 的参数范围,训练使用多达 14,000 亿 tokens 语料。
其中,LLaMA-13B 在大部分基准测评上超过了 GPT3(175B),与目前最强的语言模型 Chinchilla-70B 和 PaLM-540B 相比,LLaMA-65B 也具有竞争力。
因此,LLaMA 可能是目前公开模型权重中效果最好的语言模型。
第一种应用 RLHF 训练的大型开源聊天机器人
在线运行AI机器学习算法
清华团队支持发起的大规模预训练语言模型库与相关工具
搭建机器学习模型UI界面的开源Python库
微软开源的低成本实现类似ChatGPT的训练模型
智源“悟道”大模型,中国首个+世界最大人工智能大模型