开源大模型突破8K上下文，可商用：XGen-7b

大语言模型中，向来都只有ChatGPT以及其他。而由前 OpenAI副总裁离职创建的Claude，借着100k上下文成功出圈了，在无需微调的情况下，可以喂进整本书直接进行提问。这说明了长上下文，是大模型一个有效的突破点。

Salesforce就在昨天，一口气开源了三个模型，分别是：XGen-7b 8k base, XGen-7b 7k inst, XGen-7b 4k base。

这三个模型采用了比 LLaMA-7b 更宽松的开源协议 Apach2，主要就是允许商用。

目前为止，大多数开源模型为了能让用户在低资源的硬件上能使用，普遍走的路线都是减少参数规模，主要集中在6b-13b这个区间。

一旦超过13b这个数量，普通消费级的显卡就无法运行，大大限制了模型的普及应用。

在6b-13b这个区间的模型无法全方位与ChatGPT进行竞争，一般走的路线是强化细分领域的应用，在用户微调后，在某个细分领域，能无限接近甚至超越ChatGPT。

Salesforce此次开源的XGen-7b的长上下文，主要针对的应用领域是文本总结、代码生成、蛋白质序列预测等。

数据集

数据集包含中文在内的22种语言，多于LLaMA的20种语言。意味着这个模型中文表现应该会不错。

而XGen-7b并没有采用ChatGPT的数据集，这导致其在某些能力与ChatGPT有明显差异。

XGen-7b 训练硬件是 TPU-v4而不是GPU，这与Google的PaLM2相同。并且使用了Salesforce内部的Jax进行训练（名字听起来就很NB），在 github上可以找到 salesforce/jaxformer 库，但这个可能不是最新的版本。所以XGen-7b训练速度很快，也意味着更低的训练成本(1万亿Token 15万美元)。。

模型效果

XGen-7b 已经完成了一些基准测试，从公布的测试结果看，XGen-7b 目前在MMLU 5 shot和0 shot下的整体得分，都优于其他开源模型。

MMLU 5-shot In-context Learning Results

MMLU 0-shot Results:

但是在General Zero-shot测试下，Hella Swag数据集的结果要差于其他模型。

在编程领域，XGen-7b优于LLaMA，但弱于 MPT-7b。这与他声称的目标还有点距离。

最后，在长文本领域，XGen-7b明显优于其他模型。

采用开源模型开发的知识库项目众多，但实测下来都会发现实用性有限，有时还真不如自己看文档来得快。更甚的是一些回答会出错，这让人对他的每一次回答都产生怀疑。还很难说具有实用性。

知识库除去分词准确性及矢量数据库所抓取的长度因素外，最重要就是大模型对长文本的理解能力。而XGen-7b出色的长文本摘要能力，有机会将一众知识库能力向上拨高一个层级。

但是，从整体来看，XGen-7b 并没有与其他模型拉开很大的距离。

安装

目前 XGen-7b 已将模型上传到 huggingface，并且在github提供了简单的安装和应用示例:

pip install tiktoken

推理

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Salesforce/xgen-7b-8k-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Salesforce/xgen-7b-8k-base", torch_dtype=torch.bfloat16)
inputs = tokenizer("The world is", return_tensors="pt")
sample = model.generate(**inputs, max_length=128)
print(tokenizer.decode(sample[0]))