87 GB 大模型种子，GPT-4 缩小版，超越GPT3.5，在线体验

大家好，我是老章

最近风头最盛的大模型当属Mistral AI 发布的Mixtral 8x7B了，火爆程度压过Google的Gemini。

缘起是MistralAI二话不说，直接在其推特账号上甩出了一个87GB的种子

随后Mixtral公布了模型的一些细节：

具有编程能力

相比 Llama 2 70B，运算速度快 6 倍

可处理 32k 令牌的上下文

可通过 API 接口使用

可自行部署(它使用 Apache 2.0 开源协议

在大多数标准基准测试中匹配或优于 GPT3.5

可以微调为遵循指令的模型,在 MT-Bench 测试中获得 8.3 分

Mixtral 8x7B 是基于Mixture of Experts (专家混合,8x7B即 8 名专家，每个专家7B个参数 )的开源模型，

Mixtral 是一个稀疏专家混合网络,仅包含解码器。其前馈网络从 8 组不同的参数中挑选，在每一层,对每个词元,路由网络会选择两组“专家”参数来处理该词元,并将其输出叠加。

这种技术在控制计算成本和延迟的同时扩大了模型规模,因为每个词元只使用参数总量的一小部分。具体来说,Mixtral 总参数量有 46.7 亿,但每个词元只使用 12.9 亿参数。因此,它的输入处理和输出生成速度与成本与 12.9 亿参数模型相当。

Mistral 8x7B 使用与 GPT-4 非常相似的架构，但缩小了：

总共 8 名专家，而不是 16 名（减少 2 倍）

每个专家 7B 个参数，而不是 166B（减少 24 倍）

42B 总参数（估计）而不是 1.8T（减少 42 倍）

与原始 GPT-4 相同的 32K 上下文

如果大家硬件资源真的很硬，可以下载这个87GB的模型种子本地运行

下载：https://twitter.com/MistralAI/status/1733150512395038967

玩法：https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2

我相信99%的同学应该没有这个实力，现在市面上已经有很多可以在线试玩的平台了。

1、replicate

https://replicate.com/nateraw/mixtral-8x7b-32kseqlen

replicate还服了api调用的方法：

pip install replicateexport REPLICATE_API_TOKEN=#API token https://replicate.com/account/api-tokensimport replicateoutput = replicate.run("nateraw/mixtral-8x7b-32kseqlen:f8125aef9cd96d879f4e5c5c1ff78618818e62939ab76ab1e07425ac75d453bc",input={"prompt": "你好","top_p": 0.9,"temperature": 0.6,"max_new_tokens": 512print(output)

2、POE

https://poe.com/chat/2t377k6re3os2ha7z1e

https://app.fireworks.ai/models/fireworks/mixtral-8x7b-fw-chat

4、perplexity_ai

https://labs.perplexity.ai/