训练数据,mmlu75%,mt-bench 8.7分。微软推出的phi-3系列小型开源语言模型,在多种语言、推理、编程和数学基准测试中展示了前所未有的性能,超越了相同大小及更大型号的其他模型。
- phi-3模型由于其小型化设计,在资源受限的设备上运行,同时能够保持高效性能。
适应多种环境:适合部署在智能手机、嵌入式系统等边缘计算设备上,可以在不依赖云计算的情况下本地处理数据,减少延迟,增强隐私保护。
phi-3-mini3.8b的参数,3.3t token训练数据。在多个学术基准测试中,phi-3-mini性能接近或等同于市场上的大模型,例如在mmlu测试中得分为69%,在mt-bench测试中得分为8.38分,和gpt-3.5和mixtral 8x7b相当,甚至超过刚发布的llama 3 8b。
phi-3-small和phi-3-medium这两个是扩展模型:phi-3-small是7b参数,4.8t token
phi-3-medium是14b参数,4.8t token训练数据,mmlu78%,mt-bench 8.9分。
phi-3 microsoft blog phi-3微软博客
phi-3 technical report phi-3技术报告
模型下载:
https://huggingface.co/microsoft/phi-3-mini-128k-instruct