微软打造 13 亿参数小型 LLM AI 模型,号称实际效果胜于千亿参数 GPT-3.5
叶紫网 6 月 27 日消息,AI 实际上,模型盲堆体积的效果并不一定更好,更多的取决于训练数据的质量,最近,微软最近发布了一款 13 语言模型为1亿参数 phi-1,培训采用“教科书等级”的优质资料,据说“实际效果优于千亿参数” GPT 3.5”。
▲ 图源 Arxiv
叶紫网注意到,该模型以 Transformer 架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以 GPT-3.5 经过处理的“逻辑严密的内容”,以及 8 个英伟达 A100 GPU,在短短 4 天内完成训练。
▲ 图源 Arxiv
微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了 phi-1 模型。在测试中,phi-1 的分数达到 50.6%,比起 1750 亿参数的 GPT-3.5(47%)还要好。
▲ 图源 Arxiv
微软表示,phi-1 接下来会在 HuggingFace 中开源,而这不是微软第一次开发小型 LLM,此前,他们打造一款 130 亿参数的 Orca,使用了 GPT-4 合成的数据训练而成,表现也同样比 ChatGPT 更好。
热门推荐
-
《微软飞行模拟器》40 周年更新:畅玩四款旧版游戏
而且这些游戏并非静止的图像,玩家可以在 40 周年更新中畅玩这些旧版本。如果你更喜欢现代风格的飞机和... -
微软Office 365 将支持邮件“延迟发送”功能
用户宣布了大量的新功能,该公司也在专注于改善 Outlook 的一个现有功能,即延迟发送。根据微软... -
微软Surface Pro X升级版上市 搭载微软SQ 2 预装Windows 10家庭版
11月1日,升级版Surface Pro X正式上市,16+256GB版本12188元,16+512... -
24K黄金XboxOne X限定主机,财大气粗的微软真的很会玩!
Xbox Game Pass官推最近公布了一款限定主机图,图片中是一个外观金闪闪的Xbox,官方称这... -
育碧 Ubisoft+ 订阅上线微软 Xbox 主机:每月 17.99 美元
这一订阅不包含在微软 Xbox Game Pass 订阅中,需要单独订阅,并将育碧账号连接到 Xbo... -
Win10 22H2 是 Win10 的最终版本,Win11 LTSC 长期支持版明年推出
Channel,LTSC)将根据它们的特定生命周期继续接收更新。例如,Windows 10 LTSC... -
新版微软自带输入法终于更新了:可以和第三方输入法告别了
有关注的网友都知道,近期Windows正式推送了Win10 1903,伴随而来的是一大波新鲜功能,对... -
微软Surface Laptop Go超轻薄触控本 搭载10代酷睿 12寸高颜值
上个月初,微软发布了Surface系列的全新产品——Surface Laptop Go,售价4388... -
AI研发团队已成热门领域 微软超8000人研发团队
AI这样的一个领域可能很多人已经开始慢慢的知晓,科研成果也取得了很大的成功。 -
微软首款折叠屏电脑Surface Neo来啦!!很不错的亚子鸭!!
微软这个品牌相信没有哪个朋友会不知道吧,叶紫小编小木有最初开始去了解这个品牌还是针对它旗下的平板电脑... -
美股三大股指全线上涨,哔哩哔哩涨逾 4%,微软、特斯拉涨超 6%
芯片龙头股普遍上涨,其中英伟达涨幅超过 7%,德州仪器涨幅超过 6%,AMD 涨幅超过 5%。电动汽... -
win7使用外挂后aero效果没了怎么办?重新修复启用aero特效方法
win7的aero效果我们都很熟悉,这也是属于Windows7系统的一大特色。很多人都已经习惯了这种... -
方正R410笔记本电脑的参数有哪些
方正R410笔记本电脑具有沉稳厚重的外观,大家在使用的过程中,会感觉特别的舒服,整体的配置也是非常不... -
《我的世界》没有 PS5 原生版本,主要是因为索尼不给开发商套件
菲尔・斯宾塞表示,索尼不愿意将 PS5 的开发套件提供给微软,在其他开发者拿到套件时,微软却没有得到... -
《Minecraft Java 版》游戏玩家需在 9 月 19 日前迁移至微软帐户
早在 2020 年,微软下 Minecraft 我的世界开发商 Mojang 就宣布,Minecra... -
微软 Visual Studio 2022 17.4 预览版 2 发布:允许同时激活多个 Git 存储库
此更新解决了预览版 1 中国报告的一系列问题带来了许多新功能。微软希望参与测试预览版的用户继续通过开... -
华为Nova2s怎么样 Nova2s手机配置参数介绍
华为在北京召开新品发布会,正式发布了新一代Nova2s智能手机,它是Nova系列首款全面屏手机,相比... -
微软在台上市 Surface Pro X!最轻薄笔记本!重量只有774 克!
Surface 又再添一个成员啦~ 微软在正式在台湾上市了Surface Pro X,是Surfac... -
浅谈手机拍照功能,你的手机拍照效果如何?
如今的手机市场,前置双摄和后置三摄已然成为了不少新品的主打卖点。 -
微软发布 Windows 11 21H1 版本 Build 22000.1098
此版本中的主要更改包括:此更新包含对内部 OS 功能的杂项安全改进。此版本没有记录其他问题。叶紫网获... -
拍照对比:为什么苹果手机拍照效果比国产手机的好
对于手机的拍照大家第一点想到的可能会是手机的像素,认为像素越高手机拍出来的照片会越清楚。其实并不是这... -
微软 Win10 / Win11 官方优化工具 PowerToys 0.68.0 发布
优化工具 PowerToys 于今天发布了 0.68.0 版本更新,本次更新修复了此前版本中用户反馈... -
官翻 Surface Pro 9 已上架微软官网,享有两年有限硬件质保
官翻 Surface Pro 9 (Wi-Fi) 微软官网已上架,售价 6288 元起。据介绍,每一... -
工信部透露荣耀8X部分参数:7.12英寸美人尖屏幕新机来袭!
就在最近几日荣耀旗下有一款采用“美人尖”屏幕的手机遭到曝光,据悉这一款就是即将全面发布的荣耀8X。而... -
我是电竞界的一把枪,是你的专用鼠标杀手,有了我还怕吃不到鸡?
最近一款鼠标在大众里赚足了眼球,它就是微软推出的Pro IntelliMouse游戏鼠标,这款游戏鼠...