k8凯发(中国)官方网站ღ★★◈,天生赢家·一触即发ღ★★◈,文心一言ღ★★◈,凯发k8娱乐官网app下载ღ★★◈,凯发在线ღ★★◈。近日ღ★★◈,DeepSeek-V3的正式发版引起AI业内广泛高度关注ღ★★◈,其在保证了模型能力的前提下ღ★★◈,训练效率和推理速度大幅提升ღ★★◈。我们认为ღ★★◈,DeepSeek新一代模型的发布意味着AI大模型的应用将逐步走向普惠ღ★★◈,助力AI应用广泛落地ღ★★◈;同时训练效率大幅提升ღ★★◈,亦将助力推理算力需求高增ღ★★◈。我们持续看好AI产业链的加速落地机遇ღ★★◈,建议重点关注AI应用ღ★★◈、AI Infraღ★★◈、AI算力三大主线ღ★★◈。
12月26日ღ★★◈,DeepSeek-V3(深度求索)首个版本正式发布并同步开源ღ★★◈,已在网页端和API全面上线ღ★★◈。其在训练效率和推理速度上相较历史模型有了大幅提升ღ★★◈,同时可保证领先的模型能力表现ღ★★◈,引起业内高度关注ღ★★◈。
参考官方论文ღ★★◈,DeepSeek v3为6710亿参数MoE架构模型ღ★★◈,激活37Bღ★★◈,在14.8T token上进行了预训练ღ★★◈。能力上爱足球网ღ★★◈,模型暂不支持多模态输入ღ★★◈,但在通识和专业知识测试集上表现优秀ღ★★◈,MMLU pro正确率75.9%ღ★★◈,GPQA-Diamond正确率59.1%ღ★★◈,达到国内第一梯队ღ★★◈,接近Claude 3.5 Sonnet的水平ღ★★◈;并且在数学和代码领域测试表现突出ღ★★◈,MATH 500正确率90.2%ღ★★◈,SWE-bench正确率42.0%ღ★★◈,Codeforces得分51.6凯发国际ღ★★◈,超越所有非o系列模型ღ★★◈。模型生成速度达到60TPSღ★★◈,是前代模型的三倍ღ★★◈。定价上ღ★★◈,API定价为输入每百万tokens 0.5元(缓存命中)/2元(缓存未命中)ღ★★◈,输出每百万tokens 8元ღ★★◈,与字节Doubao-pro-256k定价输入每百万tokens 5元ღ★★◈,输出每百万tokens 9元的水平相当ღ★★◈,在国产模型中性价比较高ღ★★◈。
豆包proღ★★◈、DeepSeek v3等国产模型连续发布ღ★★◈。模型能力上ღ★★◈,国产模型在文本和知识能力上接近GPT-4ღ★★◈、Claudeღ★★◈、Llama等海外前沿模型水平ღ★★◈,多模态能力逐步完备ღ★★◈,逻辑和代码能力在非o1技术路线下达到可用水平ღ★★◈。价格上ღ★★◈,国产模型API百万tokens输出普遍定价10元以内ღ★★◈,是GPT-4o的1/3甚至更低ღ★★◈。我们预计模型性价比持续提升下ღ★★◈,国内AI应用依托丰富生态和成熟流量加速各领域落地ღ★★◈。其中ღ★★◈,Agent模式有望以更长的任务流程ღ★★◈、更好的场景理解ღ★★◈、更高的自主能力ღ★★◈,成为所有互联网用户的数字助手ღ★★◈,在企业管理ღ★★◈、教育ღ★★◈、办公ღ★★◈、金融等领域展现应用价值ღ★★◈。
1)训练效率大幅提升ღ★★◈,GPT4的训练成本约为DeepSeek V3的6.2倍ღ★★◈。根据DeepSeek V3的官方技术文档ღ★★◈,本次DeepSeek的训练仅使用了2048个H800 GPUღ★★◈,总训练GPU卡时为2788千小时(其中预训练为2664千小时)ღ★★◈,平均到每个GPU上ღ★★◈,仅为1361小时凯发国际ღ★★◈,约合56.7天ღ★★◈。与之相对比凯发国际ღ★★◈,根据英伟达CEO黄仁勋在GTC2024上的演讲内容ღ★★◈,GPT-4 MoE使用8000个H100训练了90天ღ★★◈,合计约为17280千卡时ღ★★◈,相当于DeepSeek V3的6.2倍ღ★★◈。
2)训练效率提升归因ღ★★◈:我们认为DeepSeek V3训练提效的原因主要包括低精度计算ღ★★◈、小参数量爱足球网凯发国际ღ★★◈、高质量数据等方面ღ★★◈。精度方面ღ★★◈,根据英伟达官方文档ღ★★◈,其GPU的8位精度算力通常是16位精度算力的2倍ღ★★◈,因此数据精度从FP16降低到FP8可以贡献一倍效率提升ღ★★◈。参数方面凯发国际ღ★★◈,GPT-4 MoE模型总参数量达到1800Bღ★★◈,而按照DeepSeek V3官方文档ღ★★◈,其总参数量只有671Bღ★★◈,约为GPT-4 MoE的1/3ღ★★◈,同时ღ★★◈,DeepSeek的激活参数大约为37Bღ★★◈,而GPT4-MoE每次推理激活的参数量约为280Bღ★★◈,二者约为7.57倍关系ღ★★◈;数据方面ღ★★◈,GPT-4 MoE使用了13万亿(1300B)tokenღ★★◈,而DeepSeek V3使用的token数量约为14.8万亿(1480B)ღ★★◈,数据量相差不大ღ★★◈,但DeepSeek V3技术文档提及了使用模型生成训练数据等ღ★★◈,因此我们认为数据质量或有较大幅度提升ღ★★◈。此外ღ★★◈,采用负载均衡ღ★★◈、更好的流水线策略亦是其官方提及的提升训练效率的重要原因ღ★★◈。
3)从推理侧助推AI普惠ღ★★◈,带动推理算力需求倍增ღ★★◈,打开更广阔算力市场空间ღ★★◈。我们认为ღ★★◈,DeepSeek模型相比GPT4模型更小的参数量也意味着更低的推理成本ღ★★◈,推理成本的降低ღ★★◈,将是AI应用普及的前奏ღ★★◈,正如4G提速降费给我国移动互联网产业提供了助力ღ★★◈。当前AI应用渗透率仍然较低ღ★★◈,产业仍在早期ღ★★◈,根据我们在2024年12月13日外发的报告《计算机行业“智能网联”系列报告54—算力需求测算ღ★★◈:Agent+Sora》ღ★★◈,随着Agent成为流量入口爱足球网ღ★★◈,渗透率达到30%左右ღ★★◈,全球Agent的推理token数量将增长3个数量级以上ღ★★◈,且视频生成与实时视频理解等形态的AI同样有望带来巨量需求增长ღ★★◈,并且根据我们对视频生成模型的测算ღ★★◈,视频推理算力需求将有望达到训练算力需求的2-3个数量级以上ღ★★◈。算力需求的指数级提升与模型训练推理成本的下降将构成产业飞轮ღ★★◈,带动全产业链扩张ღ★★◈,随着AI进一步普及到日常生活与产业当中ღ★★◈,我们认为推理算力需求将仍然驱动AI算力产业链持续增长爱足球网ღ★★◈。
AI核心技术发展不及预期爱足球网ღ★★◈,AI被不当使用造成严重社会影响ღ★★◈,企业数据安全风险ღ★★◈,信息安全风险ღ★★◈,行业竞争加剧ღ★★◈。
▍投资策略ღ★★◈:建议关注AI全产业相关投资机会ღ★★◈,综合梳理以下投资主线)AI 应用ღ★★◈:伴随模型能力升级ღ★★◈,Agent等应用形式有望加速落地爱足球网ღ★★◈,带动办公ღ★★◈、教育ღ★★◈、管理ღ★★◈、端侧ღ★★◈、具身智能等应用领域公司加速兑现业绩弹性ღ★★◈。