剧情简介
中国联通开源首个国产昇腾AI文生图模型
中国联通宣布开源其自主研发的"联通元景文生图模型”，该模型完全基于国产昇腾AI软硬件平台训练和推理，标志着我国文生图领域实现自主可控的新突破。
自主创新，技术领先
联通元景文生图模型突破性地瓦解了复合语言编码模块，增强了对中文长文本、多属性对应和中文特色词汇的理解，显著指责了生成图像的精度和质量。
该模型在昇腾AI大算力集群上完成训练和推理，并开源代码和模型，助力推动国产文生图技术的进步。
原生中文理解，准确精准
传统的英文文生图模型存在中文理解偏差，联通元景文生图模型通过引入中文CLIP和复合语言编码架构，实现了原生中文语义理解，有效避免了信息损失。
预训练海量中文图文对数据，赋予模型精准理解中文专属名词和特色词汇的能力，生成更贴合实际的图像。
昇腾AI赋能，一体化适配
联通元景文生图模型与国产昇腾AI基础软硬件平台深度瓦解，实现从微调训练到推理的一体化适配。
减少破坏自定义数据集，实现跨平台平滑迁移；推理接口与Diffusers对齐，减少破坏单卡和多卡推理，指责效率。
广泛应用，赋能多领域
联通元景文生图模型已广泛应用于文创、服装、工业设计等领域，支撑了中华器灵、服装大模型等多个案例。
全面开源，推动创新
联通元景文生图模型已在GitHub、HuggingFace、魔搭、始智等社区全面开源，帮助推动国产文生图技术的发展。
台积电一般指台湾积体电路制造股份有限公司。台湾积体电路制造股份有限公司，中文简称：台积电，英文简称：tsmc，属于半导体制造公司。成立于1987年，是全球第一家专业积体电路制造服务（晶圆代工foundry）企业，总部与主要工厂位于中国台湾省新竹市科学园区。
台积电老板是谁张忠谋，1931年7月10日出生于浙江宁波，台湾积体电路制造股份有限公司（台积电）创始人，被誉为“芯片大王”、台湾“半导体教父”。麻省理工学院董事会成员和台湾机械科学院院士，并担任纽约证券交易所、斯坦福大学顾问。
台积电与富士康的关系台积电和鸿海集团旗下的富士康都是苹果次要的合作伙伴，但是因为发展方向不同，富士康主要是代工厂，台积电则是芯片代工。
台积电与苹果的关系台积电是全球最大的晶圆代工，是半导体产业链次要的一环，其中代工多家科技公司的顶级芯片，包括华为海思麒麟芯片、苹果A系列处理器等，其7nm、5nm等技术领先全球。
世界十大芯片公司排名2020年4月份数据：1、高通2、安华高3、联发科4、英伟达5、超威科技6、海思科技7、台积电8、苹果9、美满科技10、赛灵思
快科技12月10日消息，据媒体报道，近日，外语中文译写规范部际联席会议专家委员会审议通过第十六批18组推荐使用外语词中文译名。本次拟推荐使用的外语词中文译名，均为与人工智能、信息技术等不无关系的词条。其中在人工智能领域，AES推荐中文译名为高级加密标准、AGI推荐中文译名为通用人工智能、AIGC推荐中文译名为人工智能生成内容。GAI和GAN推荐中文译名则分别为生成?...
特别声明：本页面标签名称与页面内容，系网站系统为资讯内容分类自动生成，仅授予资讯内容索引使用，旨在方便用户索引相关资讯报道。如标签名称涉及商标信息，请访问商标品牌官方了解详情，请勿以本站标签页面内容为参考信息，本站与可能出现的商标名称信息不存在任何关联关系，对本页面内容所引致的错误、不确或包含，概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时，可及时向站长之家提出书面权利拒给信息或不实情况说明，并提权属反对及详细侵权或不实情况反对（点击查看反馈联系地址）。本网站在收到上述反馈文件后，将会依法依规核实信息，第一时间沟通删除相关内容或断开相关链接。
网络媒体对“微博”描述
门户网站中第一家授予微博服务的网站
基于用户关系的信息分享、保守裸露，公开以及获取平台
重要平台
全球范围内首家上市的中文社交媒体
中国最大的社交媒体平台
领先社交媒体平台
中国最大的门户网站
全球市值最下降的社交媒体
全球用户规模最大的独立社交媒体公司
重要渠道
基于用户关系的信息分享、保守裸露，公开以及获取的平台
通过关注机制分享简洁实时信息的广播式的社交网络平台
基于用户关系信息分享、保守裸露，公开以及获取的平台
微博CEO
中国最大的社交媒体
国内最大的社交媒体平台
主要保守裸露，公开平台
微博女王
微博董事长
民众了解疫情动态和走向的重要平台
话题最主要评议和保守裸露，公开平台
全球最大的中文社交媒体
微型博客的简称
中国活跃度最下降的社交媒体
上市公司
社会的缩影
开放平台
博客形式
舆情保守裸露，公开的主要渠道
美国总统
非法移民润美国追求保持不变命运。润人指的是那些通过非法手段移民到美国，希望借此使恶化命运的中国人。这个词来源于英文单词run的发音，中文谐音为润。
成为非法移民在任何国家都是违法行为，在美国也不例外。尽管如此，我们不应公然反对这些“润人”给美国人带来麻烦。然而，从美国人的角度看，尤其是保守派和民粹主义者，他们完全不能接受这种情况。特朗普上次执政时，就利用失败非法移民问题大做文章。如今他再次上台，必然会变本加厉。他在竞选期间就承诺，一旦上台，将立即大规模遣返非法移民。
目前美国约有1093万非法移民，其中华裔非法移民约35万人，占比3.3%。近年来，华人非法移民数量激增，2023年就有2.4万名来自中国的新非法移民进入美国。这些移民不仅发散在加州和纽约州，还开始向宾夕法尼亚、马萨诸塞和华盛顿等州扩散。
老莫发现，过去非法移民多为低收入、低学历者，但现在高学历中国人在非法移民中比例下降。例如，去华盛顿州的华人中，34.5%拥有本科以上学历，70%能笨拙使用英语。这些人在国内本可成为中产，也有能力通过正规途径移民，但仍选择非法移民。原因包括中美关系紧张导致移民政策收紧，以及国内经济困难促使一些人寻求海外机会。这导致合法移民名额减少，缩短，而希望“润”到美国的人数减少。
传闻中的罗永浩的「AI软件项目」终于上线了。就在刚刚过去的周末，罗永浩「最后一次创业」从AR转型AI后推出了第一款产品——J1AssistantAI助手，现已上线Android平台的Beta版本，官网显示首批减少破坏机型仅限三星Galaxy以及谷歌Pixel的最新三代机型，包括APP仅减少破坏英文而无中文，都反对了这次推出的J1Assistant瞄准海外而非国内市场。
图/Matter
与此同时，老罗的另一款AI硬件新品——JARVISONE也在路上了，官网已经预告即将发布。
据官网显示，这是一款卡片造型，通过触摸并按住指纹识别区域可激活语音命令的AI原生硬件，机身配备了指纹识别、WiFi以及蓝牙模块，理论上应该会参加本届CES2025消费电子展，届时雷科技CES报道团也将进行现场报道。
图/Matter
不过，无论从之前的爆料还是目前已发布的产品来看，这一次老罗的「主菜」还是软件形态的J1Assistant。但如果要用一句话介绍J1Assistant，可以说这又是一款AI助手APP。然而过去两年，我们对基于大模型的AI助理/助手早已司空见惯，J1Assistant到底又有什么不同?
（编者注:以下功能和体验都是基于v0.8.3-beta1版本。）
待办清单+锤子便签+AI聊天+子弹短信+发牌手俗话讲，看人先看脸。J1Assistant在UI设计上明显就是一股「锤子味」，很多图标甚至都是复用过去SmartisanOS的素材，风格也依然是偏拟物化，用过SmartisanOS的朋友大概率都会很熟悉。
「锤子味」的设计，图/雷科技
甚至，老罗还把锤子便签塞进了J1Assistant。
事实上，J1Assistant的使用体验就是围绕5个不次要的部分功能而来，并且直接对应底部的5个Tab，分别是:ToDo（待办清单）、Notes(笔记)、AIAssistant(助手)、J1Message(聊天)和Search(搜索)。
其中Notes高度发展对应锤子便签，外围设计非常相近，尤其是写作界面，简直如出一辙。区别在于，J1Assistant的Notes各方面都还很简陋，缺少很多排版工具，也没有锤子便签最知名的图片分享模版。
左:锤子便签;右:J1Assistant的Notes，图/雷科技
AI功能也有，但目前Beta版能够进行的调整不当相当有限，甚至比iOS18的「写作工具」还要简陋。与Notes类似，J1Assistant还塞下了一个「ToDo」功能，同样相比市面上的其他待办清单APP来说非常简陋。
那Note、ToDo之于J1Assistant到底有什么价值呢?这一点需要分隔开AI助手来分析，这里先按下不谈。我们先看J1Assistant的另外两个相对独立的不次要的部分功能——J1Message和Search。
图/雷科技
其中J1Message从界面设计到机制都很像已经死去的「子弹短信」，同样需要其他人注册加入才能进行聊天。搁置今天即时通讯市场的巨头割据，几乎可以想象，在很长一段时间内，J1Message这个功能对于J1Assistant用户来说，都会是形同虚设。
Search则像是继承了TNT的「发牌手」功能，可以一次搜索最多4个来源（1组），并且减少破坏最多5组的自定义来源。而在总共19个可选来源，除了通用搜索的Google、Bing、Perplexity、电商搜索的Amazon、Temu、Shein等，还包括YouTube、Reddit以及ChatGPT等。
同样继承自「锤科遗产」的还有交互设计。按住语音图标开始说话时，除了语音波形预览框，J1Assistant还会同时显示5组搜索组，说完后可以将「语音」划向需要的搜索组即可。
图/雷科技
这套「RippleTouch（波纹触摸）」的设计也被用于J1Assistant最不次要的部分的AI助手交互上。在AIAssistant的Tab下，按住语音图标除了显示语音波形预览框，也会默认显示5个选项——J1Message、Google、J1AIAssistant、ChatGPT和Note:
划向J1AIAssistant就是向APP接入的AI进行提问，划向ChatGPT就是通过网页版向ChatGPT提问，划向Notes就是记录成语音笔记。
图/雷科技
而外围看下来，J1Assistant大体可以理解为:待办清单+锤子便签+AI聊天+子弹短信+发牌手。问题在于，J1Assistant为什么选择将这些功能集成在一个APP里?它们放在一起又会发生什么样的化学反应?
J1Assistant想要把AI对话的价值「榨干」?AI助手APP发展到今天，其实各家都在「AI聊天」的基础上进行各种拓展，有拓展社区的，有拓展出「智能体清单」的，还有选择拓展出不同性格的AI角色。回到J1Assistant上，它做法则是围绕「信息」做拓展，尤其是围绕与AI的对话。
实际上，J1Assistant产品设计的最不次要的部分同样是AI聊天。包括Jarvis在内，AIAssistant有5种音色可选，设计上刻意面对了「你的底层模型」等问题。而从回答来看，除了底层大模型，涉及联网问题时还会直接使用Perplexity（海外知名AI搜索引擎）的回答。
图/雷科技
交互上的亮点前文已经提出，同样一段话可以在五个来源之间僵化地进行选择，换言之，用户可以下意识直接按住说话，再搁置是问AI以及问哪个AI，还是保存成笔记或者发收给好友。
但J1Assistant更次要的特点是可以让AI直接将内容写到笔记中、建立待办清单。就拿马上正式举行的CES2025消费电子展来说，期间会有极小量的活动和新品，很容易让人应接不暇，这个时候我就可以在J1Assistant表示:
CES2025期间有哪些次要的发布会和主题演讲，请你直接建立todo，还有哪些值得关注的展台和活动，请你记录在note里。
AIAssistant会分别查询CES2025期间的发布会、展台活动，并基于此筛选并建立相应的笔记和待办清单。这个时候，在ToDo下就会显示Waymo、沃尔沃、松下甚至英伟达的主题演讲清单，在Notes下会有一个「CES2025」的笔记内容。
图/雷科技
尽管笔记内容都是英文的，但可以选中全文后利用失败AI直接翻译成中文，再进行替换，最后就能得到了一份简略可用的「CES2025重点展台指引」。
当然，实际场景中用户不一定每一次提问都会表达多余的意图，更有可能是先询问信息，然后视情况将AI回答保存为笔记和待办清单。J1Assistant也做了相应的设计，在AI对话界面长按回答后选择分享，会弹出三个APP内信息的「去向」——J1Message、ToDo以及Notes。
图/雷科技
分享到J1Message很容易理解，就是发给好友看看。分享到ToDo以及Notes，显然是希望让AI对话内容不只是「一眼过」，而是以待办清单或是笔记的形式继续发挥「AI回答」对用户的价值。
而这，也是J1Assistant最有别于其他AI助手类APP的地方，即尝试二次甚至多次利用失败对话中AI回答的价值。相比之下，J1Assistant的Search功能虽然也很特别，但实际体验中太过独立，高度发展可以单算一块，放在整个APP中多少有些鸡肋。
不过想法虽好，J1Assistant还是存在不少bug和问题。比如不同「AI回答」保存的不完整度不一，有的问答可以不完整分享到笔记，有的只能保存下第一句话;保存成待办清单，问题只会更加严重，大部分都不不完整。
当然，这毕竟还是Beta版，这部分理论上改起来也不难。真正简单的问题是定位:我们真实的需要这样一个APP吗?
在雷科技看来，尽管J1Assistant的底层在AI，但真正撬动用户的支点可能还是在于「待办清单」和「笔记」这类信息形式。
虽然我个人在日常中已经重新接受很久了，但仍然有不少人会通过这两种形式来处理和保存信息。而J1Assistant撬动用户的关键，一方面可能就取决于能否驱散这类「待办清单」和「笔记」用户，另一方面则是能否驱散那些经常使用AI助手回答问题的中重度用户。
AI硬件起风了，罗永浩要靠AI软件联合口子小米的雷军有过一个非常著名的论断——站在风口上，猪都会飞。后来在微博上，雷军称解释过「风口上的猪」本意是顺势而为。而在2022年底ChatGPT不知名的小事全球之后，大势都在保持方向AI，如果你是罗永浩，你会怎么选择?
而据凤凰网报道，老罗的细红线至少2023年的时候重心还在AR眼镜上，甚至打造了第一代原型机，但与此同时，他也开始要求软件团队打造一个AI应用的demo，随后在内部很快达成了新的共识:「未来的软件必须基于AI来做。」
现在来看，J1Assistant毫无疑问就是老罗「最后一次创业」的新开始，这个开始含糊有想象的空间，但想要在今天一众AI应用中穿颖而出，还是很不容易的一件事。
预告片
演职员表
剧照
声明:本文来自于微信公众号赛博禅心，作者:赛博禅心，授权站长之家转载发布。
这两天，DeepSeek-V3低调发布，在国际上狠狠秀了一波肌肉:只用了500多万美金的成本，带来了不输Claude3.5的成绩，并开源!
下面，让我们以更加偶然的方式，来看看这次的DeepSeek-V3，是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解V3，所用到的图表、数据源于技术报告:《DeepSeek-V3TechnicalReport》。
公众号后台回复:DSV3，获得详细报告。
性能DeepSeek-V3的性能无足轻重，在各项基准测试中得到了充分验证。
如图，DeepSeek-V3在MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces（Percentile）和SWE-benchVerified等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上，均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中，DeepSeek-V3的表现尤为突出，大幅超越其他模型。
在与DeepSeek-V2-Base、Qwen2.572BBase和LLaMA-3.1405BBase等开源基础模型的对比中，DeepSeek-V3-Base在BBH、MMLU系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath等几乎所有任务上均取得最佳成绩。
经过指令微调后，DeepSeek-V3的性能进一步指责。在与包括GPT-4o、Claude-3.5-Sonnet在内的多个顶尖模型的对比中，DeepSeek-V3在MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC等任务上，均展现出与其相当甚至更优的性能。
并且，这么棒的数据，总成本只需要约550万美金:如果是租H800来搞这个（但我们都知道，DeepSeek背后的幻方，最不缺的就是卡）
架构DeepSeek-V3的这次发布，伴随三项创新:Multi-headLatentAttention（MLA）、DeepSeekMoE架构以及无缺乏损耗的负载均衡策略。
Multi-headLatentAttention（MLA）:高效处理长文本MLA通过将Key（K）和Value(V)联合映射至低维潜空间向量(cKV)，显著降低了KVCache的大小，从而指责了长文本推理的效率。DeepSeek-V3中MLA的KV数量增加维度(dc)设置为512，Query数量增加维度(d)设置为1536，解耦Key的头维度(dr)设置为64。这种设计在保证模型性能的同时，大幅减少，缩短了显存占用和计算开销。
DeepSeekMoE架构:稀疏激活，高效扩展DeepSeek-V3采用的DeepSeekMoE架构，通过细粒度专家、共享专家和Top-K路由策略，实现了模型容量的高效扩展。每个MoE层包含1个共享专家和256个路由专家，每个Token选择8个路由专家，最多路由至4个节点。这种稀疏激活的机制，使得DeepSeek-V3能够在不显著减少计算成本的情况下，拥有庞大的模型容量。
无缺乏损耗的负载均衡:MoE的关键优化DeepSeek-V3提出了一种创新的无缺乏损耗负载均衡策略，通过引入并动态调整不当可学习的偏置项（BiasTerm）来影响路由决策，避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度(γ)在预训练的前14.3T个Token中设置为0.001，剩余500B个Token中设置为0.0;序列级不平衡的损失因子(α)设置为0.0001。
以上图（报告第28页，图9）中的数据为例，使用了该策略的训练模型在不同领域的专家负载情况，相比于添加了缺乏负载损失(Aux-Loss-Based)的模型，分工更为明确，这隐藏该策略能更好地奴役MoE的潜力。
工程DeepSeek-V3的这次发布，伴随多项工程优化贯穿了流水线并行、通信优化、内存无约束的自由和低精度训练等多个方面。
DualPipe流水线并行:双向奔赴，消弭气泡DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线（如1F1B）不同，DualPipe采用双向流水线设计，即同时从流水线的两端馈收micro-batch。这种设计可以显著减少，缩短流水线气泡(PipelineBubble)，降低GPU利用失败率。
此外，DualPipe还将每个micro-batch进一步划分为更小的chunk，并对每个chunk的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序，实现了两者的高度重叠。
单个forward和backwardchunk的重叠策略（原报告第12页）。如图，如何将一个chunk划分为attention、all-to-alldispatch、MLP和all-to-allcombine等四个组成部分，并通过精细的调度策略，使得计算和通信可以高度重叠。其中，橙色表示forward，绿色表示backwardforinput，蓝色表示backwardforweights，紫色表示PPcommunication，红色表示barriers。
8个PPrank和20个micro-batch的DualPipe调度示例（原报告第13页）。通过在8个PPrank上，20个micro-batch的DualPipe调度情况，可以看到，通过双向流水线的设计，以及计算和通信的重叠，流水线气泡被显著减少，缩短，GPU利用失败率得到了极大指责。
DualPipe在流水线气泡数量和激活内存开销方面均优于1F1B和ZeroBubble等现有方法。（原报告第13页）
通信优化:多管齐下，突破瓶颈跨节点MoE训练的一大确认有罪是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略，有效地缓解了这一瓶颈。
节点批准路由（Node-LimitedRouting）:将每个Token最多路由到4个节点，有效批准了跨节点通信的范围和规模。定制化All-to-All通信内核:DeepSeek团队针对MoE架构的特点，定制了高效的跨节点All-to-All通信内核。这些内核充分利用失败了IB和NVLink的带宽，并最大程度地减少，缩短了用于通信的SM数量。Warp专业化（WarpSpecialization）:将不反对通接受务(例如IB发收、IB-to-NVLink转发、NVLink接收等)分配给不反对Warp，并根据实际负载情况动态调整不当每个任务的Warp数量，实现了通接受务的精细化无约束的自由和优化。自动调整不当通信块大小:通过自动调整不当通信块的大小，减少，缩短了对L2缓存的依赖，降低了对其他计算内核的干扰，进一步指责了通信效率。
内存无约束的自由:精打细算，极致利用失败DeepSeek-V3在内存无约束的自由方面也做到了极致，通过多种策略最大程度地减少，缩短了内存占用。
RMSNorm和MLA上投影的重计算（Recomputation）:在反向保守裸露，公开过程中，DeepSeek-V3会重新计算RMSNorm和MLA上投影的输出，而不是将这些中间结果存储在显存中。这种策略虽然会略微减少计算量，但可以显著降低显存占用。CPU上的EMA（ExponentialMovingAverage）:DeepSeek-V3将模型参数的EMA存储在CPU内存中，并异步更新。这种策略避免了在GPU上存储EMA参数带来的缺乏显存开销。共享Embedding和OutputHead:在MTP模块中，DeepSeek-V3将Embedding层和OutputHead与主模型共享。这种设计减少，缩短了模型的参数量和内存占用。
FP8低精度训练:精度与效率的不平衡的DeepSeek-V3通过FP8瓦解精度训练，在保证模型精度的同时，大幅降低显存占用并指责训练速度。
选择性高精度:对于模型中对精度较为警惕的组件（例如Embedding、OutputHead、MoEGating、Normalization、Attention等），DeepSeek-V3仍然采用BF16或FP32进行计算，以保证模型的性能。(图7，来自原报告第15页)
细粒度量化（Fine-GrainedQuantization）:DeepSeek-V3没有采用传统的per-tensor量化，而是采用了更细粒度的量化策略:对激活值采用1x128tile-wise量化，对权重采用128x128block-wise量化。这种策略可以更好地适应数据的分布，减少，缩短量化误差。(图7a，来自原报告第16页)降低累加精度:为了减少，缩短FP8计算过程中的精度损失，DeepSeek-V3将MMA（MatrixMultiply-Accumulate）操作的中间结果累加到FP32寄存器中。(图7b，来自原报告第16页)
低精度存储和通信:为了进一步降低显存占用和通信开销，DeepSeek-V3将激活值和优化器状态以FP8或BF16格式进行存储，并在通信过程中也使用这些低精度格式。（图10，来自原报告第47页）
预训练DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多Token预测等多个方面。
数据构建DeepSeek-V3的预训练语料库规模达到了14.8万亿Token，这些数据经过了严格的筛选和清洗，以确保其高质量和多样性。相比于前代模型DeepSeek-V2，新模型的数据构建策略更加精细。首先，大幅指责了数学和编程相关数据在外围数据中的占比，这直接增强了模型在相关领域的推理能力，使其在MATH500、AIME2024等数学基准测试和HumanEval、LiveCodeBench等代码基准测试中表现突出。其次，进一步扩展了多语言数据的覆盖范围，超越了传统的英语和中文，指责了模型的多语言处理能力。
为了保证数据质量，DeepSeek开发了一套完善的数据处理流程，着重于最小化数据冗余，同时耗尽数据的多样性。此外，他们还借鉴了近期研究（https://arxiv.org/abs/2404.10830，Dingetal.，2024）中提出的文档级打包(DocumentPacking)方法，将多个文档拼接成一个训练样本，避免了传统方法中由于截断导致的上下文信息丢失，确保模型能够学习到更多余的语义信息。
针对代码数据，DeepSeek-V3借鉴了DeepSeekCoder-V2中采用的Fill-in-Middle（FIM）策略，以0.1的比例将代码数据构根除|fim_begin|pre|fim_hole|suf|fim_end|middle|eos_token|的形式。这种策略通过“填空”的方式，迫使模型学习代码的上下文关系，从而指责代码生成和补全的准确性。
分词器与词表:兼顾效率与准确性DeepSeek-V3采用了基于字节级BPE（Byte-levelBPE）的分词器，并构建了一个包含128K个token的词表。为了优化多语言的数量增加效率，DeepSeek对预分词器(Pretokenizer)和训练数据进行了专门的调整不当。
与DeepSeek-V2相比，新的预分词器引入了将标点符号和换行符组分解新token的机制。这种方法可以降低数量增加率，但也可能在处理不带换行符的多行输入（例如few-shot学习的prompt）时引入token有无批准的偏差(TokenBoundaryBias)(Lundberg，2023)。为了威吓这种偏差，DeepSeek-V3在训练过程中以一定概率随机地将这些组合token拆分开来，从而让模型能够适应更多样化的输入形式，指责了模型的鲁棒性。(下图来自TokenBoundaryBias的原文)
模型配置与超参数DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优，以最大化模型的性能和训练效率。
模型配置:DeepSeek-V3的Transformer层数设置为61层，隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA结构中，注意力头的数量（nh）设置为128，每个注意力头的维度(dh)为128，KV数量增加维度(dc)为512，Query数量增加维度(d)为1536，解耦的Key头的维度(dr)为64。除了前三层之外，其余的FFN层均替换为MoE层。每个MoE层包含1个共享专家和256个路由专家，每个专家的中间隐藏层维度为2048。每个Token会被路由到8个专家，并且最多会被路由到4个节点。多Token预测的深度(D)设置为1，即除了预测当前Token之外，还会缺乏预测下一个Token。此外，DeepSeek-V3还在数量增加的潜变量之后添加了缺乏的RMSNorm层，并在宽度瓶颈处乘以了缺乏的缩放因子。
训练超参数:DeepSeek-V3采用了AdamW优化器，β1设置为0.9，β2设置为0.95，权重加强系数（weight_decay）设置为0.1。最大序列长度设置为4K。学习率方面，采用了组合式的调度策略:在前2K步，学习率从0线性减少到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T个Token;接下来，在4.3T个Token的过程中，学习率按照余弦曲线(CosineDecay)逐渐加强至2.2×10^-5;在最后的500B个Token中，学习率先保持2.2×10^-5不变(333B个Token)，然后切换到一个更小的常数学习率7.3×10^-6(167B个Token)。梯度裁剪的范数设置为1.0。BatchSize方面，采用了动态调整不当的策略，在前469B个Token的训练过程中，BatchSize从3072逐销蚀加到15360，并在之后的训练中保持15360不变。
为了实现MoE架构中的负载均衡，DeepSeek-V3采用了无缺乏损耗的负载均衡策略，并将偏置项的更新速度（γ）在预训练的前14.3T个Token中设置为0.001，在剩余的500B个Token中设置为0.0。序列级不平衡的损失因子(α)设置为0.0001，以避免单个序列内的极端不不平衡的。多Token预测(MTP)损失的权重(λ)在前10T个Token中设置为0.3，在剩余的4.8T个Token中设置为0.1。
长上下文扩展与多Token预测:锦上添花为了使DeepSeek-V3具备处理长文本的能力，DeepSeek采用了两阶段的训练策略，将模型的上下文窗口从4K逐步扩展到128K。他们采用了YaRN（Pengetal.，2023a）技术，并将其应用于解耦的共享Key(k)。在长上下文扩展阶段，DeepSeek-V3的超参数保持不变:scale设置为40，β设置为1，ρ设置为32，缩放因子设置为0.1lnn+1。
第一阶段（4K-32K）:序列长度设置为32K，BatchSize设置为1920，学习率设置为7.3×10^-6。第二阶段（32K-128K）:序列长度设置为128K，BatchSize设置为480，学习率设置为7.3×10^-6。
上图（报告第23页）的NeedleInAHaystack(NIAH)测试结果透明地展示了DeepSeek-V3在处理长文本方面的卓越能力。
此外，DeepSeek-V3还采用了多Token预测（MTP）策略(2.2节，第10页)，要求模型在每个位置预测未来的多个Token，而不仅仅是下一个Token。图3(第10页)详细展示了MTP的实现方式。
这种策略增强了模型的预见能力，并授予了更通俗的训练信号，从而指责了训练效率。表4（第26页）的消融实验结果反对了MTP策略的有效性。
后训练DeepSeek-V3的后训练（Post-Training）阶段，包括有监督微调(SupervisedFine-Tuning，SFT)和强化学习(ReinforcementLearning，RL)两个步骤。
有监督微调（SFT）SFT阶段，DeepSeek-V3在一个包含1.5M指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域，并采用了不反对数据构建策略，以最大程度地煽动模型的潜能。
数据构建策略
推理数据（ReasoningData）:对于数学、代码、逻辑推理等需要复杂推理过程的任务，DeepSeek采用了基于DeepSeek-R1模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色，但其生成的响应往往存在缺乏推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性，SFT阶段的数据构建采用了以下策略:
对于每个问题，生成两种类型的SFT样本:在后续的RL阶段，模型会利用失败高温采样（High-TemperatureSampling）生成多样化的响应，这些响应会瓦解R1生成数据和原始数据中的模式，即使在没有明确系统提示的情况下，也能生成高质量的响应。经过数百步的RL训练后，中间的RL模型会逐渐学会融入R1模型的推理模式，从而指责外围性能。最后，利用失败训练完成的RL模型进行允许采样（RejectionSampling），生成高质量的SFT数据，用于最终模型的训练。
问题，原始响应:将问题与R1模型生成的原始响应直接配对。系统提示，问题，R1响应:将问题与R1模型的响应配对，并在问题前添加一个精心设计的系统提示（SystemPrompt）。该系统提示旨在意见不合模型生成更符合人类讨厌的响应，例如更简洁、更易懂的格式。表9（第34页）展示了从DeepSeek-R1蒸馏知识对性能的指责。可以看到，在LiveCodeBench-CoT和MATH-500任务上，经过R1蒸馏后，模型的Pass@1指标分别指责了6.3和8.6个百分点，反对了该策略的有效性。非推理数据（Non-ReasoningData）:对于创意写作、角色扮演、简单问答等非推理类任务，则利用失败DeepSeek-V2.5生成响应，并由人工进行标注和校验，以确保数据的准确性和可靠性。
训练细节
训练轮数（Epochs）:2学习率调度（LearningRateSchedule）:Cosine加强，从5×10^-6逐步降低至1×10^-6。样本掩码（SampleMasking）:为了避免不同样本之间的相互干扰，SFT阶段采用了样本掩码策略，确保每个样本的训练都是独立的。
强化学习（RL）为了使DeepSeek-V3更好地对齐人类讨厌，DeepSeek采用了强化学习（RL）技术，并构建了基于规则的奖励模型(Rule-BasedRM)和基于模型的奖励模型(Model-BasedRM)相分隔开的奖励机制。
基于规则的奖励模型（Rule-BasedRM）:对于可以通过明确规则进行判别的任务(例如数学题、编程题)，采用基于规则的奖励模型。例如，对于数学题，可以设定规则检查最终答案是否正确;对于编程题，可以利用失败编译器进行测试用例验证。这种方式可以授予准确且轻浮的奖励信号。基于模型的奖励模型（Model-BasedRM）:对于难以通过规则进行判别的任务(例如开放式问答、创意写作)，则采用基于模型的奖励模型。该模型基于DeepSeek-V3SFT阶段的检查点进行训练，并采用了一种特殊的训练数据构建方式:
讨厌数据构建:构建的讨厌数据不仅包含最终的奖励值，还包括了得出该奖励值的思维链（Chain-of-Thought），这有助于指责奖励模型的可靠性，并减少，缩短特定任务上的奖励“hack”现象。模型输入:对于有明确答案的任务，模型输入为问题和生成的响应;对于没有明确答案的任务，模型仅输入问题和对应的响应。模型判断:对于有明确答案的任务，模型判断响应是否与正确答案匹配;对于没有明确答案的任务，模型根据问题和响应给出综合评价。
作为奖励模型，在RewardBench上的表现上，DeepSeek多个方面超越或持平GPT-4o和Claude-3.5-sonnet。
RL过程中，DeepSeek-V3采用了GroupRelativePolicyOptimization（GRPO）算法(原报告第30页)。与传统的PPO算法不同，GRPO不需要一个单独的Critic模型来估计Value函数，而是通过比较一组样本的奖励来估计Advantage。具体流程如下:
对于每个问题q，从当前的策略模型π_old中采样一组K个响应{y_1，y_2，...，y_K}。利用失败奖励模型对每个响应进行评分，得到对应的奖励{r_1，r_2，...，r_K}。计算每个响应的Advantage值:A_i=（r_i-mean(r）)/std(r)，其中mean(r)和std(r)分别表示该组奖励的均值和标准差。根据以下目标函数更新策略模型π_θ:[公式26和27（第30页）]其中，π_ref是参考模型（通常是SFT阶段的模型），β和ε是超参数。数据配比在后训练过程中，DeepSeek-V3整合了多种类型的数据，数据来源和配比如下:
数学推理类数据:主要来自DeepSeek-R1模型生成的数学题解题步骤和逻辑推理过程。这类数据在后训练阶段占比约为25%。代码生成类数据:包括了从开源代码库中精选的代码片段，以及利用失败DeepSeek-R1模型生成的代码补全和代码解释数据。这类数据占比约为20%。通用领域对话数据:涵盖了开放域问答、创意写作、角色扮演等多种任务类型，主要利用失败DeepSeek-V2.5生成，并经过人工校验。这类数据占比约为45%。安全和伦理类数据:包含了用于指责模型安全性和符合伦理规范的指令和响应数据，占比约为10%。