凉水书库

手机浏览器扫描二维码访问

本站弹窗广告每日仅弹出一次
尽可能不去影响用户体验
为了生存请广大读者理解

437. 傲慢的代价(第1页)

孟繁岐并不是第一次听说DeepSeek的名字,虽然此前DS在大众之中不能说是完全无人知晓,但说它是籍籍无名也不为过。

比起天然拥有海量客户的互联网大厂们推出的AI模型,DS即便免费,但终究天然地在积累用户方面有着巨大的劣势。

孟繁岐此前注意到DS,主要便是因为他们的技术路线与孟繁岐的几个设想相似。

由于在降低技术成本上颇有建树,DS的API价格要低于市场平均水平许多,这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中,还远远上不了桌。

前两个月,DeepSeek已经迭代到了第三代。

逐渐缩小的性能差异并没有引起孟繁岐足够的重视。

而今天,详细的技术报告以及R1版本的发布,才终于让他明白,自己实在是后知后觉。

震撼到孟繁岐的并不是单纯性能上的逼近,而是诸多技术细节透露出的海量信息。

比如,FP8的成功实现。

孟繁岐有些不相信这个事实。

半精度和FP8是他一直在大力推动的事情,而现在,DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。

孟繁岐沉着脸,翻阅着DS的技术报告,他们对框架内部的操作细节并不吝啬。

哪些核心操作做了FP8的量化,在什么步骤应该转回BF16,又在哪里应该使用全精度FP32计算,标注十分详细。

向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留,而前向,激活反向,权重反向则用FP8执行。

针对前向反向采用FP8会带来的许多问题,报告中也知无不言。

在低精度训练框架中,由于 FP8格式的指数位较少导致其动态范围受限,经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到 FP8格式的最大可表示值,将输入分布对齐到可表示范围内。然而,这种方法使得低精度训练对激活值中的极端值特别敏感,可能导致量化精度显著下降。

孟繁岐也走到过这一步,部分FP8,部分BF16/FP32。仅仅如此是不够的。

DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子,这同样是孟繁岐曾经考虑过的事情。

但closeai最终没有这样做,因为英伟达显卡的FP8并不直接支持这一功能。

热门小说推荐
含宁待放

含宁待放

徐怀安第一回见苏婉宁,是在一场声势浩大的婚宴之上。当日他备了厚礼上门,贺好友娶得名门美妻。谁想拜堂时,好友许湛的外室大闹婚堂,世家联姻成了一桩人人皆知的笑话。新娘苏婉宁摘下红盖头,无措...

官狱

官狱

官场,是利益的牢笼……胜利者,在人间炼狱;失败者,在人间监狱。爱与恨,恩与怨,熙熙攘攘,皆为利往……......

青山异闻录

青山异闻录

文案一 妖魔精怪人鬼仙,俱藏九州。 人有镇异提刑司,妖有扶正按察使,两者鼎鼎大名,无人不晓。 顾山青幼年遭难,学得驱灵之术,捉过吃人的核桃,破过阁楼的暗鬼,出过梦,入过画,却发现比起精怪妖魔,倒是人心难测。他身旁熟悉的同僚,其实各怀心思,他以为的新人,原来就是故人…… 文案二 且说,一位公子猝然而逝,送葬之日漫天白纸,乡里亲朋、知交好友尽在列中。然而即将放棺入土,那棺材却突然一沉,怎么也推不动了。所有人都不知该怎么办。过了不知几时,只见一人从路尽头急急策马而来,飞扑到那棺上,扶棺而哭。等他痛哭过后,那棺材一轻,棺中人才终归入土。你们说,这个故事讲的是什么?” “人死之后魂灵尚在啊!” “呃,想让谁参加自己的葬礼得提前告诉他?” “讲的是这世间之情义,超乎生死。” “……好老套。” “没错,甚至有点恶心。” “但所有的传奇,讲的,不都是这同一个故事?” 一群人和妖携手应对各类妖魔鬼怪,解谜探案,追寻历史,顺便拯救了一下苍生的故事! 状似勇敢刚毅实际内敛害羞攻x破案明察秋毫感情十分大条受 副cp仁者见仁...

修仙界的斩字诀

修仙界的斩字诀

修仙界的斩字诀情节跌宕起伏、扣人心弦,是一本情节与文笔俱佳的玄幻魔法小说,修仙界的斩字诀-大樱桃与车厘子-小说旗免费提供修仙界的斩字诀最新清爽干净的文字章节在线阅读和TXT下载。...

第四天灾

第四天灾

在横滨的某个极其普通的夜晚,普通人无法看到的结界内掀起了一场玩家们的盛宴。 绚烂的魔法,英武的骑士,神秘的炼金,无数职业和血统尽情横滨的舞台上绽放,诡计尽出,悍不畏死地奋力厮杀。 被卷入的文豪异能者无法插手,只能瞪大双眼观看这仿佛神明竞技场的景象。 最终他们看到—— 俊美的少年端坐于机械王座之上,背后的机械军团组成黑云遮盖了月亮,眼眸微睁,嘴角扯出一个近乎傲慢的弧度。 “敢与机械军团为敌的,就是你吗?” —— 穿越后,万年技术宅封烛迎着周围一圈大佬忌惮的目光,拿烟的手微微颤抖:我真的只是个普通人。 众人:呵呵 温馨提示: 1、主角苏苏苏苏苏苏,有熟知剧情优势,把所有反派安排得明明白白。 2、cp茸茸,出场较晚,感情线部分很少,大部分是事业线。 3、主角的机械可能来自于各影视作品,也可能是文科生的作者君胡编乱造,请勿较真。...

奥特:终焉的续章

奥特:终焉的续章

『圣母勿入,本书的主角是真正的黑暗反派』(剧情向+无限流+拥有诸多马甲+无女主+反派+幕后黑手+杀伐果断+玩弄人心)本书的剧情是承接了我上本书的世界观,高中生·叶麟因与一些小混混发生小冲突,而被围殴致其死亡待叶麟再次睁眼时,他竟发现自己穿越了并且变成了中的反派大BOSS:寄生生命体·赛雷布洛,就此获得新生的叶麟依靠......