北航、人大和九坤投资共同撰写的论文 《Scaling Laws for Code: Every Programming Language Matters》 整理而成。 在代码大模型(Code LLMs)的预训练中,行业内长期存在一种惯性思维,即把所有编程语言的代码都视为同质化的文本数据,主要关注数据总量的堆叠。然而,现代软件开发本质上是多语言混合的,不同语言的语法特性、语料规模和应用场景差异巨大。
在代码大模型(Code LLMs)的预训练中,行业内长期存在一种惯性思维,即把所有编程语言的代码都视为同质化的文本数据,主要关注数据总量的堆叠。然而,现代软件开发本质上是多语言混合的,不同语言的语法特性、语料规模和应用场景差异巨大。如果忽略这些差异,笼统地应用通用的 Scaling Laws,往往会导致性能预测偏差和算力浪费。
包括坦克大战、飞船大战、五子棋、贪吃蛇、扫雷、俄罗斯方块等 ...
The World Resources Institute (USA) Beijing Representative Office is looking for one highly self-motivated student to be an intern at the Research, Data & Impact (RDI) team.
在12月17日的“STEAM AHEAD 2025”全球颁奖盛典上,该竞赛体系迎来全新成员——国际青少年编程奥林匹克竞赛 ...