明星创业公司Thinking Machines赌钱赚钱官方登录，第二篇筹论说文热乎出炉！

公司首创东说念主、OpenAI前CTO Mira Murati依旧躬行站台，翁荔等一众大佬也纷纷转发补助：

论文主题为“Modular Manifolds”，通过让扫数汇集的不同层/模块在斡旋框架下进行照顾和优化，来提高检会的瓦解性和效果。

之是以进行这项商量，主若是为了处理神经汇集检会中的一个基本挑战：

汇集里面的张量（如权重、激活、梯度）若数值过大或过小，会激发不瓦解、梯度爆炸/灭绝、检会效果低劣等问题。

因此，论文独一作家Jeremy Bernstein提议了一种新的优化念念路——模块化流形（Modular Manifolds），不仅对单个权重张量施加照顾，还能把扫数汇集视为组合的流形结构，从而斡旋策画学习率、照顾阵势与优化逻辑。

网友们的响应be like：

对神经汇集检会有深远的想法。

将权重更新甘休在流形上不错带来瓦解性和可讲授性，深嗜能否彭胀到相等大的模子？

带着这些细目和狐疑，我们接着看这到底是一项怎样的商量——

从向量在球面上优化→提议模块化流形

为什么需要流形照顾？

原因正如开始所提到的，在检会大模子时，如果权重、激活值、梯度太大或太小，就会出现检会不瓦解（溢出、灭绝、抑遏速率慢等问题）。

之前为了处理这些问题，归一化方法逐渐成为“黄金步伐”，包括激活归一化（如层归一化LayerNorm）、梯度归一化（优化器里面的法式化）等，但很少平直对权重矩阵本人进行归一化处理。

而作家以为，对权重矩阵进行归一化处理具有至极价值，其刚正可能包括：

更容易主办优化进程中更新量的大小；卤莽幸免权重的范数变得过大，也等于细心权重“爆炸”的问题；让商量员不错把颐养超参数的元气心灵，更多地放在那些对模子影响最大的张量上；让矩阵的要求数变小，这么矩阵的步履就会愈加瓦解和可瞻望；……

一句话，给权重矩阵归一化，不错让模子检会更瓦解、更容易颐养、步履更可瞻望，何况对外界侵扰更有抵触力。

基于此，作家但愿策画一个几何化框架，把神经汇集的权重参数照顾在特定的Stiefel流形上，从而在检会时卤莽聚积优化器与这些照顾。

其中枢商量进程约莫有以下几个要领：

Step 1：提供一个基础示例

假定要检会的参数是一个向量W赌钱赚钱官方登录，何况强制它弥远在单元球面上：