Thinking Machines公司近期发布的研究成果《模块化流形》提出了一种创新的几何框架，用于协同设计带有流形约束的神经网络优化器。该框架通过引入微分几何中的流形概念，将优化问题的约束条件自然地嵌入到神经网络训...

近期arXiv平台发布的研究论文提出了一种名为IDInit的创新神经网络初始化技术，该方法通过在主层和子层结构中维持身份转换（identity transitions），有效解决了深度神经网络训练过程中的收敛稳定性难题。该技术突破...