传统大型语言模型(LLM)系统普遍存在硬件利用率低下的问题，主要源于GPU内核的序列化启动及跨设备通信开销。一支研究团队创新性地开发出专用编译器，可将LLM推理过程自动编译为单一megakernel（超级内核），通过三大...

近日，一篇关于将大语言模型（LLMs）编译为单一MegaKernel以实现低延迟推理的技术文章引发广泛讨论。该技术通过优化编译器设计，将传统需要多个内核调用的LLM推理过程整合为高度融合的单一内核，显著减少了内核启动...

近日，Moonshot AI推出的Kimi-Dev-72B开源模型在SWE-bench Verified测试中取得了60.4%的优异成绩，成为当前开源模型中的新标杆。这一突破性成果得益于其采用的大规模强化学习技术，该技术通过在Docker环境中直接修补...

DeepNVMe最新版本实现了多项突破性升级：首先扩展了对模型检查点（checkpointing）和推理工作负载的支持，使深度学习框架能更高效地管理训练中间状态；其次新增PCIe Gen5 NVMe的扩展能力，显著提升存储带宽以应对大...

Sakana AI研究团队开发出一项突破性技术——Text-to-LoRa（T2L）系统，该系统仅需文本描述即可即时定制大型语言模型，无需传统方法所需的训练数据或耗时微调过程。该技术的核心创新在于将数百个LoRA适配器（一种高效轻...

Poline是一款轻量级、无依赖且快速的JavaScript函数库，采用TypeScript编写。它通过在极坐标系中绘制锚点之间的连线，生成令人愉悦的色彩调色板。这一创新方法不仅简化了色彩设计流程，还为设计师和开发者提供了一种...

GitHub上最新开源的Bento项目引发科技爱好者广泛关注，该项目将完整计算机系统集成至标准键盘内部，实现‘主机即键盘’的创新形态。开发者lunchbox-computer通过模块化设计，在保持机械键盘手感的同时，内置了相当于St...

开发者psviderski近日开源了Unregistry工具，解决了Docker镜像部署中繁琐的'推送到仓库/从仓库拉取'流程。该工具创新性地利用Docker宿主机自带的containerd镜像存储，通过标准Registry API暴露接口，新增`docker pus...