近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

近日，Ruff的开发团队发布了一款名为Whisper cpp cli的全新语音识别系统，该系统已在GitHub Repo上开源。这是一款完全自主研发的语音转文字系统，基于Whisper技术构建。Ruff团队一直以创新技术和高品质服务闻名于业...

Effort引擎为Apple硅芯片上的LLM模型推断提供了实时调整的可能，从而在速度和质量之间找到了平衡。这种方法无需重新训练，但需要转换和预计算，可以通过加载更少的权重使模型运行得更快。开发者正在寻求Swift/Metal...

GitHub近日宣布启动一个新项目Copilot Workspace，其主要目标是允许语言模型以较为自主的方式完成特性开发和错误修复。该项目将为开发者提供更多便利，提高开发效率，同时也为人工智能在软件开发领域的应用开启了新...

AI 小镇是一个可以在本地完全运行的人类交互模拟器。这一技术的关键在于，它可以能在本地运行，而不需要依赖云端服务。用户可以在自己的计算机上模拟出人类的各种互动行为。这一创新技术的出现，为人工智能的发展提...

近期有研究者开发出一种被称为AAPL的新方法。它的主要功能是通过使用对抗性标记嵌入来增强AI模型识别未知物体的能力。这种方法的提出，将有利于AI在面对新物体时更好地进行识别和处理，进一步提高AI的适应性和灵活性...

OpenLIT是一个OpenTelemetry原生的GenAI和LLM应用观察性工具，旨在通过只需一行代码，就能实现观察性到GenAI项目的集成过程。OpenLIT的设计理念是简洁而强大，能够帮助开发者快速、有效地将观察性集成到他们的项目中...

近日，Meta推出了全新的Llama模型预训练框架——Torchtitan。该框架是完全使用PyTorch编写的，具有高度的灵活性和易用性。对于广大的PyTorch用户和开发者来说，这是一个利好消息。Meta是全球最大的社交网络公司，其在...

Luminal 是一款基于深度学习的开源框架，它在GitHub上发布并得到了广泛的关注。这个框架以速度和简单性为出发点，把快速和简易性放在首位，让用户可以在最短的时间内实现深度学习模型的快速构建和部署。Luminal能够...

MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...