[开源] BLAST：斯坦福大学发布高性能浏览器-LLM自动扩展服务引擎
talkingdev • 2025-05-02
7014 views
斯坦福大学MAST实验室推出的BLAST项目，是一款专为浏览器增强型大语言模型（LLM）设计的高性能服务引擎。该技术旨在简化网页浏览AI代理的部署流程，显著提升响应速度并优化成本管理。其核心创新包括：1）自动并行化技术实现多线程处理；2）前缀缓存机制减少重复计算；3）智能预算系统同时管控内存消耗和LLM使用成本。项目采用MIT开源协议，并提供OpenAI兼容API接口，目标是将需要复杂浏览器操作的AI任务延迟降低至谷歌搜索级别。目前已在GitHub获得113个社区评分和42条技术讨论，显示出开发者社区的高度关注。技术文档显示，该系统未来还将引入更多优化模块，有望成为下一代Web交互式AI的基础设施。