漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-08-29 talkingdev

开源|oLLM:轻量级Python库实现消费级GPU运行100K上下文大模型

近日,GitHub上开源项目oLLM引发开发者社区广泛关注。该项目是一个专为大上下文语言模型推理设计的轻量级Python库,其核心突破在于仅需8GB显存的消费级GPU即可运行Llama-3.1-8B-Instruct等模型处理长达10万token的上...

Read More
2025-08-24 talkingdev

RFC 9839发布:Unicode编码漏洞引发网络安全新挑战

近日,互联网工程任务组(IETF)正式发布RFC 9839标准文件,该文件聚焦于Unicode字符集在网络安全领域的潜在风险。技术专家Tim Bray在其深度分析中指出,某些特殊Unicode字符可能被恶意利用,通过视觉混淆攻击(如同...

Read More
2025-08-19 talkingdev

谷歌Gemini API新增URL上下文读取功能,大模型可直接获取网页原始内容

谷歌Gemini API最新推出的url_context工具引发行业关注,该功能允许大语言模型在响应提示时直接请求URL内容作为上下文补充。技术实现上,当模型调用该工具时,会通过谷歌官方IP向目标网页发起请求,并以原始HTML格式...

Read More
2025-08-18 talkingdev

Qwen3-Embedding-0.6B模型实现百万级文本高效嵌入,GPU利用率近100%

近日,Qwen3-Embedding-0.6B模型在文本嵌入领域取得重大突破,能够高效处理百万级文本数据,并实现接近100%的GPU利用率。该技术流程包括从S3读取文档、使用spaCy进行句子分块、利用Qwen3生成嵌入向量,并将结果写入t...

Read More
2025-08-15 talkingdev

揭秘大语言模型(LLM)的文本处理机制:Tokenization如何塑造AI世界观

大语言模型(LLM)通过Tokenization技术将文本分解为更小的单元,再转换为数值表示进行处理。这一过程涉及BPE(字节对编码)、WordPiece和SentencePiece等主流算法,直接影响模型的计算成本、上下文理解能力和多语言处理...

Read More
2025-07-24 talkingdev

[论文推荐]Voxtral:多模态音频聊天模型新突破

Voxtral团队最新发布了Voxtral Mini和Voxtral Small两款多模态音频聊天模型,在语音理解和文本处理方面均达到业界领先水平。这两款模型能够同时处理语音音频和文本文档,在多项音频基准测试中取得了最先进的性能表现...

Read More
2025-07-18 talkingdev

[论文推荐] 突破长文本限制:新型“Power”注意力机制实现高效训练

一项名为“Power”注意力的创新技术通过引入超参数p,实现了对状态大小的独立控制,有效解决了长上下文训练中计算成本平衡的难题。该机制在长序列任务中表现优于标准注意力,并支持定制GPU内核,在64k上下文长度下速度...

Read More
2025-07-15 talkingdev

谷歌Gemini API正式推出Gemini Embedding文本模型,支持多语言与长文本处理

谷歌开发者博客宣布,其首个Gemini Embedding文本模型现已在Gemini API和Vertex AI中正式向开发者开放。这一模型提供了跨领域的统一尖端体验,支持超过100种语言,并具备2048个最大输入标记长度的处理能力。Gemini E...

Read More
  1. 1
  2. 2
  3. 3
  4. Next Page