LLaVA-Phi是一款创新的多模态助手，它使用Phi-2语言模型。尽管参数只有2.7B，但LLaVA-Phi在多模态对话中表现出色，结合了文本和视觉。该助手可以在多个领域内使用，例如智能家居和自动驾驶等。

这项项目介绍了一种方法，可以适应各种任务的类似CLIP的视觉语言模型，同时保留其泛化能力。该方法从LLM数据中学习提示，避免了需要标记图像的需求。

DiffusionEdge是一种新颖的边缘检测模型，它集成了扩散概率模型，可以在资源有效的同时提供更准确和清晰的边缘图。传统的边缘检测模型对于噪声和边缘不清晰的情况表现得不够稳定。DiffusionEdge的扩散模型可以帮助减...

近日，一种名为GUESS的框架被引入，用于从文本中创建人体动作。该框架将复杂的人体姿态简化为各个层次上的更抽象形式，从而使从文本合成动作更加简洁稳定。

最新的研究表明，在语言模型中添加新的模块并在另一个任务上进行调整，可以防止丢失知识。这在代码和语言任务中都有体现。

有很多方式可以对齐语言模型，例如SFT、LoRa、RLHF、DPO、Prompting和Threatening。本研究提出使用负嵌入加到偏置项中，以将模型生成推向期望的结果。

OpenInterpreter是一个优秀的项目，它模拟了OpenAI的解释器。现在，它还拥有一个OS模式和一个可视化模式，因此它可以通过点击按钮和查看屏幕来使用语言模型控制您的计算机。

本文分享了关于AI现状的思考，以及对该技术发展方向的一些预测。文章主要关注AI模型的产品、市场和人才现状，而并未涉及AI架构和基础设施的技术细节。今年，开源模型将赶上专有模型，并帮助推动边缘设备的推理。