DeepSeek 多模态模型 Janus-Pro 7B 开源

1. 简介

Janus-Pro 是一个新颖的自回归框架，将多模态理解与生成统一于同一模型之中。它通过将视觉编码解耦为两条独立路径来解决以往方法的局限性，同时仍使用单一、统一的 Transformer 架构进行处理。这种解耦一方面缓解了视觉编码器在“理解”和“生成”两种角色之间的冲突，另一方面也提升了框架的灵活性。Janus-Pro 超越了此前的统一多模态模型，并能匹敌甚至超过针对单一任务设计的专有模型。Janus-Pro 凭借其简洁性、高灵活性与高效性，成为下一代统一多模态模型的有力候选者。

GitHub 仓库

2. 模型概览

Janus-Pro 是一个统一的理解与生成多模态大语言模型（MLLM），它将视觉编码在多模态理解和生成两个任务上进行分离处理，构建于 DeepSeek-LLM-1.5b-base / DeepSeek-LLM-7b-base 之上。

在多模态理解方面，它使用 SigLIP-L 作为视觉编码器，支持 384 x 384 的图像输入。在图像生成方面，Janus-Pro 使用来自此处的分词器（tokenizer），下采样率为 16。

3. 快速开始

请参阅 GitHub 仓库

4. 许可证

本代码仓库基于 MIT 许可证发布。Janus-Pro 模型的使用须遵循 DeepSeek 模型许可证。

5. 引用

@article{chen2025janus,
title={Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling},
author={Chen, Xiaokang and Wu, Zhiyu and Liu, Xingchao and Pan, Zizheng and Liu, Wen and Xie, Zhenda and Yu, Xingkai and Ruan, Chong},
journal={arXiv preprint arXiv:2501.17811},
year={2025}
}

6. 联系方式

如有疑问，请提交 Issue，或通过邮箱 service@deepseek.com 与我们联系。