视觉模型找不到目标时,常常硬凑一个框。微信视觉团队开源的 WeVisOne-VL 反其道而行:图里没有就大声说 None,在 Ref-ZOM 上回答“没有”的比例达 86.0%。更关键的是,它用一个模型同时完成找物体、数数量、读文字、分割和抠图,换任务不用换模型。

让视觉模型在图里找一样东西,它通常会给出一个框。可如果这样东西根本不在图里呢?
在一项专门考“图里没有”的公开评测中,两个同类开源模型分别只有 0.3% 和 1.3% 的情况回答了“没有”,其余几乎都硬给出了一块区域。找不到,也要凑一个答案。
近日,微信视觉团队正式开源WeVisOne-VL —— 一个用同一套模型完成找物体、数数量、读文字、分割和抠图的视觉模型。在上述公开评测集 Ref-ZOM 中,它(4B 版本)回答“没有”的比例达到 86.0%;在团队自建的评测集 WeRef-Bench 中达到96.4%,对比模型中最高为 73.0%。
当没有符合目标的答案时,它会直接返回 None。
项目与代码:Tencent / WeVisOne-VL
技术报告:https://arxiv.org/abs/2610.31329
在线体验:
https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b
https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b
模型权重:
https://huggingface.co/tencent/WeVisOne-VL-2B
https://huggingface.co/tencent/WeVisOne-VL-4B
公开评测复现说明:
https://github.com/Tencent/WeVisOne-VL/blob/main/evaluation/README.md
解决|先教它分清有没有,再让一个模型干多种活
○专门练习“图里没有”的题
要让模型敢说“没有”,就得让它在训练里见到这类题:出这类题并不简单,因为模型没找到,不代表图里真的没有,也可能只是漏看了。
所以团队会对照整张图逐条复核:确认没有任何对象同时满足描述里的属性、动作和关系,才把它当作“没有”的题;一旦发现目标,就改回正常标注。
训练时还会重点练两类错题:一类是图里没有、模型却硬框了;另一类是图里有、模型却漏了或选错了。 两类一起练,模型才不会为了少犯错,动不动就说“没有”。
但只会拒绝也不行。在 WeRef-Bench 中图里确有目标的题目上,4B 的定位得分为 78.7,同表最高对比模型为 51.7。面对确认没有目标的题,只有什么都不框,模型才能拿到奖励。 它没有因为学会说“没有”,就变得不敢找。
○用 1 亿张标注图,教它找得准、描得细
图里真有目标时,还得找得准、描得细。为此,团队搭建了一套自动标注流程,由多个模型定位、交叉校验,再补上轮廓和透明度,累计标注超过 1 亿张图像、约 36 亿个目标框。
○画框、读字、抠图,交给同一个模型
找东西要画框,读字要给出文字和位置,抠图要精确到每个像素,过去这些往往分给不同模型来做。WeVisOne-VL 把它们写成同一种输出格式,一个模型全部学会,换任务不用换模型。
例如:一张海边照片,让模型把照片里的人找出来。同一张图,三种结果的差别是这样的:

图:基于 WeVisOne-VL 示例原图与抠图结果制作,框和分割为对比示意。
- 框:画一个矩形,告诉你人大概在哪。但框里还带着海水和栏杆,没法直接拿去用。
- 分割:沿着人的轮廓描边,每个像素只分“是人”或“不是人”。被风吹乱的发丝很细,夹在海水之间,一刀切下去边缘发硬、带毛刺。
- 抠图:再算出边缘每个像素“有几分是人”。发丝处可能只有三成是人、七成是海水,放到新背景上,飘起的头发也能自然保留。
后两种都要精确到像素。以前的常见做法是先用一个模型画框,再把框交给 SAM(Meta 开源的通用分割模型),由它沿着轮廓把目标分出来;而在WeVisOne-VL 则用模型里一个约 960 万参数的小模块直接完成,不需要再额外接一个 SAM。
○合进一个模型后,单项成绩并没有变弱

开源|可在线试用,也可本地部署
项目已开源2B、4B 两个版本的权重,以及技术报告、教程、评测代码和标注工具 Mask2Alpha,采用 Apache 2.0 许可。可以先在网页 Demo 试用,也可以在本地运行。
文中数据来自团队技术报告。当前版本只支持图片输入。
从判断“有没有”,到给出框、文字和抠图,WeVisOne-VL 把这些放进了同一个模型。图里有,就尽量找准;图里没有,就大声说 None。
项目与代码:Tencent / WeVisOne-VL
技术报告:https://arxiv.org/abs/2610.31329
在线体验:
https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b
https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b
模型权重:
https://huggingface.co/tencent/WeVisOne-VL-2B
https://huggingface.co/tencent/WeVisOne-VL-4B
公开评测复现说明:
https://github.com/Tencent/WeVisOne-VL/blob/main/evaluation/README.md
本文由 @微信AI 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议



