当前位置:首页 > 热点 > 无需标注图像,RL自我进化框架VisPlay突破视觉推理难题

无需标注图像,RL自我进化框架VisPlay突破视觉推理难题

2025-12-27 03:25:49 [知识] 来源:南京市某某广告制造厂




在 Vision-Language Model 领域,无需提升其复杂推理能力通常依赖于耗费巨大的标注人工标注数据或启发式奖励。这不仅成本高昂,图像突破推理铜川市某某钢球股份业务部且难以规模化。自进

最新研究 VisPlay 首次提出了一个自进化强化学习框架,化框使 VLM 能够仅通过海量的视觉未标注图像数据进行自我演化和能力提升。

VisPlay 将基础 VLM 分解为「提问者」和「推理者」两大角色,难题通过迭代的无需自我进化机制协同进化,并结合 GRPO 算法和创新的标注铜川市某某钢球股份业务部多样性/难度奖励,平衡了问题的图像突破推理复杂度和答案的质量。



  • Title:VisPlay: Self-Evolving Vision-Language Models from Images
  • Paper:https://arxiv.org/abs/2511.15661
  • Github:https://github.com/bruno686/VisPlay

实验证明,自进VisPlay 在 Qwen2.5-VL 和 MiMo-VL 等主流模型上实现了持续的化框性能提升,尤其在视觉推理、视觉组合泛化和幻觉减少方面效果显著,难题展示了一条可扩展、无需低成本的多模态智能进化新路径。



引言:

VLM 推理能力的「数据困境」

近年来,Vision-Language Model(VLM)在感知任务上取得了不小的进展,但在更复杂的视觉推理上仍然吃力。主流的提升方式如指令微调(SFT)或强化学习(RL)都绕不开一个核心难题:依赖高质量标注数据。尤其是强化学习,需要精准且可验证的奖励信号,而这些往往要靠耗时费力的人工标注或针对具体任务设计复杂的规则。

随着模型规模越来越大,人工标注的成本和速度已经逐渐跟不上模型演化的需求,这也成为进一步提升能力的主要瓶颈。在这样的背景下,研究者开始尝试「自进化」(Self-Evolving)的思路,让模型能通过自我生成、自我修正以及从自身经验中持续学习,从而实现自主的能力迭代。

VisPlay:

基于自我进化的自进化框架

为解决上述挑战,由来自伊利诺伊大学厄巴纳-香槟分校、华盛顿大学圣路易斯分校、马里兰大学、新加坡国立大学的研究团队提出的 VisPlay 框架,首次将自进化强化学习应用于 VLM,并实现仅依赖未标注图片进行自主学习。

VisPlay 的核心理念是自我进化(Self-Evolving):它从一个基础预训练 VLM 出发,将其在训练过程中分解成两个相互作用的角色。

Image-Conditioned Questioner(提问者)

负责根据输入的图片生成具有挑战性、但又可被回答的视觉问题。具体来说,VisPlay 设计了一种精妙的奖励机制来指导自我进化的质量,分别是难度奖励(Difficulty Reward)和多样性奖励(Diversity Reward)。

前者鼓励提问者生成更复杂的、需要深层次推理才能解决的问题;后者确保生成的问题类型和涉及的知识点足够广泛,防止模型陷入狭窄的知识或推理路径,从而实现更强大的组合泛化能力。

通过这种奖励机制,VisPlay 有效解决了自进化模型中常见的「答案质量低」和「问题重复度高」的问题,真正实现了从量变到质变的能力飞跃。

Multimodal Reasoner(推理者)

负责基于图片和提问者的问题,生成「白银级响应」(Silver Responses,即伪标注答案)。这里我们采用回答的准确性作为训练信号。



实验结果:

全方位的能力突破

研究团队将 VisPlay 应用于包括 Qwen2.5-VL 和 MiMo-VL 在内的多个主流 VLM 模型家族,并在八个主流基准数据集上进行了广泛评估,涵盖:通用视觉理解(如 MM-Vet)、跨模态推理(如 MMMU)、视觉数学推理(如 MathVerse)以及幻觉检测(HallusionBench)。



关键发现:

持续稳定的性能提升:在所有测试模型和基准上,VisPlay 都实现了一致且显著的准确率增益,证明了该框架的泛化性和有效性。

强大的组合泛化能力:模型在训练中未见过的复杂推理组合上表现出更强的鲁棒性。

有效抑制「幻觉」:VisPlay 通过自我进化生成的高质量问答对,有效帮助模型识别和修正错误的视觉-语言关联,显著减少了模型产生「幻觉」现象的概率,这是一个困扰 VLM 的重大问题。

VisPlay 的成功证明了仅依赖海量非结构化图片来持续提升 VLM 推理能力的可行性,为未来开发更智能、更自主的多模态系统指明了方向。

(责任编辑:焦点)

推荐文章
  • 看见2025

    看见2025 昨天,C计划妈妈社群里的一条消息,戳中了所有人的笑点与感慨。一位妈妈说,自家青春期儿子的年度挚爱书籍是《怦然心动》。马上有人调侃 “有八卦”,儿子的回答却出人意料:“课业太满,没精力谈恋爱,只想追追星 ...[详细]
  • 极氪本周赴美上市,造车三年即将圆梦IPO

    极氪本周赴美上市,造车三年即将圆梦IPO 美东时间5月3日,极氪向美国证券交易委员会SEC)提交了更新的准招股说明红鲱鱼招股书),计划以“ZK”为股票代码,在纽交所挂牌上市。招股书显示,极氪将发行1750万份ADS美国存托股份),每份ADS相 ...[详细]
  • 哈马斯同意的停火协议草案内容曝光:分三阶段执行,每个阶段持续42天

    哈马斯同意的停火协议草案内容曝光:分三阶段执行,每个阶段持续42天   据央视新闻,当地时间5月6日,据半岛电视台披露,由埃及、卡塔尔等斡旋方提出、并得到巴勒斯坦伊斯兰抵抗运动哈马斯)同意的加沙地带停火协议草案,将分三阶段执行。每个阶段持续42天。  第一阶段,冲突双 ...[详细]
  • 首次公开!侵华日军731部队再添新罪证

    首次公开!侵华日军731部队再添新罪证   据央视新闻消息,近日,侵华日军第731部队罪证陈列馆面向社会公开了一份新近研究发现的档案资料——《731部队本部身上申告书》。  这是1945年8月15日日本战败后,少数未跟随部队整体撤离回国的7 ...[详细]
  • 把“大床房”玩明白的方盒子 福特智趣烈马售22.98万起

    把“大床房”玩明白的方盒子 福特智趣烈马售22.98万起 版权声明:本文版权为网易汽车所有,转载请注明出处。网易汽车12月19日报道今日,福特品牌在中国新能源市场的战略级车型 —— 福特智趣烈马正式上市。作为基于 “福域” 原生智能新能源架构打造的硬派中型S ...[详细]
  • “五一”非遗展馆热度趋高 “老手艺”与“新舞台”共融

    “五一”非遗展馆热度趋高 “老手艺”与“新舞台”共融 置身北京的中国非物质文化遗产馆中,观赏工艺美术家的敦煌图案手稿;到刚刚开馆的西藏非物质文化遗产博物馆中,近距离感受绚丽多彩的唐卡、美观实用的织造技艺;在位于江苏的六朝博物馆里,穿着汉服制作一把漂漆扇… ...[详细]
  • 俄媒:俄计划建新管道向中国输送天然气

    俄媒:俄计划建新管道向中国输送天然气   [环球时报特约记者柳直]“俄罗斯计划通过哈萨克斯坦每年向中国输送350亿立方米的天然气。”新加坡《联合早报》5日报道称。俄罗斯塔斯社引述哈萨克斯坦驻俄罗斯大使阿巴耶夫的说法称,俄罗斯计划建设一条经 ...[详细]
  • 智汇科普·科普中国智库专家访谈丨李象益: 创新是科普事业的灵魂

    智汇科普·科普中国智库专家访谈丨李象益: 创新是科普事业的灵魂 本期访谈专家: 教授,联合国教科文组织“卡林加科普奖”获奖者,中国自然科学博物馆学会名誉理事长,中国科技馆原馆长李象益“科普事业是一个永无止境、永远创新的事业,创新是科普的灵魂。科普要根据公众科学素质 ...[详细]
  • 美国马里兰州发生涉移民执法人员枪击事件 2人受伤

    美国马里兰州发生涉移民执法人员枪击事件 2人受伤   美国警方当地时间12月24日称,美国马里兰州发生一起涉及移民及海关执法局ICE)特工的枪击事件,造成两人受伤。  警方表示,枪击事件发生在当日上午约10时51分,当时移民及海关执法局执法和遣返行动 ...[详细]
  • 遭央视315晚会点名,5万多元一瓶的“听花酒”背后

    遭央视315晚会点名,5万多元一瓶的“听花酒”背后 3.15,一年一度的“打假日”!每到这一天,央视315晚会是不少人最期待的节目。人们期待能够看到各种交易黑幕、陷阱被曝光,各路不良商家、违规企业被揭露。听花酒,就是此次被曝光的对象之一。315曝光!标 ...[详细]