10月论文阅读
MLLM 相关
Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning
Qwen3.5-Omni Technical Report
提出的 Thinker-Talker 架构,沿用到后续模型
Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents
TokenRouter: Efficient Serving System for Token-Level LLM Routing 2610
比较新的LLM routing在做什么
On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
VisualPRM: An Effective Process Reward Model for Multimodal Reasoning
- 训练 multimodal reward model,然后在多个 MLLM reasoning candidates 上做 Best-of-N selection
- 推理分成多个 step,重复采样的一个作用,从某个 step 往后重复采样,把这当成蒙特卡洛采样,采样的成功率越高,说明这个 step 越正确
如果之后遇到坑了,就来怪这几篇文章
Let’s Verify Step by Step
ICLR 2023
数学推理训练成换行分隔的 step,方便对每一步打分
Let Me Speak Freely? A Study On The Impact Of Format Restrictions On Large Language Model Performance.
严格格式约束通常会降低推理任务表现,格式越严格,下降往往越明显
先用自然语言推理,再转换格式,NL-to-Format Natural Language to Format,可以和原始自然语言性能接近
Look Light, Think Heavy: What Multimodal Chain-of-Thought Reasoning Can and Cannot Do
Date: 2026-06 · Venue: ACL 2026
探究 MLLM 中 大家常用的 CoT 有效性到底如何??
- CoT 并非免费的午餐,应根据每个任务的具体需求有选择地使用。对于感知任务,CoT 可能带来不良副作用,例如在视觉定位和物体计数中导致性能下降。相比之下,它在涉及数学、科学和多图像推理的推理任务中被证明是有效的
- 与原始模型相比,现有开源多模态推理模型相较于原始模型,整体性能经常只是获得有限提升。可能的解释是这些模型过于强调数学推理能力,而忽视了更广泛的多模态能力。
- Look Light, Think Heavy
他把多模态的任务分成了Perception 感知和Reasoning 推理
-
语言层面的长推理不代表视觉层面的深度理解
-
模型可能需要在推理过程中重新获取和验证视觉证据
Does RLVR Extend Reasoning Boundaries? Investigating Capability Expansion in Vision-Language Models
Venue: ACL 2026
Improving Vision-language Models with Perception-centric Process Reward Models
Venue: CVPR 2026