论文速读记录 | 2026.11

SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

• arXiv：https://arxiv.org/abs/2609.08149
• PDF：https://arxiv.org/pdf/2609.08149
• HTML：https://arxiv.org/html/2609.08149
• GitHub：https://github.com/open-compass/AgentCompass
• Dataset：https://huggingface.co/datasets/opencompass/SWEBench-Pro-Verifie
• evaluation guide：https://agent-compass.mintlify.app/en/user_guide/modules/benchmarks/swebench_pro_verified
• 来源：最近关心的方向。
• 内容概括（还没有读）：研究 SWE-bench Pro 中的两类可靠性问题：gold solution / hidden evaluation 泄露导致的 reward hacking，以及题目描述和测试质量问题。通过 anti-hacking safeguards 和 task refinement 构建更可信的 Benchmark。

ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning

• 来源：曾经想看的正样本文章。
• arxiv：https://arxiv.org/abs/2503.09501
• pdf：https://arxiv.org/pdf/2503.09501
• html：https://arxiv.org/html/2503.09501v3
• GitHub：https://github.com/ziyuwan/ReMA-public

Risk-Sensitive RL for Alleviating Exploration Dilemmas in Large Language Models

• 来源：曾经想看的正样本文章。
• arxiv：https://arxiv.org/abs/2509.24261
• pdf：https://arxiv.org/pdf/2509.24261
• html：https://arxiv.org/html/2509.24261v1
• GitHub：https://github.com/Jackory/RS-GRPO

感觉 intro 和 related work 写的真好啊。

这个当时简单看了一下。

PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier

• 来源：曾经想看的正样本文章。
• arxiv：https://arxiv.org/abs/2506.10406
• pdf：https://arxiv.org/pdf/2506.10406
• html 坏掉了。
• website：https://jackory.github.io/pag/
• GitHub：https://github.com/Jackory/Policy-As-GenVerifier

Learning to Learn with Contrastive Meta-Objective

• 来源：无意中看到的，NeurIPS 2025 oral。
• arxiv：https://arxiv.org/abs/2410.05975

（还没读。这篇文章看起来比较古典，做的是传统 ML，并不是做 llm 的。 （这个东西能用在 llm 上吗？现在看到一个东西，就会想它能否用在 llm 上

Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences

• 来源：无意中搜到的。ICRA 2025。
• arxiv：https://arxiv.org/abs/2409.07268
• GitHub：https://github.com/FeiCuiLengMMbb/paper_MTPL
• 好奇是不是 multi-type + PbRL。

MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration

• arxiv：https://arxiv.org/abs/2006.08170
• 来源：合作者说有趣的 skill + meta-RL 论文，ICML 2021。

Absolute Zero: Reinforced Self-play Reasoning with Zero Data

• arxiv：https://arxiv.org/abs/2505.03335
• 来源：neurips 2025 best paper 的一作 yue yang 的 NeurIPS 2025 spotlight 工作。被题目吸引住了，单纯好奇，想读一读。

auto-curriculum learning (Jiang et al., 2021b)

• 来源：RSD。似乎可以做自动 curriculum learning，或许是有启发性的。

Meta-Motivo（Tirinzoni 等人，2025），zero-shot goal-conditioned RL

• 来源：RGSD。可能包含一个技能库，也想看。速读一下就行。

Unsupervised Skill Discovery via Recurrent Skill Training

• 来源：合作者推荐的 skill discovery 先前工作。

Learning to Discover Skills through Guidance

• 来源：同上。

One After Another: Learning Incremental Skills for a Changing World

• 来源：同上。

Direct then Diffuse: Incremental Unsupervised Skill Discovery for State Covering and Goal Reaching

• 来源：同上。

Horizon Generalization in Reinforcement Learning

• arxiv：https://arxiv.org/abs/2501.02709
• website：https://horizon-generalization.github.io/
• 来源：Benjamin Eysenbach 的新作，是一篇 arxiv paper，同学说有趣。

HIQL: Offline Goal-Conditioned RL with Latent States as Actions

• arxiv：https://arxiv.org/abs/2307.11949
• website：https://seohong.me/projects/hiql/
• 来源：合作者推荐的文章，好像也是 Benjamin Eysenbach 发表的。

Contrastive Preference Learning: Learning from Human Feedback without RL

• arxiv：https://arxiv.org/abs/2310.13639
• GitHub：https://github.com/jhejna/cpl
• 来源：无意中搜到的文章，ICLR 2024，好像之前读过。
• 主要内容：

Few is More: Task-Efficient Skill-Discovery for Multi-Task Offline Multi-Agent Reinforcement Learning

• arxiv：https://arxiv.org/abs/2502.08985
• 来源：同学的最新工作。
• 主要内容：
  • 这篇文章关注的 setting 是 offline multi-task MARL；特别的，agent 只在（比如说）三个人合作的场景上训练，然后就可以泛化到任意多个人合作的场景。同学讲的故事是，用 transformer 作为一个翻译器，把三个人的合作动作翻译为多个人的，感觉这个故事听起来非常好。

Rethinking Reward Modeling in Preference-based Large Language Model Alignment

• arxiv：https://arxiv.org/abs/2411.04991
• OpenReview：https://openreview.net/forum?id=rfdblE10qm
• 来源：ICLR 2025 oral。
• 主要内容：
  • 这篇文章关注 LLM 的 RLHF。据说不采用 bradley-terry model 来建模 reward model，而是直接训一个分类器，学习一个 (x,y) 是好的还剩坏的，然后使用分类器的概率 logit 作为 RLHF 的 reward。
  • 是否使用了非成对的比较 \((x_1, y_1^+, x_2, y_2^-)\)，而非把成对比较 \((x, y^+, y^-)\) 打乱（？）
  • 实验是否过于 toy（？）理论大概说了什么（？）

DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback

• arxiv：https://arxiv.org/abs/2410.05527
• open review：https://openreview.net/forum?id=2iYVBqRHK4
• 来源：合作者推荐的文章。
• 主要内容：
  • preference-based index policy（？）
• whittle index，一个结论，两个等价条件，经典问题的证明方式。

Data Center Cooling System Optimization Using Offline Reinforcement Learning

• arxiv：https://arxiv.org/pdf/2501.15085
• 来源：xianyuan zhan 组的新文章。
• 主要内容：
  • T-symmetry。

SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking

• arxiv：https://arxiv.org/abs/2407.04752
• 来源：师兄推荐的神秘文章，ICLR 2025 poster。

Rethinking Inverse Reinforcement Learning: from Data Alignment to Task Alignment

• arxiv：https://arxiv.org/abs/2410.23680
• 来源：偶然看到的文章。

Why Distillation can Outperform Zero-RL: The Role of Flexible Reasoning

• arxiv：https://arxiv.org/abs/2505.21067
• 来源：偶然看到的文章。

Thinkless: LLM Learns When to Think

• arxiv：https://arxiv.org/abs/2505.13379
• 来源：偶然看到的文章。

Learning to Reason without External Rewards

• arxiv：https://arxiv.org/abs/2505.19590
• 来源：偶然看到的文章。