怎么样才能想出一个work的idea？

一、 简单的方法是A+B 我数学老师曾讲过，科研无非新瓶装旧酒，或者旧瓶装新酒 LLM上验证过的想法，直接copy paste到CV/audio/医疗/心理学，基本是稳的。如果能再加一些领域的专业知识，就能过审稿人这关 同时，它也是最有可能对社会产生正向影响的，不要有负罪感 二、 更好的办法是不带目的的玩模型，要有玩心。 拿个LLM过来，先把prompting玩明白了，然后搭一堆API Agent，什么写个谈恋爱copilot，机器人大战繁体字，测个bias，玩玩社交媒体账号，等等 玩的过程中建立手感，再多读相关论文，然后把玩了啥记录一下就是顶会论文了。 纯这么玩去年随便发论文，今年应该prompting没法发了。Agent还是可以的，而且机会越来越多。 进阶半步开始玩微调，拿各种奇怪的数据微调模型，观察它的行为。比如合成一堆小语种数据，或者编一个新的逻辑语言，玩玩幻觉，搞搞RLAIF。今年这类论文应该好发，主要post-training有时候一个场景能发一篇论文，做不完的 再之后，甚至可以考虑玩预训练调模型架构。不过穷人还是算了，卡多这么搞。 三、 把你这个“看了几篇论文”变成“看了几百篇论文”就可以了。但我感觉我刚做科研也有时候能想到靠谱的想法 四、 有理论保证的东西，有时可以预知结果。我最近这篇也是，当时只是不确定能加速3-10%，但心里知道一定有加速（最后跑出来5%） 五、 当一个人做了一段研究后，便会得到常人没有的认知。 譬如scaling law（规模定律？），OAI之人得来各有原因。后创立anthropic的dario amodei，便是在百度训练语音模型的时候注意到的。他发现，随着lstm的内部state（状态）维度增大，层数增多，训练量增加，模型性能便稳定地提高。他不由地想，如果规模推到极限，会发生什么。 bitter lesson作者，强化学习几个爸爸之一的richard sutton，也是在差不多时间意识到规模的意义。不同的是，Ilya本科见hinton第二面就提出了scaling law，这仿佛是他天生的执念，不知从何而来。所以人们常冠以他“先知”之名，便源于他诸多此类没缘由的认知。 别的领域也是如此。丘成桐在自传中曾写道，他在事业开端时便有意识地尝试利用偏微分方程将拓扑和几何相连，后面几十年通过这一思想获得了丰厚的成果。 有了这认识后，便好像手里有了把好用的锤子，可以四处找钉子了。对于OAI众人来说，只要确定了scaling law，唯一需要确定的就是scale（规模化）什么东西。幸运的是，他们最终找到了大语言模型这个绝佳的载体。 我没想好我的思想主线是什么，但我现在看来很有潜力的且努力探索的便是，“RL=遗传算法=黑箱优化=零阶优化=sb东西，因此应该在一切场合寻找梯度信息替代之”，这一论断。后续或许会有这方面的论文出来，到时候看。