他在东都（洛阳）担当负责选拔官吏的重要公务，可是随身的行李只是一只布口袋。他担任黄门监兼吏部尚书期间，病了很长时间。宋璟和卢从愿经常去探望他。卢怀慎躺在一张薄薄的破竹席上，门上连个门帘也没有，遇到刮风下雨，只好用席子遮挡。卢怀慎平素很器重宋璟和卢从愿，看到他们俩来了，心里非常高兴，留他们呆了很长时间，并叫家里人准备饭菜，端上来的只有两瓦盆蒸豆和几根青菜，此外什么也没有。卢怀慎握着宋璟和卢从愿两个人的手说：“你们两个人一定会当官治理国家，皇帝寻求人才和治理国家的策略很急迫。但是统治的时间长了，皇帝身边的大臣就会有所懈怠，这时就会有小人乘机接近讨好皇帝，你们两个人一定要记住。”过了没几天，卢怀慎就死了，他在病危的时候，曾经写了一个报告，向皇帝推荐宋璟、卢从愿、李杰和李朝隐。皇帝看了报告，对他更加惋惜。

    安葬卢怀慎的时候，因为他平时没有积蓄，所以只好叫一个老仆人做了一锅粥给帮助办理丧事的人吃。玄宗皇帝到城南打猎，来到一片破旧的房舍之间，有一户人家简陋的院子里，似乎正在举行什么仪式，便派人骑马去询问，那人回来报告说：“那里在举行卢怀慎死亡两周年的祭礼，正在吃斋饭。”玄宗于是赏赐细绢帛，并因此停止了打猎。

    另外人们传说：卢怀慎去世时，他的夫人崔氏不让女儿哭喊，对他说：“你们的父亲没死，我知道。你父亲清正廉洁，不争名利，谦虚退让，各地赠送的东西，他一点也不肯接受。他与张说同时当宰相，如今张说收受的钱物堆积如山，人还活着，而奢侈和勤俭的报应怎么会是虚假的呢？”到了夜间，卢怀慎又活了，左右的人将夫人的话告诉了他，卢怀慎说：“道理不一样，阴间冥司有三十座火炉，日夜用烧烤的酷刑来惩罚发不义横财的人，而没有一座是为我准备的，我在阴间的罪过已经免除了。”说完又死了。