李显登基后，沉迷于后宫莺歌燕语，冷落了韦后。出于“怜爱”，他得知韦后与武三思亲密无间，心中感到一丝欣慰，毕竟夫妻二十余载，有过“永不隔绝”的誓言。武三思代劳其“闺房之事”，自然也是“忠臣”之举。
武三思
平日里，韦后与武三思双陆对弈，眉来眼去，暗送秋波。李显竟佯装不知，斜靠一旁，为他们算筹，堪称中国历史上地位最高、容忍度最强的“绿帽乌龟”。
当皇宫内的暧昧关系浮出水面时，张柬之等人才如梦初醒，多次上奏，力劝李显诛杀武氏一族，但李显充耳不闻。
张柬之急不可耐，亲自进宫觐见，泣谏道：“武后篡夺皇位时，几乎诛杀殆尽李氏皇族。如今，仰赖天地保佑，陛下得以复位，而武氏后人却依旧占据宫廷显位，如何能服众？还请陛下削减他们的权势，以安抚天下人心。”
李显不仅置若罔闻，还晋封武三思为司空、梁王，封武攸暨为司徒、定王。在韦后的怂恿下，李显将自己与张妃所生之子谯王李重福贬为均州刺史，派州官监视。
为了安抚张柬之等人，李显下诏，以张柬之、武三思等十六人为平定叛乱之功臣，赐予铁券，赦免十次死罪。李显复辟，铲除的是他武氏表亲的势力，武三思等人并无寸功。
尽管表面上“荣宠”，但张柬之等人早已失去实权，每隔半月才能见皇帝一次。
至此，众人相聚一堂，或抚案长叹，或弹指出血，交谈道：“陛下昔日为英王时，以勇武著称，我们当时不立刻诛杀诸武，本想让圣上亲自动手，以彰显天子之威。如今，大势已去，不知何去何从！”
事后诸葛亮，只能徒增叹息。
郑愔
李显一生，唯在年轻登基时曾为其岳父争位而表现强势，其余时间皆无“勇武”之举，可谓老好人一枚，张柬之等人识人之浅可见一斑。
敬晖等失势后，深恐武三思等人在他面前进谗言，遂派曾提拔过的考功员外郎崔湜作耳目，刺探宫中动静。
崔湜乃投机小人，见李显日益亲近武三思而疏远敬晖等人，立刻大转舵，将敬晖等人的密谋尽数告知武三思，反为武三思所用。
武三思又怒又喜，当即提拔崔湜为中书舍人。
一日，武三思府中宴饮，家仆来报，有故人郑愔求见。
郑愔曾任武后时的殿中侍御史，一直阿谀奉承张易之兄弟。李显复辟后，他被贬为宣州司士参军。坏事做尽，他在当地也作恶多端，不久，郑愔因贪污败露，仓皇逃回洛阳。走投无路之下，来投见武三思。
一般人求见，武三思都懒得理会。听闻老友郑愔来访，他连忙召入相见。
郑愔跪拜在地，起身后，突然放声大哭。哭诉几声后，竟仰面大笑。
崔湜
武三思见状一惊，心想这郑愔莫不是遭贬后失心疯了？仔细考量，郑愔神色恢复如常，不似发病的迹象。
两人坐定，武三思问道：“你刚才又是哭又是笑，究竟何意？”
郑愔回答道：“刚见大王不禁悲从中来，哀大王将被处死而灭族；后乃大笑，喜大王得我郑愔之助也。大王虽受天子宠爱，但张柬之等五人皆占要职，胆气过人，废太后如反掌。大王自省，您的权势，岂能与武则天相比？大王若不除掉这五人，危在旦夕，此正我郑愔深感担忧啊。”
一番话，将武三思点醒。大喜之下，武三思与郑愔携手提袖，登楼密谈。
次日，武三思便举荐郑愔为中书舍人，与崔湜一同成为他的心腹“谋士”。
有了这二人谋划，智商平平的武三思如虎添翼。他与韦后联手，日夜向李显进谗，说张柬之等五人“专权跋扈，不忠于社稷”。
李显本无主见，自然信以为真。武三思等人遂建议：“不如封敬晖等人为王，罢其政事，表面上仍尊宠他们，实质上夺其权力。”
李显遂下诏，以敬晖为平阳王，桓彦范为扶阳王，张柬之为汉阳王，袁恕己为南阳王，崔玄为博陵王，赏赐金帛鞍马，不许参与朝政。
崔湜
至此，五王失势，武三思将昔日被流放的武后故旧悉数召回，不附武氏者皆罢黜在外，大权尽落武三思之手。