即召请张柬之任洛州司马。
过了一段时间，武则天又求才，狄仁杰说：“臣曾举荐张柬之，您没用他。”
武则天说：“提拔他了。”狄仁杰说“：臣举荐宰相却任司马，这不是用才。”于是张柬之被授官为司刑少卿，迁升秋官侍郎。
其后姚崇出任灵武军使，即将启程，武则天诏令举荐宫外百官中可任宰相的人，姚崇说：“张柬之深沉稳重有谋略，能决断大事，他已年老，要赶快任用。”
武后当天就召见他，授官同凤阁鸾台平章事，晋升凤阁侍郎。
神龙元年（705年）正月，武则天病得非常严重，麟台监张易之和春官侍郎张昌宗居宫中执政，张柬之、崔玄暐与中台右丞敬晖、司刑少卿桓彦范以及相王府司马袁恕己谋划杀掉张易之和张昌宗。
张柬之问右羽林卫大将军李多祚说：“将军今日的荣华富贵，是谁给的？”
李多祚流着眼泪回答说：“是高宗大帝给的。”
张柬之说：“现在大帝的儿子受到张易之和张昌宗这两个小子的威胁，难道将军不想报答大帝的恩德吗！”
李多祚回答说：“只要对国家有利，我一切都听相公安排，不敢顾及自身以及妻儿的安危。”
于是自己指天发誓，并且与张柬之、崔玄暐等人一同定下了铲除张易之和张昌宗的计谋。
当初，张柬之接替荆州都督府长史乡人杨元琰的职务，二人一同泛舟于长江之中，当小船漂到江心时，谈到了武则天以周代唐的事，杨元琰慷慨激昂，有救助大唐的志向。
张柬之入朝做了宰相后，便推荐杨元琰担任右羽林将军，并且提醒他说：“您大概还记得我们当初在江心泛舟时所说的话吧？今天这项任命可不是随便给您的呀。”
张柬之还任用了桓彦范、敬晖以及右散骑侍郎李湛，都让他们担任左、右羽林将军，把禁军交给他们指挥。这件事引起了张易之等人的怀疑和忧虑，张柬之于是又任用他的党羽武攸宜为右羽林大将军，张易之等人才放了心。
不久，姚崇从灵武回朝，张柬之和桓彦范交谈说：“大事就要成功了！”于是把商量好的计谋告诉姚崇。
桓彦范将这事禀告了他的娘亲。其娘亲勉励他说：“忠孝不能两全，应当先为国家大事着想，然后再考虑自家的小事。”
当时太子李显从北门入宫向武则天问安，桓彦范和敬晖前往拜见，秘密地把他们的计策告诉李显，李显允许他们这样去做。
癸卯（二十二日），张柬之、崔玄暐、桓彦范与左威卫将军薛思行等人率领左右羽林兵五百余人来到玄武门，派李多祚、李湛及内直郎、驸马都尉安阳人王同皎到东宫去迎接李显。
李显有所怀疑，没有出来。
王同皎说：“先帝把皇位传给殿下，殿下无故遭到幽禁废黜