褚遂良于永徽六年九月被贬黜为潭州都督，使太尉派受到了沉重打击，太尉派不甘沉沦，展开了营救行动。
侍中韩瑗在废王立武过程中曾经涕泣进谏，与褚遂良保持前后呼应，褚遂良被贬半年后，韩瑗挖空心思写成疏议上奏论理。
大意是说褚遂良勤劳忠诚，体国忘家，从被贬到如今已经度过寒暑，违忤陛下之罪已经受到惩罚，请求宽宥以顺人情。
疏议写得比较长，用情比较深，李治御览后对韩瑗说：“褚遂良的情况朕也知道，但他悖戾犯上，朕无法忍受，所以用忤旨罪名左授他为潭州都督，朕难道有过错吗？卿说了这么多，情感又这样深，是想得太多了吧！”韩瑗默然而退。
这次营救无果，太尉派并未放弃，韩瑗继续与褚遂良书信来往。
显庆二年三月，韩瑗和中书令来济上奏请移潭州都督褚遂良到桂州，以此为条件换取同意拥武派李义府兼中书令。
潭州治所在今湖南长沙，中都督府，管理郴州、永州等7州，而桂州治所在今广西桂林，也是中都督府，管理梧州，贺州等12州，风光秀丽，是历代兵家要冲。将褚遂良移到桂州，看似平级调动，实际上是扩大了实权。
李治给了太尉派一个面子，爽快同意了奏请。褚遂良到桂州以后，一方面游历桂林山水，排遣一年多来胸中郁结，一方面加强州府治理，修缮守备。
且说武后的成功得益于小人物的通风报信，所以武后十分重视对“耳目”的培养，不惜重金奖赏，宫内耳目密布，监视李治和其他妃嫔的动静，宫外也严令拥武派培养“耳目”，监视政敌。
太尉派自以为得计，却不料武后早已令许敬宗、李义府暗中加强对太尉派的监视。褚遂良在桂州的一举一动以及与京城官员的驿马往来，武后都能及时知道，时机成熟就向李治报告。
转眼到了盛夏，许敬宗的监控人员截获了韩瑗与褚遂良的书信，上报给武后，武后又报告给李治。
李治见掌握了太尉派的真凭实据，大喜过望，结合以前收集的材料，指责韩瑗、来济与褚遂良联合起来潜谋不轨，因为桂州是用武之地，所以故意调褚遂良为桂州都督，以为外援。
借此罪名，左授侍中韩瑗为振州刺史，振州在今海南三亚，是天涯海角所在地，比桂林远多了。
又将中书令兼太子詹事来济左授台州刺史，台州在今浙江，这个惩罚相对较轻。因为来济没有书信方面的把柄，又辅助过太子李弘。
再贬黜褚遂良为爱州刺史，爱州又名九真郡，比天涯海角还要远，在今越南清化西北。在交通不便的古代要走到此处，真的是要经历千难万险。
又把荣州刺史柳奭左迁为象州刺史，让他在路上折腾。太尉派骨干到此基本上被一锅端了。而礼部尚书许敬宗被提拔为侍中，以示褒奖。
褚遂良从桂州出发，经过长途跋涉到达爱州，疲惫不堪，又不适应这里的热带丛林气候和蚊叮虫咬，经常生病，连累家人，实在受不了，只好不顾老脸上表乞怜。
乞怜表的大意是说自己在李承乾、李泰交争之际曾经对抗岑文本、刘洎，为李治进入东宫立下大功，又在先帝病危之时拥立李治，处分朝政琐事，使内外宁谧，这也是一件功劳，所以乞陛下哀怜。
表奏上后，时已隆冬，武后在洛阳宫烤火，览表后一笑了之，将表扔进炉子引火。而李治亲手写了一道诏书，改洛阳宫为东都，洛州官员阶品并准参照雍州标准，将河阳、济源等地划归洛州管辖。
长孙无忌也收到了褚遂良的求援信，碍于情面不能不向外甥求情，但自己早已失礼于外甥，又没有朝拜皇后，如何见面求情？
实在是尴尬至极。恰巧太常博士上报《显庆礼》即将修成完工，长孙无忌正好可以借献新礼机会面见外甥。
显庆三年正月初五，《显庆礼》全部修成，共一百三十卷，二百五十九篇。本来是一卷二篇，但因为太常博士萧楚材认为臣子不应该说皇帝的凶事，得到许敬宗、李义府的赞同，所以焚毁《国恤》一篇。
早上，太尉长孙无忌领头到洛阳宫宣政殿站班，许敬宗、李义府随后，向李治报告《显庆礼》修缮情况，并对修成表示祝贺。李治下诏将《显庆礼》颁于天下，中外施行。
汇报会被许敬宗、李义府抢了风头，特别是李义府口若悬河、滔滔不绝，详细叙述《贞观礼》的不足和缺失，赞扬《显庆礼》的完备和翔实，搞得长孙无忌都忘了求情这回事了，一直到散会都没有为褚遂良说一句话。
仲春时节，李治从东都启驾回京，二月廿一日，回到长安太极宫。
不久，传来军事上的捷报，苏定方、萧嗣业攻破西突厥大军，生擒沙钵罗可汗贺鲁，收获西突厥人口、牲畜四十余万，平定西域。
李治下令在西域设置濛池都护府和昆陵都护府，又在龟兹国设置安西都护府，以高昌故地为西州。
大唐帝国的版图大大扩张了，李治高兴之余忽然意识到这是武后不拘一格降人才的功劳，而且自武后从感业寺回宫后，自己的好运是一个接一个，无论家庭还是国家，都是一帆风顺。
李治对自己的慧眼识珠真是太满意了，认定武后是自己的福星，是昊天上帝对自己的恩赐，所以对武后自然而然言听计从了。
转眼到了盛夏时节，李治派遣营州都督程名振、右领军中郎将薛仁贵率兵进攻高句丽，又收到攻克赤烽镇的捷报。
与李武的好运连连相比，褚遂良就可怜多了，可谓恶运连连。
爱州属于热带气候区，气温高、湿度大，又多风雨，褚遂良年迈体衰，不适应这种气候环境，经常感冒，又受到蚊叮虫咬和南方瘴气的困扰，感染疟疾，很快一病不起、与世长辞了。
因为路途遥远，褚遂良的死讯到年底才传到长安，当时朝廷正在隆重举办鄂国公尉迟敬德的葬礼，对褚遂良的死给予了冷处理。
