安禄山回到了范阳，暗地里继续招兵买马，囤积粮草。朝廷里杨国忠却更加叫嚣，同沈小阳叫板，说了安禄山很多好话，矛头直指沈小阳。
称沈小阳陷害忠良，对朝廷怀有二心，一顶顶大帽子往沈小阳头上是使劲的扣啊。禁不住杨国忠等一班奸臣的谗言，听多了，玄宗对沈小阳也渐渐地产生了不满之意
终于有一天，在早朝时玄宗宣布罢免了张九龄宰相之职，理由是他曾举荐长安尉周子谅担任监察御史。开元二十五年（737年），周子谅因为胡乱讲吉凶，皇上亲自加以质问，命令在朝堂上判决杀掉他。张九龄因犯了举荐不称职的罪，降职担任荆州大都督府长史。
还带找后账的，又是莫须有的罪名，沈小阳也是服了。下朝后，杨国忠趾高气扬，故意讽刺沈小阳道：“张丞相虽然降职了，正好可以休息一下，为国为民都操劳了这么多年了！”嘴上这么说着，脸上却露出一副胜利者的笑容，满是鄙夷之色。
沈小阳也怼道：“杨大人就更加忧国忧民了，您老就多操劳。”说完，话锋一转，怒斥道：“安禄山是灾星下凡，乱我朝廷者，必是此人，你也小心为上，否则会因此人不得好死！”
杨国忠气的直跳脚，却没敢发作，知道沈小阳精通预测，周易八卦甚是了得，心里也不由一紧。不过，现在的他是春风得意，沈小阳的话一会就成了耳旁风。
他曾推荐孟浩然为荆州府幕僚，提拔王维为右拾遗，还有李白、杜甫都是沈小阳举荐。因举荐人才沈小阳被降职，这些人也是人人自危。
首先是李白，私下和沈小阳说欲辞官不做，去纵情山水。沈小阳一看自己在朝中已大势已去，这些人才在留朝中之能多一分危险。所以爽快的答应了李白，之后的李白游山玩水，因此也留下了上千首诗，传颂了几千年。
李白临走的前一夜，沈小阳把李白叫到府中，为李白践行，一起饮酒到亥时。沈小阳邀李白到府中后花园走走，在凉亭中，二人站立，沈小阳煞有介事的看了看星空，又掐指算了算。然后对李白说：“太白啊，我观天象，几年后我大唐有灾殃啊，可救我朝水火之人，姓郭，名子仪。我算你与他有一面之缘，现在正在遭灾，你可在行走之时，多多留意此人，务必搭救。”
沈小阳在李白面前简直是神一般的存在，说的话是坚信不疑，字字记在心中。第二天上朝就辞职了，开始云游四方。
且说有一日，李白正骑马在驿道上驰骋，前面出现了一班衙役，押解着一辆木笼囚车，迎面走来。李白让马放慢了速度，本已经过去了，突然想起来沈小阳的嘱托。又赶了回来，一问，竟然囚车里的囚犯真是郭子仪。
原来郭子仪失手打死了人，被抓捕到，准备送到官府受审呢。李白表明自己的身份，又谎称自己是张九龄的学生，和衙役一起见到了当地的县令。
县令自然听过李白和张九龄的名字，自知得罪不起，草草的办理了手续，由李白亲自押解回长安交给沈小阳处理。此时的朝廷已经没谁管正事了，沈小阳用自己的职权和人脉把这件事轻松的摆平了，随后把郭子仪送到军队里并托人照顾。
又过了十几日，沈小阳处理了一下自己的事情，上本向皇上辞行，要到荆州上任。玄宗多少有些不舍，但毕竟是自己下的旨意，一言既出也没有收回的道理。
也不知道杨贵妃如何知道的消息，在沈小阳临走前和她在华清宫见了一面，先是对沈小阳的功绩褒奖了一番，之后才切入主题，让沈小阳在临走前再给她预测一下未来。
沈小阳对唐朝历史烂熟于心，但是看到四大美女之一的杨贵妃未来将香消玉殒，也是十分惋惜。于是想着自己再发挥些余热吧，对杨玉环暗示一下，效果如何就不知道了。
于是沈小阳故作姿态的算了半天，最后道：“贵妃娘娘几年后有一难，难过方得平安。”杨贵妃也着实吓了一跳，花容失色的问道：“可有破解之法？”
沈小阳沉思半天，让杨贵妃将仆从等人谴退，而后小声说：“娘娘要多亲近结交太监高力士，多做善事，善待下人，其他则是天机不可泄露！”
杨贵妃见沈小阳不再多说，连急带怕，眼圈一红，伏在沈小阳身上抽泣起来，不一会眼泪扑簌簌的流下。沈小阳身子触电般的一震，看到杨贵妃哭的梨花带雨又爱又疼，感觉自己象丢了魂似的。
沈小阳怕被别人看见丢了性命，忙双手相扶，示意杨贵妃起来，触到杨贵妃的藕臂，不禁心脏狂跳不已。沈小阳忙镇定下来，让杨贵妃准备纸笔，然后刷刷点点在纸上写了一些字，叠好从袍袖里拿出一个锦囊，将纸放入锦囊。
沈小阳将锦囊递给杨贵妃，告知杨贵妃，不出宫不得打开看。随后不再多说，匆匆告辞离去，之后去了荆州赴任。
