正德十一年（1516年），严嵩还朝复官。复官之初，严嵩对朝政多持批评之论，他多次提到，“正德间，天下所疾苦莫如逆竖妖僧”。对于武宗的许多其他做法，他也持批评态度，例如反对运楠木北上。或许是因为为官刚正，直到正德十六年（1521年），嘉靖即位几个月之后，严嵩才升为南京翰林院侍读，署掌院事。到嘉靖四年（1525年），又升为国子监祭酒，由南京回到北京。至此为止，嘉靖对他并没有特别注意，也没有迹象表明他有不清白的行为。
进入北京后，严嵩在为官做人方面开始有了明显的变化。他将利禄看得重了，常说起“禄不逮养，学未有成”之类的话，也有人批评他，任祭酒时就不清白了。
尽管如此，严嵩也并非一味谄媚，对嘉靖不正确的做法也会据理力争。例如“宫婢之变”后，嘉靖避居西苑，所居西苑永寿宫发生火灾，嘉靖欲重修宫殿。严嵩考虑嘉靖久不上朝，营建又要花费巨额资财，会引起民怨，故不同意重修宫殿。而另一位阁臣徐阶竭力主张重建。对此，时人支持严嵩，认为徐阶太过于阿谀了。可见，严嵩也有刚性的一面。关于这一层，嘉靖应该是心中有数的，因此，嘉靖对严嵩也多有褒奖，如赐严嵩“忠勤敏达”的银印，赐其藏书楼名为“琼翰流辉”，奉玄之堂名为“延恩堂”，赐字幅“忠弼”等。即使是嘉靖令他辞官之时，在谕旨里他还是说“嵩小心忠慎”，并且允许他乘驿车回家，每年还给他百石禄米。（《世庙识余录》有载）能得到嘉靖这样一位薄情寡恩的皇帝的优待，并非只是会拍马屁就可以得到的。而严嵩卸任赋闲在家时，生活也未见比其他首辅优越。
“贪鄙”与“专权”是令严嵩声名狼藉的两大主要原因。“专权”的问题已在上文有所阐述，这里再来谈谈“贪污”。
严嵩到底贪污了多少？
据《明史》、《世宗实录》等记载，查抄严嵩家时，一共查出来三万多两黄金，两百多万两白银，以及其他珠宝珍藏几千件，还有府第房屋六千六百余间，田地山塘近三万亩。
嘉靖下令将籍没的财产一半充边饷，一半入内库。奇怪的是，当时仅有十万两入库。嘉靖也觉得奇怪，于是问道：“从严嵩三月被处决到今天已经十个月了，抄没的财物尚未至，尚不见。巨额资财既不在犯家，国家亦未收，也未隐匿流失，它们真的存在吗？在哪里呢？”（《世宗实录》有载）嘉靖的怀疑很有道理，而对此唯一的可能就是，所谓的严氏巨额家产根本就不存在。
当时主持籍没之事的是首辅徐阶。徐阶是严嵩的政敌，是不是他故意虚报，以夸大严嵩父子的过恶呢？从史料来看这是有可能的。
严嵩彻底被扳倒就是徐阶设的圈套。
嘉靖崇尚道教，他经常召徐阶推荐的方士蓝道行入禁中预卜祸福。一日，严嵩有密札言事。徐阶事先通报蓝道行，蓝道行装神弄鬼一番后说：“今日有奸臣奏事。”接着嘉靖刚好看到严嵩的密札，于是对他究竟是忠是奸产生了疑问。这时，正在内侍处避雨的御史邹应龙听到这个消息，认为是个好时机，于是上疏论严嵩父子不法之事。结果，严嵩被勒令致仕，即告老还乡，儿子严世蕃先是发配戍边，后以通倭罪被杀。严家随即被抄没。
退一步讲，严嵩虽背着贪名，其家产却远比不上素有廉名的徐阶。徐阶光田产就有四十万亩。根据史书记载，严嵩和徐阶起步时家业相当，严嵩任了十五年首辅，徐阶仅任了六年首辅，田产却是严家的十几倍。仅以田产相比，孰贪孰廉已昭然若揭。何况徐阶还有纵容子弟侵占民田，诬陷清官海瑞被罢官的劣迹。至于徐阶究竟有多少资财，虽是无法统计，但从当时任应天巡抚的海瑞的感叹中可见一斑：“产业之多，令人骇异。”（《四友斋丛说》）
如此说来，把“巨贪”的名头加诸在严嵩头上太名不符实了。
《明史·严嵩传》称严氏“无他才略，惟一意媚上，窃权罔利”。其中“惟一意媚上，窃权罔利”在上文中已证明并不完全正确，“无他才略”则更不符合实情。
严嵩的文采是有史可循的，而他也正是凭借一手青词得到嘉靖的喜爱，向有“青词宰相”之称。与他同时代的李梦阳曾说：“如今词章文学，翰林诸公，严惟中为最。”
严嵩出生于寒士家庭，自小学习声律，少年聪慧，善于作对。有一次地方官口占一联：“关山千里，乡心一夜，雨丝丝。”他随口应对：“帝阙九重，圣寿万年，天荡荡。”对得很是工整。弘治十八年（1505年），他中了进士，以二甲第二名的身份入翰林院就读，当时包括阁臣李东阳在内的不少士大夫“咸伟其才”，都对他的才华叹为观止。
严嵩的书法成就也很令人敬佩，北京百年老店“六必居”的金字招牌就是他写的。什刹海、景山公园、北海、故宫等地都有他的书法作品，山海关的“天下第一关”也是他的手笔。
关于他的人品，也非《明史》等正史中所说的心胸狭窄，热衷于打击报复，相反却是极有度量。《罪惟录》记录了这样一件事：有个叫林一新的官以佥事的身份外出巡查，恰有严嵩的家仆有不法行为，被林一新抓住打了一顿。后来，林一新回到京师，严嵩非但没有报复，还对他礼敬有加。严嵩能够约束家人，顾及大义，这与徐阶纵容子弟横行乡里，何啻天壤之别。
史料中还记载了严嵩擢选人才以为国用的事迹，如《列朝诗集·尹耕传》中说：“分宜（严嵩）能用子莘，能用胡瓒宗，其识见亦非他庸相所及也。”
崇祯年间做过大学士的黄景昉在《国史唯疑》中说，当他路过袁州时，还听到当地人对严氏的好感和怀念之词。《国史唯疑》中还记录了一段颇耐人寻味的对话：徐阶曾对张岳的儿子说：“严氏把持朝政二十年，你父亲镇守一方却没有给他送过一钱。严嵩垮台后，忠贞之士只有你父亲一人得完其身。”张岳是明代有名的贤臣，为人刚正不阿。徐阶此话虽然有攻击严嵩贪婪、排除异己的意思，但也隐隐透出推崇之意。黄景昉随后发表评论说：“能让贤者得完身名，可见严嵩并非全毒。严嵩擅长诗文，喜好收罗名士，偶尔也能够抑制私欲，可见此人还是值得可怜可恕的。”万历年间的朱国桢在《涌幢小品》中也提到，江右人，特别是袁州人对严嵩尚有余思。
事过数十年，乡人还记得严嵩的好处，尤其是他的政敌在私下与相知谈论严嵩时也有推崇之意，这是否意味着严嵩有一种特殊的人格魅力？
《列朝诗集·胡瓒宗传》还记载：嘉靖二十九年，王联诬陷胡缵宗一案，株连一百一十余人，当时，皇帝的意思不明朗，身为大学士的严嵩敢于挺身而出排解这件事，使得皇帝的怒意消解不少。这类颇值嘉许的事，在《明史·严嵩传》中竟没有记载。
严嵩在升官过程中与朝中两位大臣进行过政治斗争，虽然用了些手段，但至少算是就事论事，打击范围较小，比起徐阶罗织“严党”逼死胡宗宪，以“叛逆”罪构陷严世蕃死罪等等要高尚得多。
严嵩所参与的这场政治斗争是从与夏言的争斗开始的。
