李斯的态度令胡亥很失望，他看到自己的想法并没有得到李斯的支持，于是在感情上越来越倾向于赵高。
赵高自任为郎中令，这个职位虽然不是那么显赫。只是相当于皇帝的秘书。但皇帝的生活工作都有郎中令负责，总之谁能见皇帝，谁不能见皇帝都有赵高负责。而胡亥乐得清闲，他退居到深宫中，过着自己想要过的生活。
但现在，按照胡亥的说法，关东全部都是盗贼。比较有影响的是武臣赵歇自封为赵王，魏咎为魏王，田儋为齐王。刘邦在沛县起义，项梁在会稽起兵。然而，大部分的义军都在函谷关以东活动，没有指向关中腹地，朝秦帝国的统治中心进发。
所以胡亥宁可称他们是盗贼，尽管盗贼不绝。有时候胡亥想：最多恢复到统一六国前的态势，那自己也可以安安乐乐的做一个秦王。有时候胡亥就是这么安慰自己，反正还有三百里的阿房宫可供自己享乐，那么他还需要什么呢？
到了来年的冬天，即公元208年，秦二世二年冬终于传来了噩耗。陈胜派遣的周文一路上攻城拔寨，已经来到了戏水岸边驻扎。共计步卒几十万，车兵上千乘。一时朝野轰动，二世皇帝震惊。因为周章的军队切断了咸阳与阿房宫的通道，二世皇帝不能时不时去阿房宫享乐了。
赵高对此也毫无办法，他到底是个不懂军事，只是个会弄权的阴谋家。所以只好召开御前军事会议，但是秦国已经没有大将了。大清洗的结果就是，帝国所有的经验丰富的将军都被赵高罗织以各种罪名赐死了。
整个会议开得死气沉沉，谁都知道目前的态势，谁都知道该怎么去做。只是没人知道该由谁来实现，朝中已无人才了。会议十分的沉闷，二世皇帝不停的发怒抱怨，他大声的吼叫道：“你们都是世受皇恩，为何到了此时，竟无一人能替朕分忧！”于是大臣们都惶恐的跪下，摘下自己的帽子，瑟瑟发抖。李斯也毫无办法，因为他也想不出，谁足以托付三军！而且，现在也无兵可调了。谁都没有想到那个泥腿子陈胜能够这么快的推进他的部队，在两个月内就直逼京畿。现在两支大军都无法调回，或者说能够调回也来不及了。
那只派往临洮河西的军队，陷入到对匈奴作战的泥淖。而桂林象郡的部队，则有些不听调遣了。
现在能做的就是征集近县的民夫临时拼凑一支部队，但是最少需要一周的时间才能集结完毕，而周章的部队最多只需要一两天时间就可能进犯咸阳。赵高也不禁慌乱起来，始皇帝传下来的铁桶江山竟然如此的不堪一击。
于是大臣们都不说话，只是一语不发的，跪倒在朝堂之上。胡亥则不停地发脾气，除此之外便再也没有什么动静了。
就在这时候就听到有人轻轻的咳嗽了一声，大家偷偷抬眼看时，原来是少府章邯在轻轻的咳嗽。
章邯站了出来，镇定而缓慢地说道：“现在调回桂林象郡或者临洮河西的军队已经来不及了。”胡亥不由得气急败坏地打断他道：“朕知道！”章邯顿了一下，看看胡亥，继续说道：“征集近县的民夫也来不及了。”胡亥听到这里，顿时火冒三丈，近乎绝望的嚎叫道：“朕知道！”章邯还是面无表情看看胡亥，依然慢条斯理地说道：“所以，请陛下下诏，大赦天下。解放骊山的刑徒以及奴隶的儿子，然后将他们武装起来，以抵御贼寇周章！”胡亥还是尖声的喊叫道：“朕知道！可是派谁去呢？”于是章邯跪倒在地，郑重而声音洪亮地说道：“微臣愿往！”
胡亥听到这里不由得长长地出了口气，事情解决了，他又可以继续看歌舞了。于是看了赵高一眼，便说道：“散了吧，散了吧！”
然后，几乎瘫倒的胡亥被答应扶起后，又看了看群臣，喃喃自语道：“散了吧！”
李斯也长长出了口气，他虽然和章邯交往不多。但是就平常的眼光看来，章邯还是很有才能精干而思想活跃的官员。古人说：知人者智，自知者明。李斯认为章邯是有自知之明，所以他对他还是有一些信任的。
同时李斯也感到庆幸，幸亏刚才他没有冒失的建议迁都。
赵高也是持同样的看法，只是他不愿意说出口而已，太丢脸了！
散朝之后，赵高回到自己华丽的新官邸，一个人在书房里默不作声。现在胡亥已经完全的被控制在自己的手掌心里了，该到了向丞相李斯发难的时候了。搞倒他很容易，不容易的是给他安个什么样的罪名，他毕竟是帝国的首相。
赵高盘腿坐在（唐以后，才从胡地引入凳子这一家具，所以很久凳子被称为“胡床”）榻上，喝着淡酒，思索再三。
于是他命令下人准备牛车，他要去和胡亥见面，同时还准备一些珍奇好玩的玩意儿给他。
赵高进入到深宫之中，也并不让谁去通报。直接就进去了。现在禁卫军和中车府已经内侍们都清一色的是赵高的亲信，而且赵高想要胡亥养成这个习惯，就是他，赵高入宫不需要通报。
胡亥接受了赵高的礼物，很随便的命令赵高坐下。于是两个人便不再说话，一同看起了歌舞。
这两个人都显得兴致勃勃，胡亥更是得意忘形，而且在心里胡亥已经做好了打算，等击退周文后，一定要去阿房宫好好玩玩。好好地打打猎什么的，当然那里的美丽多情的宫女也在等着他。章邯不是答应他，一定要击退那个周文，不是吗？
所以胡亥很开心。
倒是赵高有些坐立不安，只老老实实地看了一阵歌舞。赵高就开始不停地长吁短叹起来。这令胡亥很不开心，但是对于赵高他只能忍耐。
胡亥并不理会赵高的长吁短叹，只是看着歌舞。于是赵高不停地长吁短叹，以至于后来胡亥终于忍耐不住。他饮了口淡酒，喝退了歌舞伎，说道：“师傅，你有事要说吗？”于是赵高便直截了当的说了起来，因为他知道胡亥不喜欢别人跟他卖关子。
他说道：“陛下年富力强，正值鼎盛，但却未必通晓诸事。如今坐镇朝廷，不一定每件事都能发放得当。这样必然让大臣们心内有所遐思，又不能公示神明于天下。所以陛下不如深居后宫，将政事委托给臣，以及熟悉律法的侍中。就算出错了，陛下也可以有所追究当事人的责任。而且诸大臣也不会再上奏模棱两可的奏折，天下也必然称颂陛下的圣德！”
胡亥听了很高兴，他虽然并没有完全明白赵高的话。但是两个意思他是明白了。第一，他可以不用去主持御前会议，只须深居后宫就好了。第二，他不用在亲自批奏折了，一切由赵高代理。
所以胡亥便不再多想，连声地说道：“好好好，你去办理吧！”
就这样仅仅几句巧言令色的说辞，赵高就实际上罢免了，或者说从李斯手里夺走了行政权。而且赵高还将胡亥软禁起来了，就这样。
