打发了颉利，李渊终于能腾出手来对付刘黑闼。同以往不同的是，这一次率军出征的并不是最能打的李世民，而是齐王李元吉。此时的李世民早已战功显赫，尽管还没有到功高震皇帝的地步，但“功高震太子“，已经足够了。从攻占长安之后，李建成就作为国之储君长期留在李渊身边，跟随老爹处理各种国事。而李世民呢？从此却踏上了平定天下的征程。薛举父子是李世民平定的、窦建德是他擒获的、王世充是他俘虏的、刘黑闼是他打跑的，武德年间的主要大仗都是他打的，声名不扶摇直上才怪！更要命的是，此时他的手下文有十八学士，武有尉迟敬德、秦叔宝、程咬金、李世积等人，而李建成呢？武将几乎一个没有，文官只有王珪和魏征。跟秦王相比，太子建成的班底实在太寒酸了。到了这个地步，兄弟俩争斗已经不是新闻，不争斗才是新闻！不过同秦王李世民相比，太子建成并非一点优势都没有，他有一个李世民没有的巨大优势，这个优势就是后宫中的良好人缘。
后宫中的良好人缘意味着什么呢？意味着他与父皇李渊的嫔妃们保持着良好的私人关系，这一点李世民远远不及他。为什么呢？因为李建成有明显的时间优势。从武德元年到武德五年，李世民一直忙于各地平叛，而李建成则大部分时间留在父皇的身边处理国事，这就给了李建成接触后宫的机会。按常理说，在一个成熟的王朝中，太子想要结交后宫是很困难的。而在李渊初创唐朝的武德年间，情况恰恰相反，太子想不结交后宫都难。当时皇宫内的布局是这样的：李世民住承乾殿（他的太子在这里出生，于是取名李承乾）；李元吉住武德殿后院。两家的住处与李渊的皇帝寝殿和李建成的东宫不分昼夜，畅通无阻。李建成等兄弟三人进出李渊的皇帝寝殿可以骑马，可以携带弓箭等各种杂物。彼此之间，跟李渊当皇帝之前一模一样。更有意思的还在后面，在有关机关那里，“太子令“、“秦王令“、“齐王令“与皇帝诏令具有同等效力。如果一个机关同时接到几份命令，那么不好意思，按照先来后到办理；如果“齐王令“在皇帝诏令前面下达，那就按“齐王令“办理。
反正父子四人是这个世界上最亲近的人，无论按照谁的命令办理，肉都是烂在了老李家的锅里。在这种背景下，皇子想要结交后宫的妃嫔简直易如反掌，而在这一点上，李建成比李世民有着天然的时间优势，毕竟他在长安的时间比李世民长的多。那么后宫的嫔妃到底愿不愿意结交皇子呢？当然愿意，因为这些得宠的嫔妃都得为自己的将来找好后路。显而易见，李渊的接班人必定从三个年长的皇子中产生：太子建成、秦王李世民、齐王李元吉。而这三个人中，太子建成是嫡长子，具有天然的优势。而嫡长子又长期在身边出没，结交李建成不仅比结交李世民容易，也比结交李世民靠谱，毕竟太子是第一顺序接班人，而秦王李世民只能算是第二顺序继承人。两方面比较下来，李建成的后宫人缘指数远远在李世民之上，这是李建成巨大的优势，这个优势也压得李世民数年间喘不过气。对于李世民而言，天下几乎没有他怕的东西，但有一样东西除外--枕边风。一次枕边风并不可怕，然而无数次枕边风交叉在一起，这就是致命的龙卷风。
然而最致命的还是他无意中得罪了两个当红的嫔妃，一个是张婕妤，一个是尹德妃。总体说来，这两次李世民都很无辜。得罪张婕妤的事由其实也不大，只是因为数十亩良田。这数十亩良田，原本由李世民做主赏给劳苦功高的淮南王李神通。却不成想这些良田被张婕妤的父亲看在了眼里，转过头来跟女儿张婕妤要。张婕妤一开口，李渊自然不会拒绝，一抬手就写了诏令把这数十亩田赠给了这个歪把老丈人。如果是一般人看见李渊的诏令只能乖乖就范，然而淮南王李神通却是个认死理的人，同时他也知道李渊父子四人手令的秘密：那就是按照先后顺序来。因此李神通死活不肯把这些田让出来，这样一来就让李世民无形之中得罪了张婕妤一家，也让李渊下不了台。李渊为此大发雷霆：“难道我的诏令不如你的诏令吗？“（我手敕不如汝教邪！）父子间就此有了芥蒂。得罪尹德妃的事由更小，小到不值得一提。什么事呢？李世民的府属杜如晦经过尹德妃父亲府邸时忘了下马。由于尹德妃正当红，她的父亲尹阿鼠也是朝中的红人，经过他的府邸久而久之就养成了“文官下轿，武官下马“的惯例，而杜如晦无意之中就违反了这个惯例。
杜如晦忘记了下马，狗仗人势的家奴冲上前对着杜如晦就是一顿暴打，暴打之下，居然打折了杜如晦一根手指头。即便如此，尹阿鼠还不算完，指着杜如晦的鼻子大骂：“你算个什么东西，经过我的家门竟敢不下马！“这个世界上，一般都是恶人先告状的，尹阿鼠也不例外。歪把国丈尹阿鼠到女儿面前狠狠告了杜如晦一状，然后尹德妃再转告到李渊那里，事实就有了一百八十度的改变，“秦王属下杜如晦欺负辱骂臣妾家人！“（秦王左右陵暴妾家）这一状告的太刁了，刁的让李世民百口难辨。肝火上升的李渊当面质问李世民，“我嫔妃家尚被你的左右欺负，一般小民恐怕更不得了了！“（我妃嫔家犹为汝左右所陵，况小民乎！）芥蒂，无边的芥蒂！事实上，即使没有张婕妤和尹德妃的枕边风，李渊自己的心中也对李世民产生了疑虑，隋朝的前朝往事就曾经在他的眼前上演，他太清楚皇帝与皇子的微妙关系了。皇帝对于皇子，一方面是父与子，一方面是君与臣。普通人家的父与子没有什么顾虑，父亲总是希望儿子早一天超过自己，把自己甩在身后，到那个时候普通的父亲会略有伤感但更会欣慰的说，“我老了，可儿子长大了。
“而皇帝与皇子是不可能出现这一幕的，皇帝希望皇子早日跟上自己的脚步，但并不希望皇子超越自己。一旦有那么一天，皇帝不会有欣慰，更多的则是恐惧，“这小子想干什么呢？“李渊与李世民的父子芥蒂不仅让李世民失分，同时也让李建成加分。史书记载说，李世民每次参加宫中宴会都会思念早逝的母亲，这让李渊很扫兴，也给了当红嫔妃们攻击的口实，“现在国家安泰无事，陛下龙体健康，是应该值得庆贺。但是秦王每次都一个在宴会上哭泣，那可是憎恶讨厌妾身的意思啊。万一有一天陛下您去世了，我们这些嫔妃和庶出皇子肯定会被秦王杀害，连子孙都留不住一个。“在攻击李世民的同时，嫔妃们也没忘了给李建成加分，“皇太子孝顺仁义，皇上把我们嫔妃和孩子托付给他，肯定会得到保护。“事隔一千多年，我们无法证实这段记载的真假，或许这段记载是真的，或许这段记载是史官为了美化李世民。总之在父亲李渊的猜忌下，当红嫔妃们的枕边风攻击下，之前大红大紫的李世民从武德五年下半年已经不如以前风光了，而他一生中最黑暗的时光也就此来临。（由是无易太子意，待世民浸疏，而建成、元吉日亲矣）
