李渊称帝之后，宇文化及和王世充也依葫芦画样，相继称帝。除此之外，割据一方的豪强也纷纷立国称王，例如李密建立魏，窦建德建立夏，薛举建立西秦，刘黑闼建立汉等等。在群雄割据的时代，李唐若要统一中原，绝非易事。李渊身为一国之君，需要镇守长安，李建成作为储君，也需留守，因此带兵四处征讨的军事任务便主要落在了李世民头上。
武德元年（618）十一月，薛举之子薛仁杲出兵关中。李世民领兵出征，一举击败敌军，生擒薛仁杲，从而解除了长安西面的威胁。武德二年（619），一个坏消息从太原传来，北方豪强刘武周连续挫败唐军，最后竟攻占了李渊父子的老巢太原，并遣猛将宋金刚继续攻占河东其余地区。守卫太原的齐王李元吉仓皇逃往长安，长安上下惊恐万分。李渊惊慌失措之下，居然打算放弃河东，保住关中。
李世民认为太原是王业的根本，绝不能放弃，因此自动请缨，挂帅征讨宋金刚。武德二年十一月，李世民率领军队渡过黄河，与宋金刚军相互对峙。当时由于遭受过刘武周、宋金刚军队的掠夺，河东各州县都没有存粮，人心极为涣散。李世民发布军令，禁止将士骚扰百姓，以安抚民心。百姓逐渐归田，耕种土地，唐军也因此得以征收军粮。
宋金刚军队来势凶猛，李世民没有正面迎战，而是采取了稳坐泰山，深沟高垒，逐步耗尽对方的粮食的“拖字诀”。同年十二月，秦王麾下将领秦叔宝、殷开山等人大破敌将尉迟敬德等。随后，李世民又亲自率军突击敌军，大大挫伤了宋金刚军的锐气。武德三年（620）二月，经过五个多月的对垒后，宋金刚军粮食匮乏，士兵厌战，不得不撤军。趁敌军撤兵之际，李世民发兵神速，昼夜疾行200余里，不食不休，一路乘胜追击，最终彻底击败宋金刚，收降尉迟敬德等大将，并成功收复河东故地。
不久，李世民又马不停蹄地赶往中原，将矛头指向据守洛阳的王世充。他率军深入王世充的根据地，屡战屡胜，不少州郡纷纷降唐，王世充军不得不退守洛阳。李世民围攻洛阳，切断其运粮线路。武德四年（621），遭困的王世充被迫向窦建德求援，窦建德很快领军来援。如果让这两支军队成功会合，此前获得的军事优势便会丧失。李世民采取分兵策略：一部分军队继续围攻洛阳；他亲自率领另一部分军队至虎牢关（今河南荥阳西北）拦截窦建德。
武德四年（621）三月，李世民急速行军至虎牢关，阻断了窦建德的去路，并派兵突袭其运粮道，断绝窦军粮草。同年五月，李世民渡河，牧马于河北，佯装粮草已缺。窦建德果然中计，次日便率全军列阵前进。晌午时分，窦军士兵疲惫饥饿，全无斗志。李世民看准时机，果断出击，在人数相差悬殊的情况下，击溃敌军，生擒窦建德，并最终迫降王世充。
在接下来的几年里，李世民和其他将领四处征讨，配合作战，逐一扫荡了各路豪强。到了武德七年（624），除了零星流寇之外，唐朝基本统一了中原。李世民在多年的征战中，几乎是攻无不克，凭借的是其卓越的军事才能和麾下骁将。他十分重视网罗将才，平定薛仁杲一役中，收降了翟长孙；在征伐刘武周的战争中收降尉迟敬德。原本隶属于李密的秦叔宝、程知节等人也因为仰慕他的英名，归附于他。这些将领在后来大唐统一中原的战争中发挥了极大的作用，都是大唐的开国功臣。
此外，李世民的胜利还离不开他手下的精锐部队——玄甲兵。这支军队因为全体身穿黑色盔甲而得名，是李世民的亲兵。这是一支以骑兵为主体部分的军队，装备精良，选拔和训练都十分严格。李世民每次作战都身先士卒，带领玄甲兵将士冲锋陷阵，令敌军闻风丧胆。
