诚然，李渊也认为他们的说法有一定道理，万一出师未捷而老巢被占的话，那么后勤补给就会中断，将士们就会丧失斗志，队伍就会陷入进退失据、腹背受敌的困境。这种危险的确是存在的，李渊心里何尝没有相同的担心和顾虑？但是换个角度来看，义军自从大张旗鼓地南下以来，至今未打一仗、未下一城，倘若稍遇挫折就当缩头乌龟，那还奢谈什么平定海内、问鼎天下？到时候不但会遭天下英雄耻笑，而且好不容易凝聚起来的人心和士气也会溃散瓦解、功亏一篑！太原固然重要，可始终龟缩在老巢中就能高枕无忧了吗？恰恰相反，这更危险！因为这么做等于是在向隋朝的军队、向突厥人和刘武周、向四方群雄示弱！到时候这些人四面来攻，太原就能保得住吗？就算勉强保住了，日后还要不要争霸天下、要不要再度出征？如果再度出征，那么来自后方的突厥人和刘武周的威胁不是照样存在吗？除非永远龟缩在太原一隅，否则这个“前进还是后退”的问题就会像一场可怕的梦魇一样永远缠绕在李渊和所有人的心头。
所以，选择后退实际上是在逃避问题，而不是在解决问题。
既然这个问题不可能自动消失，既然前进和后退都存在危险，那么为什么不选择前进、放手一搏呢？
想到这里，李渊实际上决心已定。
但是这些话李渊不能说。
他必须让两个儿子来说。
所幸李建成和李世民没有让李渊失望。他们针锋相对地提出了四条反对班师的理由。一、眼下遍地都是庄稼，何必担心断粮？宋老生轻率急躁，一战便可将其生擒。二、李密一门心思守着东都的大粮仓，一直在与东都军队进行拉锯战，根本无暇做长远的打算。三、刘武周表面上投靠突厥，背地里却和突厥人互相猜疑；虽然贪图太原，可他更担心自己的老巢马邑被人抄了后路。四、我们之所以举义，就是为了奋不顾身拯救苍生，先入长安、号令天下！如今遇上小小的挫折就遽然班师，恐怕义军会一朝解体。我们就算困守太原一城之地，到头来还是一小撮盗匪而已，拿什么保命？
最后，李建成和李世民瞟了众人一眼，毫不客气地说：“定业取威，在兹一决！诸人保家爱命，所谓言之者也；儿等捐躯力战，可谓行之者也……雨罢进军，若不杀老生而取霍邑，儿等敢以死谢！”（《大唐创业起居注》）
这是李渊集团内部在军事战略上发生的第一次分歧。
李渊看了看这两兄弟，又看了看他的一大帮文武将吏。一边两票，一边N票。他最终咬咬牙作出了决定——多数服从少数。
打！
自助者天助之。
或许是李渊父子的坚持最终也感动了上苍，七月二十八日，太原粮草运到。
八月初一，天空放晴。
八月初二，李渊命全军在太阳下暴晒铠甲、武器及其他衣服装备。
八月初三，天色刚亮，李渊率全军开拔，沿着东南山麓的小道直插霍邑。
“如果宋老生拒不出战，你们说该怎么办？”在路上，李渊问李建成和李世民。
两兄弟胸有成竹地说：“宋老生有勇无谋，我们只要派小股骑兵在城下挑战，他没有理由不出战；假如他仍然固守城池，我们就散布消息，谎称他消极怯战，正暗中准备向我们投降。宋老生担心被同僚告发，不战也得战！”
李渊点点头：“你们的判断没错。宋老生没有趁我们被困于贾胡堡时发动攻击，我就估计这个人没多大能耐了。”
部队迅速进抵霍邑。李渊率数百名骑兵在霍邑东面数里等待步兵主力，李建成和李世民率数十名骑兵驰至霍邑城下，一边扬鞭挥手制造攻城假象，一边高声诟骂试图激怒宋老生。
有勇无谋的宋老生果然一下就被激怒了，率领三万人分别从东门和南门出击。李渊急命殷开山召集后续的步兵主力进入战场，随后命李建成在城东列阵，命李世民在城南列阵。
为了一战消灭宋老生，防止他逃回城中据守，李渊决定佯装败退，吸引宋老生更远地脱离城池。
宋老生首先对东面的义军发起进攻。李渊与李建成假装受挫，开始往后退却。李世民与部将段志玄立即率骑兵从南面直冲宋老生军阵，攻击他的后面。
双方短兵相接，战斗异常激烈。李世民冲锋在前，一连砍杀数十人，手上的两把刀都砍出了缺口，鲜血溅满了他的衣袖。李世民甩甩袖子，继续作战。
在李世民的冲击下，宋老生的阵势开始散乱。李渊趁机命人在阵前大呼：“宋老生已经被活捉了！”
隋兵闻言斗志全失、瞬间溃散，宋老生不得不转身而逃。李渊率军追至城下，城内守军慌忙紧闭城门，放下一条绳索救宋老生。
宋老生攀上绳索，刚刚爬了几米高，李渊的部将卢君谔就从后面纵身跃起，将他硬生生拽了下来，随即一刀砍下了宋老生的首级。
这一战，隋军的三万人马全军覆没，李渊这边也付出了极大的伤亡。两军的尸体层层堆积在霍邑城外的原野上，一直绵延了好几里。
到了这一天的黄昏时分，略作休整之后，李渊下令军队开始攻城。当时义军还缺少大型的攻城器械，士兵们都是强行攀上城墙，经过一番鏖（áo）战，终于将霍邑攻克。
这是李渊南下以来取得的第一场胜利，虽然付出了一定代价，但还是极大地鼓舞了士气。进入霍邑后，李渊开始论功行赏。军中负责授勋的官吏提醒他说：“奴仆出身的人，似乎不该跟一般战士有同等待遇。”李渊说：“飞石流箭之间，不分谁贵谁贱；为何评定功勋的时候，却要分尊卑等级呢？应该完全平等，有什么功受什么赏！”
攻克霍邑之后，李渊迅速南下，一路势如破竹，八月八日占据临汾郡（今山西临汾市），八月十三日攻克绛郡（今山西新绛县），八月十五日进抵黄河东岸的龙门（今山西河津市）。就在这一天，刘文静和康鞘利也带着五百名突厥士兵和两千匹马赶到了。李渊大喜，对刘文静说：“马多人少，正合我意！”
终于站到黄河岸边了。望着奔腾咆哮的黄河水，李渊心中感慨万千，只要一步跨过黄河，就能进入关中直取长安了。
梦想中的煌煌帝业似乎已经越来越清晰地呈现在李渊面前。
就在这个时候，关于下一步的进军路线，军队中再次出现了两种不同的声音。
刚刚投奔义军的河东户曹任瑰等人认为：不要攻击屈突通重兵驻守的河东，应该从龙门直接渡过黄河，招降当地义军，同时夺取潼关北面的永丰仓。如此一来，在攻克长安之前就可以把整个关中握于掌心。李渊本人也倾向于这个意见。
但是他手下的多数将领却表示反对。他们认为应该先把河东郡这颗钉子拔掉，再渡河入关，以免后患。
谨慎的李渊决定暂不渡河，先与关中义军取得联络后再作打算。
八月十八日，李渊给当时关中势力最强的义军首领孙华写信进行招抚。六日后，孙华渡河前来晋见。李渊大喜过望，当即任命他为左光禄大夫，封武乡县公，兼冯翊郡（今陕西大荔县）太守。随后命左统军王长谐、右统军刘弘基等人率步骑六千，与孙华一起渡河，在黄河西岸扎营，等待大军主力。
临行前，李渊对王长谐说：“屈突通手下精锐不少，跟我们相距才五十余里，如今却不敢出战，说明他的军心已经动摇。可屈突通担心朝廷责罚，又不敢不出战。他如果渡河攻击你们，我就进攻他的老巢，河东就绝对守不住。如果他据城坚守，你就烧掉河东与黄河西岸连结的索桥（蒲津桥），阻断他的退路，到时候我从前面扼住他的咽喉，你从后面攻击他的背部，定可将其生擒！”
九月七日，屈突通担心腹背受敌，不得不派遣虎牙郎将桑显和率数千精锐骑兵，于深夜渡河，袭击王长谐的军营。王长谐猝不及防，接战失利。危急之时，孙华亲率骑兵前来救援，大破隋军。桑显和仓皇败退，为了阻止义军追击，渡河之后自己烧断了蒲津桥。
九月十日，李渊见时机成熟，遂率领大军将河东城团团围困。
可屈突通毕竟是身经百战的将领，义军多次攻城都被他击退。
李渊意识到这座坚城不可能轻易攻克，遂准备放弃河东，渡河入关。然而裴寂等人却坚决反对。他说：“屈突通手握重兵、固守坚城，就算今天绕开他，万一我们不能攻下长安，撤退时就会遭到河东的阻击，到时候腹背受敌，形势将万分险恶。不如先全力拿下河东，然后西进。河东是长安的门户，屈突通一旦战败，长安城指日可下！”
裴寂等人话音刚落，李世民马上又提出了针锋相对的反驳。他说：“不然。兵贵神速，我们拥有连战连捷的余威和四方来附的部众，如果快速西进，长安必定震恐，很可能在他们来不及作出反应的时候，我们就已经像秋风扫落叶一样把城池攻了下来。如果逗留在坚城之下，自陷于疲敝之境，使长安有充分的时间加强防御，而我们自己却白白贻误战机，一旦军心离散，那大事就不可为了！”
这是李渊集团内部在军事战略上发生的第二次分歧。
这一次，李渊既没有完全听从李世民的建议，也没有纯粹采纳裴寂等人的意见，而是双管齐下，兵分两路。
他命令各将领留下来继续围攻河东，而他则与李建成、李世民亲率主力渡河入关。
九月十二日，李渊一进入关中，各地隋朝官吏立刻望风而降，纷纷献出所辖郡县。其中，华阴县令李孝常献出了下辖的永丰仓，极大地满足了义军的粮草和物资需求。此外，京兆府所属各县也纷纷派遣使者来向李渊投降。
九月十六日，李渊抵达朝邑（今陕西大荔县东）。九月十八日，李渊命李建成、刘文静、王长谐等各军进驻永丰仓，并扼守潼关，防备东方可能出现的隋朝援军；同时又命李世民、长孙顺德、刘弘基等各军进攻渭水以北的泾阳、云阳、武功、盩厔（zhōu zhì，今陕西周至）诸县，从北面对长安包抄。
至此，隋朝的帝京长安已经完全暴露在李渊面前，几乎已成囊中之物。李渊走向帝座的道路只剩下最后一小段了。
尽管李渊进入长安后并没有立即称帝，可毋庸置疑的是，从现在这一刻开始，一切都已经进入倒计时状态了。
短短八个月之后，大唐王朝的一轮旭日就将彻底挣脱黑夜的禁锢，从崩裂的隋朝天空中喷薄而出，照彻寰宇。
