黄百韬兵团全军覆灭后，国民党邱清泉第二兵团和李弥第十三兵团开始向徐州收缩。李延年第六兵团、刘汝明第八兵团仍位于任桥、花庄集地区。只有黄维第十二兵团则继续沿蒙城至宿县公路两侧向宿县推进。
24日，蒋介石为改变徐州孤立的不利态势，并在必要时便于徐州蒋军南撤，召集刘峙、杜聿明到南京开军事会议，“决定徐州方面以主力向符离集进攻，第六兵团及第十二兵团向宿县进攻，以便南北夹击，打通徐蚌同津浦路的交通”。并特派参谋总长顾祝同到蚌埠指挥南线两路国民党军作战。
毛泽东和中央军委在围歼黄百韬兵团的过程中，多次考虑下一步打谁的问题。当时有3个目标可供选择：一是徐州及其周围地区的的邱清泉、李弥、孙元良3个兵团；二是蚌埠及其以北地区的李延年、刘汝明两个兵团；三是赵集地区的黄维兵团。中央军委曾考虑在歼灭黄百韬兵团后，“如能精心组织战斗，再歼邱、李四五个师，打得邱、李不能动弹”，从而夺取徐州。
但总前委刘伯承、陈毅、邓小平在研究战场情况后，于19日向中央军委建议：“据我们观察，歼黄百韬使用了华野6个较能攻坚的纵队，历时已12昼夜尚未解决战斗。如再以其余部队，其中只有两三个较能攻坚纵队，加以部队必已相当疲惫，刀锋似已略形钝挫，以之歼击较黄（百韬）为强的邱、李诚非易事。我们认为徐海作战必须从三五个月着眼，必须分作三四个战役阶段，每阶段都需要有休息，整补俘兵，才能保证必胜。因此，在目前情况下，特别是李延年、黄维北进的条件下，最好力争迅速歼灭黄百韬，尔后即将主力集中于徐东、徐南，监视邱、李、孙3兵团，争取休息十天半月，同时以尚未使用之5个纵队或3个纵队用于南线，协同我们歼击黄维、李延年，这个步骤最为稳当。”
23日，总前委又根据李延年、刘汝明两兵团迟迟不进，黄维兵团已进至南坪集，与我中原野战军接战，且该敌远道而来，兵疲粮缺，又与宿县、蚌埠有相当距离，孤军突出等情况，认为歼击黄维之时机甚好，向中央军委再次建议以中原野战军全部及华东野战军一部先歼灭黄维兵团，以华东野战军主力阻击徐州和固镇增援之敌，并争取歼灭李延年、刘汝明兵团各一部。
24日，毛泽东为中央军委起草给总前委刘陈邓的复电中指出：“（1） 完全同意先打黄维；（2）望粟陈张遵刘陈邓部署，派必要兵力参加打黄维；（3）情况紧急时机，一切由刘陈邓临机处置，不要请示。”
25日，总前委刘陈邓致电粟裕等，请华东野战军令南下各纵队兼程前进。指出：“我一、二、三、六纵队由西向东出击，正在南坪集、芦沟集之线与敌激战中。此着出敌意外，公路以东敌人后方非常紊乱，芦沟集及附近我已控制。黄维兵团部原在南坪集、刻正向东转移。同时黄维以十军、十四军、十八军主力向我朱口、半埠店、丁楼、大小王庄之线四、九纵阵地猛攻，企图打开宿县通路。”“请令各纵队兼程南进，主力（包括六纵，不包括王张纵）控制宿县，桃园集、蕲县集及其西南二十五里营集之线（线上均属华野），置重点于桃园集、蕲县集以东地区，并控制宿县、水池铺沿铁路线待机作战。或参加打黄维；或消灭李延年西援之敌，视情况决定。”
当日粟裕等复电总前委，坚决表示：“我们完全拥护先集中力量歼灭黄维的作战方针。”并作了如下部署：一是以六纵一部控制宿县，主力尽量向东推进，坚决阻击李、刘兵团可能由固镇河以南向西增援；二是除王张纵归建中原野战军指挥外，派3个纵队加入对黄维的作战；三是以8个纵队留北线负全责阻击敌邱清泉、李弥、孙元良兵团的增援。这样，不仅上下一致确定了先打黄维兵团的方针，而且在兵力上作了具体部署。
黄维兵团下辖第十、十四、十八、八十五共4个军和1个快速纵队，共12万余人，装备精良，具有较顽强的作战特点。其中第十八军是蒋军“五大主力”之一。蒋介石为打通徐州至蚌埠间的津浦线，3路人马，以黄维一路气势最凶。黄维兵团可是蒋介石的嫡系精锐部队，这支部队是1948年9月编成的国民党军第十二兵团，当时理应由整编第十八军军长胡琏任司令官。
但是，因为国民党内部人事、派系矛盾复杂，胡琏没能如愿以偿。胡琏，字伯玉，1907年出生，陕西华县人，1925年负笈北京，旋与同乡刘志丹、张灵甫一道赴广州投考黄埔军校，毕业于黄埔四期步科班。大革命失败后，刘志丹回到陕西，与谢子长一起领导渭华农民暴动，成为陕北红军和陕甘苏区主要创建人之一。而胡琏和张灵甫则走上了另一条道路，追随陈诚投靠蒋介石，成为蒋介石反革命大本营中的一员干将。
1948年9月，组建第十二兵团时，胡琏任军长的整编第十八军受华中“剿总”总司令白崇禧指挥，是华中“剿总”有力部队之一。
胡琏是陈诚的心腹干将，还在白崇禧任国防部长时，胡就跟白闹翻了，多次拒绝执行白的命令，双方都向蒋介石告对方的状，甚至闹到白扬言要辞职。蒋介石不得不任命时任国防部新制军官学校校长兼陆军第三训练处处长的黄维为第十二兵团司令官，胡琏则为副司令官。
黄维到第十二兵团赴任之前，曾向蒋介石提出条件，说：“打完这一仗（指徐蚌会战）我还是回去办学校。第十二兵团我去过渡一下，兵团司令官仍应给胡琏。”蒋介石同意了黄的意见。
第十二兵团司令部于1948年9月下旬在汉口组建完成之后，即移至河南确山，其所属部队除第八十五军（军长吴绍周，兼第十二兵团副司令官）远在广水、应山，其第十八、十、十四3个军皆集结于确山、驻马店、遂平一带休整。
1948年11月8日，即淮海战役打响的那一天，第十二兵团奉国防部严令：“不得以任何借口迟延行动。”遵照指定路线经正阳、新蔡、阜阳、蒙城、宿县向徐州进发。第十二兵团有战车营、榴弹炮营等重武器和汽车营及大量胶轮大车，好不容易渡过南汝河、洪河、颍河、西淝河，沿途不断受到解放军尾击、侧击，地方游击队的袭击，以致部队行动迟缓，每日行程只有十几乃至二十几公里，先头部队第十八军于11月18日才抵达蒙城。
是时，解放军扼守涡河北岸，第十八军在蒙城正面向解放军展开攻击，经过激烈战斗，解放军主动撤出涡河阻击阵地，第十八军才得以渡过涡河，后续部队随即跟上。
这时，第八十五军亦由后方赶到蒙城，正式归建第十二兵团。当第十二兵团渡过涡河之后，黄维这才摸清了当面之敌，均系解放军中野之主力，这样继续前进，时刻有半夜临深池的危险。黄维遂采纳了第十八军军长杨伯涛的建议，改变行军路线，拟利用涡河的掩护，由蒙城以主力转到怀远附近渡河，与铁路正面的友军取得联系，再向宿县进攻，如此或可出解放军之意外，前进可较为安全。
黄维将此意见电请国防部批准，未获同意，仍限令照原定路线攻击前进，以击破当面共军，迅速赶赴徐州。
