“嗯，是个好主意。”汤恩伯也怕陈毅以进为退，如七十四师退守临蒙，敌人再次跑掉，岂不前功尽弃，这便与委员长电令大相径庭，张灵甫本就不愿后退，随便向上边说几句，难以交代了。汤恩伯想到这里，故意问道：“这能行吗？未免苦了七十四师了。”张灵甫坚定地说：“为党国效忠，死而无怨。”汤恩伯很感动，忙说：“好的，好的。左右翼都不成问题的，一旦将敌人吸住，我就指挥全兵团压上，里外夹击，一举破敌。”黄百韬知道张灵甫作诱饵，不胜忧虑。对于七十四师，黄百韬没有指挥之实权却有救援的责任，该师一旦有难他得第一个抢上去解围，不然，身为配属师的指挥官是要担过的。未到七十四师被堵截，左右两翼被分割，他的不安就无法掩饰了：“张师长，敌军不顾一切穿插分割，像是要孤立七十四师。”“一点不错，正是企图孤立我师。”张灵甫透着几分得意。
“那就请加速后撤，占据垛庄、桃圩之间的天马岭、虾蟆岭，控制制高点，与左右翼结阵，敌军不来则已，来了就休想走脱。”黄百韬以商讨的语气下令。张灵甫不听，好容易说服汤恩伯争得这个机会，如何肯轻易放过？“不，我不能再撤了，再撤这仗就打不成了。”张灵甫为检验自己的策略和实力发起一次小规模的反击，没费多大力气就把叶、王纵队击退，益发自信，对黄百韬说，“请放心，我这支孤军他啃不动的，无处下嘴呀。”15日拂晓，一支神兵突然从敌七十四师的背后杀出，迅速抢占了沂蒙公路上敌人赖以进退的唯一通路—垛庄。这支神兵，就是在鲁南一直隐蔽待机的我军第六纵队。执行断敌退路、封闭合围口的任务，在六纵队的漫长战斗历程上已经不是第一次了。著名的黄桥战役，它第一次出色地完成了这种任务。莱芜战役，它又一次胜利完成了这种任务。
张灵甫的七十四师被团团围住了。
这样一来，本来坐待捷报的蒋介石以及顾祝同、陈诚等就再也坐不住了。他们接二连三地发出电令，一面好言抚慰张灵甫，一面加速调兵增援张灵甫。飞到徐州督战的蒋介石，这回又异想天开地部署了所谓的“磨心战术”。他企图一面以七十四师为“磨心”，将我军主力紧紧吸住在孟良崮周围，一面紧催敌第五军、十一师、六十四师等共10个整编师，从新泰、莱芜、河阳、汤头等地赶来增援，从而合击我军于蒙阴以东、汶河两岸地区。蒋介石给张灵甫打气说：“抓住共军主力，实为难得之良机，务必奏奇功于被我军击毙的国民党七十四师师长张灵甫。一役。”陈诚也跟张灵甫说：“我们已经下达了最严格的命令，命令外线部队同你们密切配合，你们也要密切配合，来一个内外夹击，中心开花，尽歼顽敌！”汤恩伯更是忙碌，一回“寒酉电令”，一回“删己电令”，对张灵甫既哄又捧，说什么“贵师为全区之枢纽”“只要贵军站稳，则可收极大之战果。”此时此地的张灵甫，面对我军的重兵包围，仍然表现出不知末日来临的盲目自信。他还把七十四师看作是个“生铁蛋”，自以为“战斗力强，建制完整，兵力集中”“共军想吃也吃不动。”主子们给他一打气，胆子更壮了，气更粗了，竟自鸣得意地说什么：“以我张灵甫为诱饵，把共军吸引在我周围，有利于四面夹击”“两下一挤，共军就完蛋了。”
其实，等待张灵甫的，已是我军“在百万军中取上将首级”之势。当时，尽管国民党的白崇禧和陈诚，奉蒋介石之命，匆匆忙忙赶到临沂作这样那样的部署，密切注视敌人动向的华野总部始终充满围歼敌七十四师的信心。陈毅说：“白崇禧、陈诚叫张灵甫居高临下，中心开花；我就叫张灵甫片甲不留，自掘坟墓！”
但战场形势不容我军乐观。国民党从东西南北各个方向前来增援的10个整编师，在蒋介石一次次“严令”督促下，硬着头皮攻击前进，向敌七十四师靠拢。这就使我军面临一个严重情况：如果不迅速消灭敌七十四师，而让敌人实现了对我反包围，把我军逼进两面受敌的夹缝，那就将使我军处于危险境地，影响战役的胜利。针对这一情况，粟裕一面命令阻援部队坚决阻住援敌，一面命令主攻部队加速猛攻。贯穿这个作战部署的最大决心，就是不惜任何代价，迅速、全部、彻底歼灭敌七十四师。
位于艾山脚下的一条山沟里，粟裕率领的华野前线指挥部，比任何时候都更紧张地工作着。粟裕是13日来到这里的。这里的岩洞很多，号称“千人洞”。其实，大的不过六七米，小的只有一二米。前线指挥所设在一个“扫把形”的山洞里，上面还不断滴答、滴答地漏水。洞门口把石头搬动搬动，形成一个抵挡敌机炸弹的墙。从老乡那里买来了一些麦秸，在洞内铺成最简易的地铺，一部12门的交换机，3门电话单机，沟通了总部和各纵队的联系，和前沿阵地的联系。谁能想到，就是这潮湿、阴暗、狭小的岩洞，竟是叱咤风云的一代名将指挥千军万马的司令部，竟是创造震惊中外的“百万军中取上将首级”光辉战例的军事圣地。随着对敌七十四师进行总攻的快速节奏，粟裕从这里发出一道又一道紧急命令、一个又一个重要指示。由于敌情十分严重，如果不把七十四师吃掉，就会被敌人吃掉，陈毅、粟裕下了最大的决心来打好这一仗。他们分别给各纵队司令员打电话，要求有敌无我，志在必得。“蒋介石拼死和我们决战，把我们反包围了，情况十分严重！”他们要求主攻部队“无论如何要把孟良崮拿下来”，要有“不惜任何代价的决心！”“哪怕一、四、六纵队打光了，只要把敌人消灭，也在所不惜。我给你们补充，恢复你们的番号！”“聚歼七十四师，成败在此一举！现在要不惜一切代价把孟良崮拿下来！你们打掉一千，我给你们补充一千；打掉两千，给你们补两千！谁攻上孟良崮谁就是英雄！”陈、粟坚定不移的决心变成了华野全体将士的行动。
发起孟良崮战役以来，我军连日作战，虽然十分疲劳，但眼见国民党的头号“王牌”已经被困于绝境，无不精神振奋，斗志昂扬。此时此刻，从指挥全局的华野总部，到英勇拼杀的前沿阵地，上上下下唯一的目标和共同的誓言，就是“坚决消灭七十四师，不让敌人跑掉一个！”终于，七十四师被压缩到了孟良崮主峰—芦山地区了，敌人的10个整编师也被我军阻击部队隔断。
原来大声叱斥部属要“沉着，沉着”的张灵甫，面临末日到来的时刻，自己怎么也沉着不了了。顶又顶不住，突又突不出去，张灵甫唯一的招数就是求援。他远向蒋介石求援，近向左右邻求援。报话机传出的张灵甫的呼救声，越来越急促。他甚至不得不一反往日睥睨一切的骄横神态，向敌二十五师师长黄百韬、八十三师师长李天霞苦苦哀求：“黄先生……李先生……赶快向我靠拢！赶快向我靠拢……”蒋介石眼看“王牌军”快要葬身沂蒙山区，对各路增援部队不仅是催促，而是下死命令了。就在16日上午8时，七十四师覆亡前的8小时，蒋介石给增援部队发出手令，威迫各路援兵将领说：“如有萎靡犹豫，巡逡不前，或赴援不力”“定必以贻误战局，严究论罪不贷！”这无异于把尚方宝剑架在了他们的脖子上。汤恩伯这个驱兵轻进直取坦埠的兵团司令官，现在再也没有那种神气劲了。16日14时，也就是七十四师被我全歼前两小时，汤恩伯还在给他指挥的“兵团各部”发急电，一面再严令应援部队“不顾一切，星夜进击”“击破共军之包围，救袍泽于围困”；一面用一种乞怜的语调，希望应援部队发扬什么“亲爱精诚之无上武德与光荣”之精神，说什么“岂有徘徊不前，见危不救者，绝非我同袍所忍为，亦恩伯所不忍言也”。可惜，蒋介石也好，汤恩伯也好，硬软兼施都不见效，直至16日下午，各路援敌始终没有谁跨越我军包围圈一步。敌第五军受我十纵队牵制，刚由莱芜南下。敌第六十五师、第二十五师在我一纵队、六纵队各一部的坚强阻击下，前进不过三至五公里。敌第七军、第八十三师遭我二纵队、八纵队阻击，前进也不到10公里。敌第二十师、第八十三师遭我二纵队、八纵队阻击，前进也不到10公里。
敌第二十师、第六十四师受我鲁南地区武装牵制，行动停滞。蒋介石、汤恩伯死催硬逼他的增援部队突破我军包围圈、救援七十四师的过程，实际也是陈毅、粟裕同志指挥华东野战军加速向孟良崮高峰挺进，彻底消灭七十四师的过程。在夺取整个战役最后全胜的时刻，各主攻部队指战员坚决按照华野总部下达的最后攻击令要求的那样，用最大的勇敢、最大的毅力、最有效的手段，致七十四师于死命，致张灵甫于死命。在孟良崮战役中，最后击毙张灵甫的是王必成的六纵，他终于如愿以偿。当时率队击毙张灵甫的何凤山在回忆录中写道：“1947年5月16日，我华东野战军5个纵队，遵照陈（毅）粟（裕）首长的命令，于下午2时再次对敌七十四师发起总攻击。我当时是第六纵队特务团副团长，率领我团一营参加了总攻孟良崮的围攻战斗。我团三连占了敌七十四师指挥所的洞口。张灵甫命其卫队长率20余人，从洞内冲出，向我反冲击，当即被我军击毙。我追问被我击伤（后因伤重毙命）的敌卫士队长，他说：‘张灵甫师长在洞内。’我叫部队喊话，命令敌人投降。后见洞内无动静，我即命令部队用轻机关枪、冲锋枪及手榴弹，向洞内猛烈射击。过一会儿，听得洞内有人喊叫：‘你们不要打了，张师长已经被你们打死了。’我立即率队冲进洞内进行搜索，只见洞内敌人尸体横七竖八，血污满地。我问被俘的敌报话机台长：‘哪个是张灵甫？’他战战兢兢地指着被击毙的师长张灵甫，同时还指认了副师长蔡仁主，五十八旅旅长卢醒、副旅长明灿，五十七旅一七○团团长周安仪等人。张灵甫的尸体倒在洞内报话机旁，手里还拿着报话机话筒。发现尸体还是热的，头部是被我军冲锋枪弹击中而毙命的。”
“在上级查明张灵甫已被我击毙后，我团奉命将张灵甫的尸体用担架抬着随部队转移。两天后，将其埋在山东省沂水县猪旺村村后的山岗上，并在坟前竖一木牌，上写‘张灵甫之墓’。当时，新华社曾广播，希望其家属到该处收尸。”
在孟良崮战役的最后阶段，5月16日8时，蒋介石还抱有侥幸心理，他向各增援部队亲书手令，空投战场：“山东共匪主力今已向我军倾剿出犯，此为我军歼灭共匪、完成革命唯一之良机，如有萎靡犹豫逡巡不前或增援不力，中途停顿……必以纵匪害国贻误战机论罪，决不宽容。”汤恩伯也给他指挥的各部发电，希望增援部队发扬“亲爱至诚之无上武德与光荣”之精神，说什么“岂有徘徊不前，见危不救者，绝非我同胞所忍为，亦恩伯所不忍言也。”但这一切都无济于事了。我军攻占孟良崮主峰后，粟裕命令各纵队速报战果，经核对与七十四师实力相差较大，粟裕立即命令四、八、九纵队进行战场搜索，此时山雨欲来，阴云密布。能见度很低，我军终于在孟良崮与雕窠之间的山谷里发现7000多余敌。各部队不顾疲劳，再次投入战斗，下午5时，残敌肃清，七十四师3.2万余人全部被歼。
孟良崮之战，我军伤9000余人，亡2000余人，的确是一场恶战。陈毅曾用“刀丛扑去争山顶，血雨飘来湿战袍”两句诗来形容，是绝不过分的。5月22日，毛泽东来电祝贺：“歼灭七十四师付出代价较多，但意义极大”“取得决定胜利。”
张灵甫被击毙，七十四师被全歼的噩耗，像晴天霹雳撕破当时南京的昏暗沉闷，震撼了整个国民党反动统治中心。蒋介石痛心疾首，气急败坏，惊呼：“以我绝对优势之革命武力，竟为劣势乌合之匪众所陷害”，长叹“真是空前大损失，令人哀痛”。南京《和平日报》8月11日起，在第一版连续三天用醒目大字刊登整编第七十四师“启事”，定于8月13日上午10时，在滁县防次举行大会，悼念孟良崮阵亡将士，以“表彰忠贞”。与此同时，国民党反动派为张灵甫之死所作“褒扬”之举还有：在南京风景区玄武湖树起了一块纪念七十四师的石碑；把美帝国主义送给国民党用来反人民的一艘炮舰改称为“灵甫号”。国民党反动派这样做，说穿了，完全在于掩饰张灵甫之死在国民党反动派中间所造成的重创和剧痛，掩饰蒋军王朝面临岌岌可危、朝不保夕的惊慌和恐惧。在延安，1947年5月22日新华社时评写道：“华东人民解放军和华东区的人民，在全国人民的爱国自卫战争中，担负的任务最严重，得到的成就也最荣耀。从去年7月到现在，华东人民解放军已经歼灭了蒋介石正规军50个整旅（旅以下成团成营被歼灭的正规军及全部被歼的伪军、保安部队、交警、还乡团等均未计算在内）……蒋介石以近100个旅使用于华东战场，欲以此决定两年胜负，这个主观幻想已接近于最后破灭。”新华社时评是对华东人民解放军艰苦卓绝的革命斗争与功勋的肯定，也是对粟裕的指挥才干和艺术的肯定；是对华东解放区一年来的成就的赞扬，也是对孟良崮战役这样的大捷的嘉许。
孟良崮战役胜利后，人们纷纷向陈毅祝贺胜利，陈毅说：“我这个人呀，在政治工作上依靠的是谭震林同志，在军事组织指挥上依靠的是粟裕同志。不妨说，我只不过是一个点点头、摇摇头的司令嘛！”陈毅如此说，一半是自己的谦虚和礼让，一半是对谭震林和粟裕的赞扬。后来，陈毅还曾经说过：“粟裕将军的战役指挥，一贯保持其常胜纪录，愈战愈奇，愈打愈妙。”几个月后，陈毅、粟裕率领的华东野战军，根据中央军委命令，为配合刘邓大军进一步扩大中原战场的胜利形势，决定组成两个独立行动的兵团，分路进行出击。一路由第三、第八、第十纵队组成，陈士榘、唐亮负责，出击津浦路泰安、兖州段；一路由第一、第四纵队组成，叶飞、陶勇负责，出击鲁南一带；陈粟直接指挥第二、第六、第七、第九个纵队，在正面集结，待陈、唐、叶、陶各部完成出击任务后，再伺机求歼鲁中之敌。
