1937年8月19日，第36师一路风驰电掣终于由火车运送到达上海，全体官兵未及洗去征尘，立即投入如火如荼的战斗。会同第87、第88师共同扫荡虹口和汇山码头之敌。这3个师，皆为国民党中央军的精锐之旅，号称“教导师“，在国民党军中的战斗力首屈一指。前期有上海宪兵团三个精锐营协助三个江苏省保安部队保安团阻击日军被誉为铁军的日本陆军独立14联队，独立14联队满编5666人，拥有战车二十一辆、装甲车四十辆。
面对上海宪兵团的阻击，日军14联队撞了个头破血流，三个大队总计阵亡三千四百五十一人，三个江苏省保安团阵亡三分之二还多，固守罗店前突阵地小树郢的上海宪兵团独立二营、预备第三营、补充一营阵亡三百四十四人，战斗中上海宪兵团的射击手们发挥出了巨大的战斗能量，反坦克火箭炮连的战士们发挥出了强劲的攻击欲望，重创14联队战车中队。
第87、第88师还都参加过上次“一。二八“淞沪抗战。说起这3个师，就不能不提他们的师长。第87师师长王敬久，黄埔一期学生，以善于指挥见长，1930年中原大战时率部队多次打败冯玉祥军队，一举成名。参加“一。二八“淞沪抗战，时任第87师副师长。第88师师长孙元良，黄埔一期毕业，历任连、营、团长，“一。二八“抗战中担任第87师259旅旅长，率部成功击败日军，确保了庙行镇。被当时国际舆论评为“****第一次击败日军的战役“。
第36师师长宋西廉更是声名赫赫，黄埔一期毕业，打起日本鬼子也好不含糊，“一。二八“抗战中担任第87师261旅旅长，以能攻善战博得“鹰犬将军“之名。3个人都参加过上次上海抗战，同在一个部队，如今又和他们的老长官张治中将军一起再度聚首上海滩。张治中亲自接见了上海宪兵团少校团长蒋文，张治中笑脸迎人，笑着说道：“承继（蒋文的字，小名文休），这次能上来就将日军精锐部队击溃，还是占了你的光啊，要不是你麾下的兵工厂列装了新式武器，要不然这次恐怕还要伤亡不少人啊。”蒋文说道：“太客气了，国家兴亡匹夫有责嘛。”
就在张治中和蒋文在司令部亲切交谈的时候，国民革命军36师接替上海宪兵团独立第二营的阵地，宋西廉把指挥所设在沪江大学西面的一处民宅，视察阵地后，召集营、团长开会部署进攻方案：第211团为右翼，陈瑞河第106旅为左翼，彭戢光第108旅配备战车第1连及防御炮1个连担任中央队，中央队第216团担任主攻。8月20日夜12点，随着总司令张治中一声令下，第36师各部队向汇山码头发起总攻，第216团沿北丰路、公平路突击前进，敌人子弹疾似飞蝗，官兵们个个舍生忘死、勇猛冲锋。进至唐山路和华德路口时，敌军火力更加密集，交织成网，持续1个多小时，团长胡家骥身先士卒，带头冲在最前面，士兵们士气大振，一鼓作气冲过华德路、百老汇路，逼近汇山码头。
恰逢，上海宪兵团独立炮兵营延伸炮火打击，日军各部迅速崩溃，日军支持不住，争相溃逃，我军乘势追击，遂冲进码头。然而却无法摧毁坚固的铁栅门，上海宪兵团一个火箭炮连负责支援，三发火箭弹轰击大铁门，随即大铁门倒塌。此时，码头两侧敌军发炮轰击，部队遭受重大伤亡，宋希濂急令该团撤出战斗。这次战斗很多官兵壮烈牺牲，死伤570余人，日军也死伤千余余人。其余各部激战一夜，给敌以打击，但终因攻坚准备不足，又无攻坚制胜武器，敌工事安好无损，攻势受阻。
次日，宋希濂调来战车，掩护步兵再度攻抵汇山码头，至拂晓，又受日舰强大火力阻击，乃退回百老汇路北侧。撤退途中，我坦克遭敌火力袭击，惟有的2个战车连车毁人亡，全军覆没。究其原因，除了敌人炮火太过猛烈之外，还在于部队之前从未进行过步坦协同作战或演练，步兵根本不懂为坦克提供掩护，以为这黑乎乎的庞然大家伙所向披靡无坚不摧，所以任由其轰隆隆开上前，当日军炮火的活靶子。
然而，在观察上海宪兵团坦克攻击的进攻时，每一辆坦克左右都会有一个步兵班协助，步兵班负责清除对坦克产生威胁的敌军火力点，而坦克则负责保障步兵进攻的协同作战，从中午12点25分开始至12点45分时，二十分钟的时间，上海宪兵团独立一营和坦克中队突破日军三道防线，大量杀伤敌军，迫使敌军调动战机空袭，上海宪兵团防空连五架高射机枪和防空高炮击落和击毁日军战机二十五架，仅有三架敌机逃脱。
8月22日，双方开始逐街逐屋进行争夺，敌数次向第36师212团坚守的复旦大学图书馆阵地进攻，均被我击退。其间，第36师一度突破敌阵地，夺取了汇山码头，但因遭敌舰炮火阻击，又因敌便衣队和汉奸乘机纵火骚扰，部队前后隔绝，失去指挥，混乱中官兵死伤200余，被迫撤回唐山路原阵地。
8月22日，松井石根率领上海派遣军先遣部队第3、第11师团，和1个航空母舰战斗群，经过数天航行，于这日晚间浩浩荡荡增援至上海，23日晨，日军在狮子林、吴淞口击溃我江防部队，强行登陆，就在日军第三师团和第11师团前部刚刚登陆滩涂的时候，埋伏很久的上海宪兵团督查宪兵部队第三营首先开火，第三师团前部第九大队立刻淹没在第三营的火舌之中，一座座机枪暗堡和哨戒炮不要命的喷吐着子弹。日军重巡洋舰栀子号向第三营阵地发射大口径舰炮，部署得当的独立14加榴炮营、重炮连、独立11火箭炮营向日军舰队发动饱和炮击，四艘日军战舰发生大爆炸，三艘轻巡洋舰沉没。
日军无法登陆，便无法支援被围困的日军海军陆战队残部和14联队残部，因此日军只得暂缓进攻上海，兵通过外交部力图实施缓兵之计，但是日军停战请求遭到国民政府拒绝，日军只得再次强行登陆，然而这次，蒋文特意给松井石根挖了一个大坑，也彻底让日军陷入被歼灭的困境之中。
