蒋介石第二次自南向北征伐时，已经走进极权的走廊，的确有股挟风裹雷之势。小军阀们纷纷倒戈来归；大军阀们则望风鼠窜。1928年4月底，当蒋介石的部队驻进济南城附近时，盘踞山东多年的“狗肉将军”张宗昌，两手撑膝，一言不语，连眼也不睁。侍从上过两次狗肉了，又撤了下去，第三次再送时，张宗昌的龙床上只剩下一堆牌九。张宗昌一生离不开“三件宝”：狗肉、牌九、姨太太。
“长腿督办”张宗昌因身高腿长、打仗追得快也逃得快而得名，这次又是不战而逃，一口气逃到了大连。
蒋介石也被这兵不血刃的胜利激动了一番。当他查看城里坚固的堑壕堡垒时，认定那不是张宗昌的部队所为，显然是日军协助建筑的。5月2日上午9时，进入济南城的蒋介石，在城内山东督办公署设置总司令部。蒋介石企图以最短时间完成北伐，所以对近期日军的种种挑衅置若罔闻，只是在2日这天，将南京政府的外交部长黄郛接到济南，想通过外交谈判说服日本放弃出兵山东，使他可以继续北上。这天上午，他还通过军中的日本联络官佐佐木中佐，向日军“济南警备司令”斋藤少将提出要求：
一、国民革命军到达济南，将绝对维持治安，希日军迅速撤兵。二、据闻日军目前正从青岛进一步增兵，余认为无此必要，希中止增兵。三、既然日军不与我军为敌，则希望日军撤销现在的警备区域，并望不要在街路上架设机关枪等武器。四、据人民代表报告，日本兵对人民的态度粗暴，望予取缔。
斋藤接到文书，不敢擅自作答。两小时之后———5月2日上午11时30分，日军第六师团长福田彦助中将已率领他的主力抵达济南，随即对蒋介石发出一份措辞强硬的书面答复：本司令官确信，我军是按照接受于我政府的任务而进退的，不受阁下之高见所左右，所希事项我军没有接受之理。福田还将其司令部设在靠近西门外的商埠地区。于是，出现了一墙之隔两军共驻的异常状态。整个商埠周围架起了铁丝网和沙袋，隔不远就是一架机关枪或大炮，日军装甲车巡行于商埠乃至城内，就像是在它的属地一样。蒋介石顿觉不安。躺下又起来写日记，一切忍字当头：
“不忍何以能伸，不予何以能取，犯而不校，圣贤所尚；小不忍则乱大谋，圣贤所戒。慎之！勉之！”蒋介石再睡下又起来给冯玉祥发电报，叫他速来济议事。
稍后，蒋介石又通过日本驻济南代理总领事西田一向日军提出撤兵和开放商埠通行的要求。福田却表示：“我们是奉日本政府的命令行事，不能为你们的意见所左右。”不过对于“撤除铁丝网等防御工事、以免刺激革命军士兵心理”一节，同意照办。
日军对撤除防御工事少有的积极，竟彻夜进行。3日凌晨，天还没亮，工事即行撤完。5月3日那一夜，除了泉城无数的泉眼照旧汩汩翻滚，四周又黑又静，静得有些人。
上午8点，日本代理总领事西田和宪兵司令登门拜见蒋介石。西田直臂贴膝，行了个45度的大礼，连声说道：“进驻济南的国民革命军，军纪风纪都很好，并且都很严肃，很守秩序，所以已派到济南的日本军队和宪兵，今天就要撤回去。”
日本宪兵司令也接着说：“今天是特地前来辞行的。”
不容蒋介石答话，这两人一唱一和，称赞起国民革命军的优良，说相比之下，张宗昌的军阀部队简直不成体统，日本人就愿帮助这样的军队……讲了半个小时言不由衷的话，两人才告辞。
蒋介石也被弄糊涂了。过度的满足使他有些疲倦。他靠着椅背假寐了不到15分钟，就听到远处响起连珠的机关枪响。他兀自奇怪：“敌军张宗昌不是早已狼狈逃过德州、离此已有几百里路程吗？敌军是绝不可能反攻的！”他命令侍从副官赶快查看。
副官回来就比画开来：“不是张宗昌，是日本兵跟我们的人打起来了！我还看见路上有我们两个同胞被日本兵刺死了！”
蒋介石脸上痛苦地一抽，说道：“糟了，上了日本人的当了！原来他们刚才是来打探我是否还在城内总部里，然后再来决定对我们的态度及其预定计划。”事后才知，率先出击的日军正是西田宣称“即日返津”的派遣队，突袭的路线正是他们拆除工事的路口，瞬间，东、西两“警备区”的日军如黄蜂一般倾巢而出，发动了预谋的、不宣而战的突然袭击。
蒋介石背在身后的两指扯紧了，又松开，马上命令各师长，各自约束部队，无令不许外出，避免与日军冲突。同时派联络参谋长将此意转达日本福田司令官，要他同样命令日本军队，以免两军扩大冲突。
史学界普遍认为：“济南惨案”是中日两国最初发生的正面军事冲突，也是中日两国长期战争的序幕。
事件的肇端是这样的：当天早晨，有国民革命军第四十军（军长贺耀祖）所属的一名士兵生病，同伴要送他到国民政府外交部山东交涉署对面的基督教医院治疗。经过商埠区时，日本兵阻止通行，由于语言不通而发生争执。虽然就这么一点小事，可对于等待挑衅机会的日军来说，就是一个很好的借口。他们不问情由、不待理论便突然开枪，当场打死中国一名士兵和一名役夫，其余的人见势不妙，躲进医院。日军则将医院包围，用机关枪乱射，于是乎，战火一经点燃，全市都响起了枪声。
日本方面当然不这样说。在他们陆军省5月13日发表的《济南事件概要》中有一段文字：“3日上午9时半左右，日本人吉房长平在麟祥门外的《满洲日报》代销所中，有中国兵二三十人闯入，日本领事馆巡查冈田繁一立即前往该处，反而被中国兵殴打，是故乃由中久米川中尉率领自天津调来济南的一部分日军赶到现场，中国兵则逸入附近兵营。兵营岗哨首先向日军开枪，日军不得已而还击。以此为开端，中国兵在各处同时开始攻击。”正好将事实倒了个个。
不到15分钟，日军便将其占据的城外商埠地区各交叉路口，用沙包铁丝网构筑了防栅，完全切断了交通。连蒋介石派往日军司令部的人也无法通行。蒋介石急不可耐，又往日军司令部挂电话，通知福田司令官，说他已经命令所有济南城外的中国军队于下午5时以前一律离开济南，同时请福田也约束日本军队不要再乱放枪炮，伤害市民。
福田回了一封信，说他愿意同蒋介石的人开一个会议，来调查今天冲突的经过，要蒋介石派员到日本司令部去。
日近黄昏，枪炮之声没有停息。日本军队故意乱放枪炮。
蒋介石接到福田的信，满脸怒气，指示副官答复他：“给他回信，就说日军应赶紧派人到我们总司令部来开会。”
信送走了，蒋介石依然坐立不安。直到当夜12时，福田才有回信来，说他不能派人到蒋介石的司令部来，坚持要蒋介石派人到日军司令部去。
蒋介石不能平静了，在屋里大步来回走着，怒睁着眼，额角上青筋随着呼呼的粗气一鼓一胀。他的拳头搁在那张宽大的办公桌边缘，吩咐副官：“以我的名义再给他写封信，就说如果要我派员到日军司令部去，那就是日军没有诚意；亦就可以认定今天不是为了小事冲突，而是日军把我们当成了敌人。这样，我就绝不能派代表到你司令部里。”
结果，决定由双方代表在一个中间地点———津浦铁路办公处进行交涉。
国民革命军方面的代表是熊式辉，日军代表是福田司令部的参谋长黑田周一。在蒋介石下野时仍追随不舍的熊式辉深得蒋的信赖，蒋一复职就委其要职———淞沪卫戍司令，驻守上海。熊工于心计，自幼好恶作剧，少年时在家乡城墙上放风筝，忽然发现城墙脚下有很多鸡，就取来一根竹竿，用细麻绳系上一只鱼钩，放上蚯蚓为饵，把鸡钓上城墙，煮而食之。事后有人告诉其在江西巡抚衙门当传达的父亲，熊式辉就挨了一顿板子。蒋介石挑选熊式辉去和黑田谈判，还有一层便利是，熊式辉曾是日本陆军大学的学生，与黑田和其他日军参谋都是同学，又懂日本话。可是双方接触的时候，黑田却阴沉着脸，目光傲慢挑剔，冷冰冰，丝毫没有同学的情分，开口就提出苛刻的停战条件：
一、凡济南商埠（在城外）街道，不许中国官兵通过。二、胶济路（青岛—济南）、津浦路（天津—济南—浦口）不许中国运兵。三、中国军队一律退离济南20里之外。
熊式辉一听，惊讶得险些失手打碎茶杯，脑门心好像挨了一铁锤，呆坐在那里，半天没出声。黑田冰冷的目光仍在威逼他。
“这样重大的问题，须向总司令请示，我不能签字。”熊式辉身子一挪，看着别处。
黑田周一腾地站起来，嘶嘶啦啦地吼着：“你不是代表蒋介石来的吗？应该可以马上签字的！”
就在这时，会议室的窗户突然“嗡嗡”地震响起来，日本人的大炮在远处射击。以后每隔两分钟，必放一炮，意在威胁会议代表。每听到一声炮，熊式辉心里都是一震。耳边还夹杂着黑田的咆哮。他坐在椅子上，屁股扭来扭去，就是不肯签字。最后抄起桌上的“停战三条件”，走出会议室。
回到蒋介石的总司令部已是凌晨5时。熊式辉将“停战三条件”往桌上一摔，嘟起厚厚的嘴巴，双手打着膝盖骨，恨得直跺脚：“我×他个日本人，我长这么大还没受此大辱，那简直就要按着我的手往上写！还他妈同学，豕犬不如！”
蒋介石劝慰了几句，熊式辉心情慢慢平静，将谈判经过说了一遍，分析道：“照现在的情形看，日本一定要与我们开战。我们只有两条路，一条是决心和它决裂，对抗应战；一条是忍辱一时，避免冲突，避免牺牲，将来再作计较。”
蒋介石一动不动，长叹一声：“日本军人作风如此，日本国人将不胜其忧患，难道是老天有意要降祸我东亚？”
两人正在长吁短叹，外交部长黄郛进来了，也是一脸苦相。这本来是个文质彬彬的人，此时也像要爆炸了似的，往椅子上一坐，半天憋得说不出话。蒋介石问他：“你从哪里来？”
黄郛用手撑着脑袋：“日军司令部。”
蒋介石惊奇：“你怎么会到那里去呢？”
黄郛头摇得更重，整个身子都像在颤抖：“别提了，别提了！”黄郛接过茶水，喝进半杯，还在连连摇头：“日本人没有当我们中国人是人，这种耻辱与残酷，不仅我自己从来没有受过，恐怕在历史上都不曾有过……”
