吴佩孚喘息未几，肘腋之患又起。从前巴结吴佩孚的陕西督理刘镇华，乘国民军进入河南连连告捷之机，唆使其部下，东出潼关，进军洛阳，谋取地盘。守备洛阳的官兵，都是刚招募的新兵，未战先溃。吴佩孚在无兵可防的情况下，只得匆匆乘车出逃，准备到萧耀南处避难。不料，逃难的火车尚在河南省内行进时，吴佩孚就先后收到萧耀南和湖北省议会几次发来的急电，婉拒他进入湖北，逼得吴佩孚只得带领一班人马停留在鸡公山避难。鸡公山的鸟语泉声使人有脱俗之想，但给他带来的却是孤独凄苦之感，发出“人海茫茫，究竟何处是安身立命之所？”的哀叹。然而，在北京的段祺瑞执政府发出了一道接一道的“逮捕吴佩孚解京治罪”的通令，国民军又攻至鸡公山附近，吴佩孚要想赖在鸡公山不走是不行的了，只得再次出逃避难。最后逃往自认为“发祥之地”的岳阳，托庇于赵恒惕。
“北京政变”后，冯玉祥在与奉张争夺北京政府控制权中失败，宣布辞职出洋游历。张作霖在控制北京政权的同时，调动大批奉军进入关内抢夺地盘。奉系妄图将其势力伸向全国的野心，使各省军阀人人自危，而首当其冲的则是冯玉祥和孙传芳。冯、孙二人在“抗奉自保”的一致目标下，很快不谋而合，两人结为“金兰之好”，相约南北两路同时出兵夹攻奉军。另外，他们都认为长江中下游吴佩孚尚有一定的影响和潜在势力，如能拉吴出来，既易于号召，又便于发动，因此各派代表穿梭来往于岳阳、张家口、杭州之间，相商共同出兵讨奉之事。
冯、孙的联合抗奉，为吴佩孚“出山”提供了机会。吴佩孚岂能放过这重振军威的时机，他立即见风使舵，一变过去“讨冯”为“讨奉”，采取“联孙和冯”的策略，暂时迎合冯、孙主张，趁机借势而起。1925年10月15日，孙传芳以反对奉军压迫上海工人运动为名，通电讨伐奉系，兵分五路向奉军猛攻。浙奉战争爆发，吴佩孚趁势宣布出山，在汉口挂出了“讨贼联军总司令部”的招牌。而此时在吴佩孚心中，第一个敌人实际上还是冯玉祥，只是现在大势所趋，暂时收起“讨冯”的招牌，挂上一块可“讨冯”、可“讨奉”的模棱两可的“讨贼”招牌。
浙奉战争一开始，奉军就败退出南京。此时由于奉系军阀在各地的暴行和军阀混战带来的灾难，一个全国规模的反奉运动掀起了。在全国反奉运动高涨的影响下，奉军将领郭松龄秘密和冯玉祥取得联系，在滦州倒戈，转过头向张作霖发起进攻。最初，郭松龄的军队攻势甚盛，直趋关外，沈阳也危在旦夕。后来，张作霖在日本帝国主义直接出兵援助下，改变了其“下野亦可”的颓势，致使郭松龄兵败身亡。郭松龄倒奉虽然失败了，但是在军事上严重地削弱了张作霖的实力，使冯玉祥的国民军占领直隶全境，与国民军占领的河南地区联系一片。
国民军地区的扩大，引起奉张与直吴的恐惧，他们共同勾结起来对付冯玉祥。早在第二次直奉战争结束时，张作霖就派遣密使到鸡公山，对吴佩孚说：直奉战争的结果，是“鹬蚌相争，渔翁得利”，如果张、吴能联合起来，那就“天下无敌”。郭松龄事件之后，张作霖死里逃生，对冯玉祥恨之入骨，特别害怕国民军在北方的发展，想与吴佩孚联合，以共同进攻国民军。经过在前线的张宗昌与靳云鹗的往返传话，张作霖与吴佩孚日渐接近。1925年12月，张、吴代表会晤于大连，“大体取得了谅解”。次年，又商定了联合的条件。就这样，过去两个敌对的军阀，今日为了反对冯玉祥的国民军，又联合起来了。
1926年1月21日，吴佩孚正式通电宣布“讨冯”，并命令冠英杰率军进入河南。与此同时，张作霖也借进攻郭松龄残部为名，向关内进犯。这时，吴佩孚的“讨贼联军”总司令不变，只是“贼”的含意已明显由“奉”变为“冯”了。在奉直的联合夹攻下，国民军第二军几乎全部崩溃，岳维峻逃入山西。
河南的岳维峻被赶走，湖北的萧耀南又患心脏病去世，此时的吴佩孚又是踌躇满志，野心勃勃了。他洋洋得意地对部下大谈其“循环理”，意思是说，事情的发展总是周而复始的，他吴佩孚从今又会由失败走上中兴。可是，他哪里知道，他今日的再起就是明日的再败，而且是彻底的失败。
国民军退出北京后，段祺瑞被逐下台，北京陷于无政府状态。吴佩孚抓住机会，急忙着手进行所谓恢复“法统”和组织政府的工作。吴佩孚深知自己在北方的军事实力远不及张作霖，只有从政治上加速进攻，耍些花样，用护宪来恢复颜惠庆内阁与国会，才能争得北京政权，控制大局。岂知“绿林”出身的张作霖也已懂得“智深须有忍，将勇贵能谋”，吴佩孚提出起用原曹锟手下的总理颜惠庆出来“摄政”，遭到张作霖的坚决反对，并针锋相对地借“贿选”大做文章，要求恢复约法，召集国会，甚至提出了重新组阁的人选。为此，双方争持不下。尽管吴、张双方存在着若干无法解决的矛盾，但当时的形势是：南方的广东革命根据地日趋巩固，北伐战争正在准备之中；北方的国民军虽败退，实力并没有消灭，冯玉祥虽暂时宣布下野，但仍积极扩充军队，接受苏联援助，并兵分三路与直、奉军队对峙，时时威胁北京政府。对此，吴、张二人从各自所处的地位及利益考虑，决定维持目前的“联合”，并迅速采取共同行动，消灭共同敌人。在双方取得“军事为先，政治缓议”的一致认识后，吴、张终于在组阁问题上达成妥协。事后，吴佩孚曾和向上海《密勒士评论报》主编发表过自我解嘲的谈话，说：“我和奉张就象初婚夫妇一样’，偶然拌几句嘴是免不了的，日子一久，我们的感情就会一天天浓厚起来。”
5月28日，吴佩孚乘坐的列车，在两驾飞机的护送下，抵达北京，与张作霖举行“两巨头会议”。张作霖与吴佩孚互换兰帖，结为兄弟，随即商定一致行动的计策：在联合攻下南口后，吴佩孚向南攻广东革命根据地，张作霖向北进攻北方的国民军，企图南北齐下，共分天下。当晚，吴佩孚就乘车回长辛店，张作霖也回天津。在告别时，张作霖祝吴佩孚“马到成功”，吴佩孚则谦虚道“仗老弟洪福”。这两个军阀异想天开地以为，将来的中国定是他们的天下，而不知乃是各自末日之来临！根据“两巨头会议”商定的军事计划，直奉联军和国民军爆发了争夺南口的战争。本来按照约定，应该由吴佩孚来指挥关内的奉军、直鲁联军和直军各部，攻下南口。吴佩孚在长辛店设立总司令部，亲自指挥南口之战。他满有把握地夸下海口：“旬日攻下南口。”但事与愿违，他所指挥的奉军和直鲁联军迟迟不发动进攻，存心持观望态度；他的一线主力，虽有六个旅的编制，但多由原国民军改编而成，勉强开到前线后，与国民军一接触，就马上溃散。尽管吴佩孚一再下达限期攻下南口的命令，并且用封官许愿的办法来引诱将士，可就是久攻不下。
在南口的争夺战正在紧张时，南方的广东革命政府开始北伐。7月1日，广东国民政府发表了《北伐宣言》；7日，国民革命军正式誓师北伐。而在此前，北伐的先遣队已开赴湖南。巩固北伐的前沿阵地。7月初，北伐军兵分三路进军湖南。在广大工农群众的热情支持下，北伐军一开始就占了优势，吴佩孚的军队被打得节节败退。7月12日，北伐军占领长沙。
这时，吴佩孚陷于南北两线作战、顾此失彼的困境中。直系内部的一些将领认为吴佩孚的老巢在湖北，南重于北，应抽身南下，将进攻南口的指挥权交给奉系。可是，吴佩孚即认为如果自己放弃进攻南口的指挥权，而南下主持湖北的战事，那京汉线北段的地盘，就会被奉军夺去，致使无法继续控制北京政权。因此，他不管南方的告急电报多么频繁，还是咬紧牙关发誓：“南口一日不克，本总司令一日不能南下。”同时，他督促孙传芳出兵，要求唐继尧援助，以缓南方形势。但是孙传芳为了避免卷入漩涡，对湖南战事采取了坐山观虎斗的态度。吴佩孚无可奈何，只得厚着脸皮，派其秘书长同奉军代表协商，表示愿意把北方军事完全交由奉军负责，自己则预备逐步抽出兵力，全力对付南方。从7月19日起，进攻南口的主力和指挥大权遂由奉军方面担任。8月14日，国民军因势单力薄，寡不敌众，被迫放弃南口。
北方的南口战役刚结束，南方战场上吴佩孚的“联军”已无法抵御北伐军势如破竹的攻势。8月22日，北伐军攻克湘北重镇岳阳，打破了吴佩孚固守待援的计划，使革命战争迅速推进到湖北境内。随后，又以风卷残云之势，接连攻克通城、崇阳、蒲圻等县，直逼汀泗桥。吴佩孚接到岳阳守军的十万火急电报后，立即命令齐燮元驻长辛店，行使总司令职权，指挥北方军事，自己则率军星夜南下增援。自此起吴佩孚在北方的势力一落千丈，部队逐渐瓦解。
8月25日，吴佩孚急匆匆赶到武汉，在查家墩司令部发布了“死守河泗桥”的命令。汀泗桥为鄂南第一门户，地势险要，西、南、北三面环水，东面山崖耸立，只有南面有粤汉铁路可通，而铁路桥东，河深难渡，这是一个易守难攻的险要据点。自古以来，汀泗桥是兵家必争之地。为“死守汀泗桥”，吴佩孚迁司令部于贺胜桥，集重兵于河泗桥，企图凭借汀泗桥的天险据守，求得一个暂时喘息的机会。同时，他不断发出电报，急调京汉线各部队星夜驰援。
8月26日，北伐军发起对汀泗桥的总攻击。直军尽力死守，吴佩孚亲率卫队到阵地督战，并组织八个大刀队，分八路监视各军，下令：“退却者，杀无赦！”凡遇临阵退却者，不分官兵，大刀队挥刀便砍。就在那一天，吴佩孚当场处决临阵退缩的中、下级军官达九名之多，因逃退被大刀砍掉脑壳的士兵不计其数。北伐军攻了一昼夜，进展不大。27日拂晓，作为预备队的叶挺独立团，被调来参加战斗。叶挺独立团进入阵地后，从右翼高山往下猛冲，第四军其他部队铁路两侧配合，吴佩孚的军队在夹击下，被打得晕头转向，仓惶溃退。这时候，吴佩孚气得两眼血红，几近疯狂，亲自手持大刀随同大刀队一起举刀飞舞，转眼间砍杀其溃兵一百余人。然而，即使刀光闪闪，人头滚滚，也阻挡不了部下官兵的四散溃逃。当日上午，北伐军占领了汀泗桥，又乘胜追击，拿下了贺胜桥，打开了通向武汉的最后一道门户。
吴佩孚败退至武汉，紧闭城门，以守待援。他清楚地知道现在要守卫武汉，既无可用之兵，又缺忠心能战的将领，只得命令败兵加紧挖掘战壕，在当地构筑炮兵阵地，想凭借武汉的城垣和长江天险暂作守卫，以等待援兵的到来。吴佩孚为了表示自己“要与城共存亡”，反复地对部下说：“我决不放弃武昌，我吴佩孚死在战场上比死在床上好。”为“死守武汉”，吴佩孚不断发电报催促各方面迅速派兵来援。但是，京汉线上吴所属的各支部队，见势不妙，各怀鬼胎，虽经严电催促，却迟迟不来。杨森、袁祖铭忙于内部的争斗，无兵可派，孙传芳自感境况不妙，也按兵不敢动。因此，吴佩孚所有这些求援电报发出后，都象石沉大海，永无回复。在北伐军围攻武汉的这段时间里，吴佩孚已无兵可调，心里又急又气，无奈自己力不从心，只得借助吹牛来支撑局面。他在司令部召开的军事会议上竭力吹嘘自己的武力，仿佛只要他亲自督师，就可以一举歼灭北伐军。他还发出通电，谎称其击毙北伐军数万人，其部队已占领长沙等等。但吹牛似乎也并不能让吴佩孚苟延残喘，很快，在内外交困下，吴佩孚自知大势已去，于9月7日清晨，在一团卫队的护送下偕靳云鹗等人偷偷地从汉口逃往河南。被困在武昌城内的吴佩孚残部，在外无援军、内无弹粮、军心瓦解的情况下，成为瓮中之鳖。北伐军占领了武汉，这从根本捣破了吴佩孚的巢穴，断绝了吴佩孚的生命（因为吴佩孚的生存靠的是汉阳兵工厂和武汉之饷源），“可算从根本结果了吴佩孚”。从此，逃到河南的吴佩孚尽管一再收拾残兵败将，以谋反攻，但在国民军和北伐军的强大攻势面前，直系内部将领人人自危，拥兵自重，各找出路，吴佩孚好不容易收罗的残军，还未来得及同北伐军交战，就自行瓦解了。吴佩孚只得急匆匆地向西逃窜，堂堂的“讨贼联军”总司令吴佩孚此时是人枪两空，他自知大势已去，遂不能不重新计议新的出路。
吴佩孚在大势已去，天涯茫茫，四面楚歌，别无良策的情况下，只能于1927年6月，渡江南下，西逃入川，暂时投靠“于惠老弟”——杨森。在逃窜途中，他的一行人马，疲乏零乱，风声鹤唳，草木皆兵，行至灰店铺时，当地土匪误认是商队，企图抢劫，一枪将吴佩孚的秘书长击毙；再到太平店渡河之际，又遭到已改投冯玉祥的原部将张联陛的堵截，硬拼之下，吴佩孚仅率二百余残兵狼狈过江，连夜向南障逃窜。以后，他为避免沿途守军的截击，只得带领残兵败将，专拣土匪出没的荒僻小路逃跑，凡过一山寨，必先命士兵手持“吴佩孚”的大张名片，向盘踞一方的“绿林好汉”借路，幸亏“盗亦识货”，一路尚通畅无阻。7月，他终于抵达巴东，由杨森迎至白帝城，以此暂作栖息之地。
