由于张作霖真心想同他合作，从此，孙传芳就死心塌地投靠了张作霖。张作霖特意留孙传芳便宴，为他接风。这顿便宴，上的都是鹿肉、熊掌、银鱼、紫蟹等名贵菜品，以示对孙传芳的尊重。
这次，孙传芳和张宗昌、张学良结为异姓兄弟。孙传芳在南京就任安国军副司令，召开军事会议，报告晋见张作霖的经过。张作霖则准备大举南下。1927年3月，张宗昌率褚玉璞等部开到南京。江苏督办一职孙传芳让给褚玉璞继任。自率队伍退驻扬州。
1926年11月30日，张作霖在天津蔡园召开了一个重要会议。这时孙传芳还没有离开天津。前文已经提到，张作霖曾公开表示要做安国军总司令，但还要走一个过场。在这次会上，张宗昌建议张作霖担任安国军总司令，以便统一指挥。张作霖假意推让，后来经过孙传芳、张宗昌的交口劝进，张作霖也就勉为其难了。
12月1日，在蔡园隆重地举行了安国军总司令的就职仪式。张作霖身着大礼服，在肃穆的香案前，跪祷告天，乞求神助。是时，在各界军政要人面前，秘书长郑谦宣读了《告天书》。在这个不中不西的就职仪式上，张作霖就任了安国军总司令的职务。这是在向世人宣布，我张作霖已经是北洋派的惟一领袖了。仪式完毕后，张作霖立即下令任命孙传芳为安国军副司令仍兼苏皖赣闽浙五省联军总司令，张宗昌为安国军副司令仍兼直鲁联军总司令，杨宇霆为总参议，韩麟春、张学良均升授陆军上将。此时的张作霖虽然还不敢公然自称总统或陆海军大元帅，但是事实上安国军总部就是一个变相的政府组织形式。它成了凌驾于内阁之上的中国最高权力机关。而张作霖就是颐指气使的最高当权者了。
12月22日。在天津蔡园张作霖召集吴俊升、张作相等开会，决定以安国军总司令名义任命靳云鹏为内阁总理。并相应地任命了各部总长。靳云鹏踌躇满志，拟好了就职宣言，准备走马上任了。不料，张作霖接到吴佩孚的电报，反对靳云鹏组阁。这个内阁计划就流产了。
12月27日，张作霖到达北京。此时，靳云鹏内阁已经倒台。张作霖十分尴尬。后来，张作霖不得不坚持顾维钧内阁。顾维钧，字少川，江苏嘉定人。1924年7月至9月，兼代国务总理。1926年10月起，任外交总长，兼署国务总理。
1927年1月12日，顾维钧内阁改组成立。这个内阁表面上看是一个以外交派组成的超然内阁，实际上也只是为张作霖筹措军饷和办理外交事务的附属机关罢了。从改组的第一天起，它就主动宣布征收关税二五加税，自2月1日起施行，借以讨好张作霖。
北京政府问题解决了，张作霖决心奉军南下。张作霖向吴佩孚表示，让张学良以子侄之礼率兵南下，听候吴佩孚的指挥调度。吴佩孚知道，这个子侄是不好接待的，赶紧声明不要前来。
张作霖也失去了耐心，决定兵分两路，直取河南。一路由直鲁联军副司令褚玉璞进攻开封；一路改派张学良、韩麟春为援鄂军总副司令，进攻郑州。2月6日，张学良、褚玉璞在徐州召开会议，决定行动方略。2月8日，张作霖发出进兵河南的电报，电称“兹分饬直鲁联军及三、四方面军分途前进，誓收武汉，进取粤湘。豫中将士宗旨相同，即无歧视，其一切名义地位，悉仍其旧。师发在途。特闻。”这个电报还是想说明奉军进兵河南，不是去占领你们的地盘，而是假道收回武汉，进攻粤湘。这个假话没有一个人会相信了。
奉军大举进兵河南，吴佩孚的部队土崩瓦解。
2月中旬，张作霖还调动吉黑两省的军队进关，以保持长江以北的地盘。江浙两省交给直鲁联军张宗昌、褚玉璞负责。奉军全力解决河南问题。奉军在3月间占领了河南大部分地区，但是，1927年3月，北伐军攻占了南京，孙传芳被迫逃到长江以北。此时，张作霖在军事上已经处于劣势，显出败相了。
吴佩孚和张作霖这两大派军阀彻底闹翻了。观测风向的阎锡山知道必须自保，便提出了“保境息民”的口号。至此，张、吴、阎的三角讨赤联盟完全瓦解了。
当吴佩孚、张作霖联合发动南口战役攻打国民军时，广州政府为完成孙中山先生遗愿，统一中国大业，组织国民革命军誓师北伐，由蒋介石任总司令。
国民革命军经苏联顾问的建议，整编为8个军。将党军改为第一军，蒋介石兼军长(后为何应钦)；湘军改为第二军，谭延恺任军长；滇军为第三军，朱培德任军长；以粤军第一师为骨干和粤军各部为第四军，李济深任军长；粤军第三军改为第五军，李福林任军长；以程潜的攻鄂军、吴铁城的警卫师和一部分赣军编为第六军，程潜为军长；以广西李宗仁、黄绍竑的9个旅编为第七军，李宗仁任军长；湘军第四师编为第八军，唐生智任军长。
广州政府为防备云南军阀唐继尧率部入侵，留下李福林第五军外，由李济深以国民革命军总参谋长身份，坐镇广州指挥。实际上参加北伐的部队只有24万多人。从数量上看，北伐军部队只有奉、吴、孙和直鲁联军总兵力100万人的1/10。但是此刻的北洋军阀已经分崩离析，矛盾重重，失去民心。北伐军对北方军阀采取各个击破、分化瓦解的方针。吴佩孚为第一进攻目标，孙传芳为第二进攻目标，张作霖为第三进攻目标。同时提出首期作战打倒吴佩孚、联络孙传芳、不理张作霖的谋略。
吴佩孚失陷武汉三镇的消息传到奉天，张作霖在奉天于9月7日至11日，召开军事会议，商讨援吴“时赤”问题，会上有两种不同意见，吴俊升、张作相等人仍然主张保境息民。而张宗昌、褚玉璞则要以派兵为名南下，把奉系势力扩展到长江以南地区。张宗昌、褚玉璞主张奉军南下有他们的打算，他们预料到北伐军收拾完吴佩孚、孙传芳，就该收拾直鲁联军了，用奉军代替吴军和北伐军作战，能对直、鲁两省起到保护作用。张作霖认为，奉系采取保境息民的方针，可以苟安一时，北伐军还是要打来的，在家门口打，不如出去打，而且张宗昌、褚玉璞积极主张援吴，要他们去打头阵，他们不会反对。会议经过讨论决定，“援吴讨赤”，派张宗昌为援吴军总司令，褚玉璞为前敌总指挥，张学良为预备军总司令，并将这一决定电告吴佩孚，表示合作对抗北伐军。
吴佩孚接到电报，担心假途灭虢，托奉系代表张景惠携吴的亲笔函复张作霖，称“本人尚有雄师十余万，力足恢复武汉，只求接济饷械，不需要派员来援，并建议奉军派遣渤海舰队载直鲁军南下直捣广州，并且应允中央政治由奉方全权主持，本人不再过问”。吴怕张不采纳他的意见，还给张发了电报，称：“此间将领或于风传，有假途灭虢之虑，弟如视兄尚有可为，请稍助饷械，听其自谋，否则可令汉卿(张学良的字)来自取之，兄当遁迹世外。”
张宗昌并非真心效忠于张作霖，他自告奋勇地愿意南下讨伐北伐军，是取悦于张作霖的一种手段，他并不愿意把他的军队开到京汉路，张宗昌回到济南，和他的总参议杨度商议，要杨度给他出主意。
杨度，字皙子，湖南湘潭人，民国初年，被袁誉为“旷世逸才”，他是君主立宪的倡导者，组织筹安会，为袁世凯策划复辟帝制，是洪宪祸首，复辟帝制失败后四处流浪，过去孙中山要他参加同盟会，他坚持君主立宪。1922年杨度到上海晋谒孙中山，痛陈过去走错了路，从此追随孙中山，致力于民主革命。
杨度给张宗昌当总参议，负有在军阀内部造乱的特殊使命。杨度对张宗昌说：“这是一盘难下的棋，将军下将军的棋，张大帅下张大帅的棋，吴佩孚、孙传芳又各下各的棋，将军要下好自己的棋，必须先要了解别人的棋路，否则这盘棋会输的。”张宗昌不解其意，杨度接着说，“张大帅的棋路摆得很清楚，将军是援吴军总司令，张学良是预备军总司令，就是要将军打头阵。将军打胜了，张大帅势力扩大，稳拿胜利成果；打输了，张大帅不过损失一支友军，对他的直辖军队毫无损失。吴佩孚、孙传芳的棋路，都是希望救兵为他们解围，并由救兵去承担北伐军的压力。”杨度又挑拨说，“将军好比是一个瓷盘子，人家斗殴，拿起盘子就向对方砸去，后果是可以想象的。”张宗昌被杨度的挑拨所激怒，说：“俺老张给他个按兵不动。”杨度摇头说：“将军按兵不动，大帅必然恼怒，和将军的关系就会决裂。吴、孙一垮，北伐军马上压过来，将军前临大敌，后无退路。”张宗昌说：“你说俺老张怎么办？”杨度说：“目前孙传芳正在九江督师，南京空虚，将军不如乘机以援孙之名夺取南京，不过这就要和北伐军取得谅解，事先派人和广州政府联系，约定夹击孙传芳，江苏地盘就是将军的了。”张宗昌听了杨度的主意，夸奖地说：“先生真是俺的张子房呀！”张宗昌便请杨度作函表示愿意归附广州政府，以驱逐孙传芳，让予江苏地盘为条件，并且派心腹参谋长金寿良携函到广州接洽。不料，张宗昌和杨度的密谋被张作霖获悉，派张学良去规劝张宗昌。张学良未打招呼突然来到济南，当面质问张宗昌有无南投意图？张宗昌一惊，然后笑咧咧地说：“什么大不了的事，也值得当真！”张学良说：“效坤！咱们兄弟可不能上当呵！你是直性子、爽快、讲义气，但也容易上当。杨度这人的话不能听信，他出的馊主意，是为他自己打算，他想投南军(指北伐军)，拿你当作投降的资本，你什么好处也得不到。如果国民党得了天下，一定安插他的嫡系，对你效坤会过河拆桥。对山东来说，最稳当、最安全的做法是奉鲁军团结作战，进可以战、退可以守，即便和的话，我们一致行动，也是半壁江山。山东单独行动，只能被人家蚕食，逐个消灭。效坤这次不过偶然受人挑拨，本来不值得当真，我不过是提一下！”张宗昌顺水推舟地说：“俺张宗昌全听大帅的，牵马提镫都跟大帅走，请大帅一百个放心！”张宗昌这个人大大咧咧，谁都不怕，就怕张大帅。张学良和张宗昌闲聊间走进大厅，张学良见文武群集，只是不见杨度，见到张宗昌的门上客薛大可，和他握手说：“请你告诉皙子，叫他当心他的脑袋。”张学良的警告传到杨度的耳朵里，知道事情不妙，就溜到北京去了。
奉天会议虽然决定派兵援吴，然而吴佩孚怕被奉军吃掉，张宗昌也不愿意出兵援吴，张作霖遂改变了原作战计划，以便把老把兄吴大帅推上梁山。
北洋军阀集团面临的局势岌岌可危，在这个时刻，孙传芳、张宗昌一唱一和地推举张作霖为北洋军阀集团的首领，纠集北洋军阀残余势力，与北伐军抗衡。然而北洋军阀集团已经四分五裂，吴、奉虽然合作，但是吴佩孚时刻警惕奉军假途灭虢。孙传芳被北伐军打得落花流水，而蒋介石以升官发财为诱饵，对地方军阀进行策反工作频频奏效，张作霖虽然自恃有强大的军事实力，但是逆潮流而动，终究挡不住北伐军的进军。
在张作霖就任安国军总司令期间，北京政府发生了非法搜查苏联大使馆武官处，逮捕杀害了中共创始人之一的李大钊事件。
1927年3月6日，蒋介石唆使他的爪牙，惨杀了江西省总工会副委员长、赣州总工会委员长共产党员陈赞贤。以后，又接二连三地实施了一系列的反共措施，其反革命行为愈演愈烈。4月11日，蒋介石在南京密令：“已克复的各省，一致实行清党。”4月12日，在精心策划后，蒋介石于上海发动了震惊全国的反革命政变。这就是臭名昭著的“四·一二反革命政变”。4月15日在广州又进行了反革命政变。继“四·一二”、“四·一五”的反革命大屠杀之后，在全国掀起了一股反共逆流，无数共产党员和革命人民牺牲在蒋介石的屠刀之下。
蒋介石在南方举起反革命屠刀的时候，张作霖在北方也毫不示弱，向中国共产党人和进步人士举起了屠刀。他们在相互进行绞杀革命的比赛，竞相向帝国主义邀功请赏。
当时，奉军在北京大肆搜捕共产党员，李大钊避居在外国使馆区的苏联兵营。因夜间工作，写文章，议形势，被法国使馆发现。法国使馆就向北京政府报告，奉军决定进入使馆区捕人。1927年4月6日，奉军300余人取得了北京公使馆的允许，由北京警察总监陈兴亚、宪兵司令王琦率领，进入使馆区搜查苏联大使馆及苏联兵营，捕去了苏联工作人员16人及李大钊等革命人士35人。除苏联大使馆外，中东路驻京办事处及远东银行也都遭到搜查。
搜查苏联大使馆的事件发生后，苏联政府向中国驻苏联代办郑延禧递交了抗议书。郑延禧私下认为，中国是个一向受人欺负的弱国，怎么能敢于派军警到使馆区大批逮捕中外人员，因此他不假思索地说：“中国政府决不会干这样的事，想必是土匪所为。”这句话传到北京，生平最忌讳别人提到土匪字眼的张作霖，不由得暴跳如雷地大骂：“外交人员怎么如此混蛋！”吓得顾维钧急忙发电严厉斥责郑延禧：“何得不问情由，擅发荒谬议论！”4月19日，苏联代办齐爱尔尼克率领全体外交人员30余人回国。
张作霖逮捕李大钊等共产党人和革命志士，激起了全国舆论的公愤。工人、学生、教师、学者、名流等，均想方设法进行营救。工人组织了劫狱队，计划武装营救。李大钊在得知此计划后说道：“我个人为革命牺牲光荣而应当，这已经是党的损失，已经是我的罪过。我不能再要同志们做冒险事情，而耗费革命力量。”
张作霖还派总参议杨宇霆劝降李大钊，被李大钊严词拒绝。
当时，蒋介石还特“密电张作霖，主张将所捕党人即行处决，以免后患”。在这一点上，新老军阀倒是完全一致的。张宗昌恶狠狠地说李大钊是“赤党祸根”，“巨魁不除，北京终久危险”。
奉军凭借搜查到的一些文件，无中生有，深文周纳，硬给李大钊等人扣上阴谋组织暴动的罪名，还煞有介事地编造了一个《苏联阴谋文件汇编》，把李大钊置于死地。奉军装模作样地组织了一个军事特别法庭，派何丰林为审判长，安国军军法处长颜文海为主席法官，审理被捕华人一案。4月28日判处李大钊等20位革命志士以绞刑，即日执行。被绞杀的革命志士中，还有国民党的左派人士邓文辉、张挹兰等人。临刑前，李大钊愤慨地作了最后的一次讲演：“我们深信，共产主义在世界、在中国，必然要得到光荣的胜利。”最后三呼“共产党万岁”，为共产主义事业献出了宝贵的生命。
这是张作霖犯下的一个滔天罪行。在辛亥革命时，张作霖杀害了革命志士张榕，得到了清廷的提拔。这一次，他用残酷的手段惨杀了共产党人和革命志士，又得到了帝国主义的青睐。张作霖就是用他手上的鲜血来染红他头上的顶戴的。
再说1926年底，随着北伐军的节节胜利，连克湘、鄂、赣、闽诸省，广州国民政府的统治区域大大扩展。于是，在1926年12月7日，国民党中央决定迁都武汉。同日，国民党中央和国民政府停止在广州办公，迁往武汉。
