1922年，赵登禹离开冯玉祥身边，被任命为冯部直属工兵连第3排排长。从此，赵登禹开始领兵打仗，步入其军事生涯的新阶段。
1922年4月，第一次直奉战争爆发，隶属于直系军阀势力的冯玉祥奉命率所部东出潼关，进军河南。经过一番战斗，冯部击败了河南督军赵倜的部队，冯玉祥出任河南督军。不久，奉系在战争中失败，其势力退出关内回东北，直系军阀势力控制了北京政府。因冯玉祥的势力几年来不断扩大，又出任河南督军，直系首领吴佩孚、曹锟等唯恐其势力进一步发展而威胁其权位，便以北京政府的名义任命冯玉祥为毫无实权的陆军检阅使，企图削弱其兵权。然冯玉祥识破其用意，他一方面宣布接受陆军检阅使职务，另一方面拒绝交出兵权，而是率所部北上赴任，进驻北平郊区。驻平期间，冯部在南苑开办了军事学校，训练各级军事指挥人才，同时加强部队的军事训练工作，并加强与其各派军事、政治势力的联系，进一步扩展自己的势力。
1924年8月，在东北养精蓄锐两年多，势力大为加强的奉系军阀张作霖部再次带兵入关，向直系军阀势力发起挑战，第二次直奉战争又爆发。战争一开始，冯玉祥立即加紧与自己早有联系的直系将领胡景翼、孙岳等人的联络，秘密协商准备“倒直”。经过一番准备，同年10月下旬，冯玉祥下令所部由密云等地开进北京城，发动“首都革命”，直系曹锟贿选政府因之倒台，第二次直奉战争也因“首都革命”而以直系的失败告终。“首都革命”后，冯玉祥等部成立国民军，由冯出任总司令，胡景翼、孙岳为副总司令。其后，冯玉祥积极联络各派势力，促成段祺瑞执政府的成立。不久，冯玉祥被任命为西北边防督办，统领察哈尔、绥远、甘肃、宁夏等省军政事宜。1925年8月，甘肃督军陆洪涛病逝，冯玉祥又兼任甘肃督军之职。
整个这一时期，赵登禹均随冯部转战陕西、河南、河北、北京、天津、察哈尔、甘肃等地，先后参加了第一次直奉战争、第二次直奉战争及“首都革命”，并因作战勇猛、指挥有方而不断获得晋升。1925年赵登禹出任营长。同年8月，冯玉祥被任为甘肃省督办后，并未亲往任职，而委派所部暂编第2师师长刘郁芬率部入甘，代行其职务。其时赵登禹为刘部梁冠英团营长，遂随军入甘。当时，以阴谋手段夺得甘肃陆军第1师师长职务的前甘肃省陆军第1师第1旅旅长李长清及所部团长包玉祥等人，联络甘肃其他地方势力，打出“甘人治甘”的旗号，对刘郁芬领军入甘，极力加以抵制，以排斥冯玉祥的势力进一步扩及甘肃，而维护、保持自己的权位。对此，刘郁芬入甘后即有察觉，但他对李长清、包玉祥等人的举动佯作不知，遇事不争，以礼相待，借以麻痹他们，同时暗地里积极准备，等待时机，以图一举清除他们。果然，一段时间后，李长清、包玉祥等人见刘郁芬没有什么举动、遂以为刘部是不敢轻举妄动，便逐步放松了警惕。刘郁芬见此，认为时机已成熟，可以动手了。他便秘密加以布置，以宴请为名，请来李长清、包玉祥两个。酒酣耳热之机、李、包两人完全失去了警惕，刘郁芬便借故走开。这时以梁冠英、赵登禹为首的十几名刘部军官一拥而入，将李长清、包玉祥两人捆绑起来，不久两人即被处死。由此刘郁芬在甘肃逐步站稳了脚跟，冯玉祥的势力也就此扩展到甘肃。
1925年，冯玉祥的势力虽逐步向西北各地扩展，但其重心仍在河北北部及平津一带。同时直系吴佩孚军阀因其发动“首都革命”而垮台，一直怀恨在心，伺机攻冯。另一方面，奉系张作霖势力入关后，依仗其雄厚的军事力量，把持北京政府大权，对冯玉祥部亦是多加排济，逼迫国民军退出所驻通州、北宛及南苑等地，让给奉军驻扎。不久，奉张进一步图谋向南发展，发动对浙江督军孙传芳的战争。因战事失利，奉张希望冯玉祥援手，但被冯拒绝。奉张遂转手以全力压迫冯玉祥部，以巩固北方然后再派兵南下。双方即在平津一带展开激烈的战斗。到1926年初，迫于各方的压力，冯玉祥不得不宣布下野，并于3月赴苏联考察。冯玉祥下野后，所部继续遭奉系张作霖、直系吴佩孚、晋系阎锡山以及直鲁联军的围攻，损失惨重。4月，冯部在鹿钟麟、张之江、李鸣钟、宋哲元等的率领下，相继退出平津地区。其时赵登禹已升任刘郁芬部团长，驻防兰州。这时，甘肃亦受到吴佩孚等军阀部队的围攻，刘郁芬采取收缩兵力、固守兰州，同时广为联络甘肃地方武装，固守待援的方针，与进攻之敌抗衡。赵登禹率部积极参加作战，为保全冯玉祥在甘肃的势力作出了贡献。
1926年8月17日，冯玉祥结束在苏联3个月的考察，离开苏联首都莫斯科回国。在苏联期间，他深为苏联建设成就所折服，同时与国民党、共产党代表多有接触，对国内的大革命及北伐表现出很高的热情。9月16日，冯玉祥偕同苏联顾问乌斯曼诺夫及共产党员刘伯坚等抵达五原（今内蒙古包头市附近），次日召集所部将领开会，决定成立国民军联军，并出任总司令，参加北伐，同日举行誓师大会。这就是著名的“五原誓师”。
此后冯玉祥在苏联及中国共产党的帮助下，迅速整编部队，并确定“固甘援陕，联晋图豫”的战略方针，以图首先巩固自己的根据地，恢复自己的力量。不久，在冯玉祥派出的援军到达后，兰州之围被解，甘肃得到平定。10月，赵登禹率所部随被任为援陕总指挥的孙良诚由甘肃出兵，进军陕西，以解被围于西安的国民军杨虎城军部。经过激烈的战斗，11月27日西安之围被解。这样冯玉祥在五原誓师后，又迅速重新控制了西北地区，势力也得到进一步的扩展。同年底冯玉祥部被武汉国民政府改编为国民革命军第2集团军，冯玉祥任总司令，所部迅速扩编。次年初赵登禹升任旅长。
1927年春赵登禹率部东出潼关，参加攻打河南的战斗，转战于焦作、新乡等地，与奉系张作霖部作战。次年赵登禹升任扩编后的冯玉祥部第27师师长。1928年初，南京国民政府决定继续北伐，以彻底击垮奉系张作霖势力。冯玉祥部担当沿京汉线向北作战的任务。赵登禹没有参加这次作战，而是在宋哲元等的指挥下参加了剿灭奉张勾结的樊钟秀等河南地方土匪武装的作战，此后又参加西征解西安之围的作战。当时驻守西安附近的原国民军李虎臣部与樊钟秀秘密相约，共同投靠张作霖，樊钟秀在河南起兵作乱，李亦纠集陕西的一些小军阀突然包围西安城。赵登禹等西征部队日夜兼程，迅速赶至西安，经激烈的战斗，击溃围城的变乱部队，解西安之围。此后又分散出击，追剿溃散的叛军及当地的一些土匪武装。在凤翔，赵登禹部与兄弟部队一起包围了党敏昆（绰号“党拐子”）土匪武装。在经过一段时间围困及肃清外围的战斗后，于8月初发起最后攻击。赵登禹身先士卒，挥舞大刀冲杀在前，一举全歼土匪武装，攻占凤翔城。
1928年底，张学良宣布东北“易帜”，南京国民政府在形式上“统一”了全国，但随之而来的则是新军阀的明争暗斗乃至大规模混战。为排斥异己势力，独揽中央大权，1929年初，蒋介石在南京召开所谓全国编遣会议。经过一番讨价还价，各方达成暂时的妥协。冯玉祥虽不愿意裁减自己辛辛苦苦扩展起来的部队，但也不得不作出些姿态，对部队进行整编，这样赵登禹从师长又回任冯部第28旅旅长职。
但各方间的矛盾是难以调和的，暂时的妥协也难以维持，战争不可避免地爆发了。经过一年的争战，到1930年终于爆发一场以蒋介石为一方，以冯玉祥、阎锡山、李宗仁、汪精卫等为另一方面的大规模的新军阀混战。此时赵登禹任冯部宋哲元第4路军第25师师长，在宋哲元的指挥下，由郑州南下，加入平汉线方向的作战。由于反蒋派内部矛盾重重，各有各的打算，难以很好地协调作战。反蒋斗争顺利时，尚能维持表面的一致，反之则人人自保，互不相助。蒋介石不仅握有中央政权及江浙富庶地区，军费相对比较充裕，部队装备亦相对精良，同时，他还得到帝国主义的支持，后援有恃。因此，这场大混战的结局可以说从一开始就决定了。张学良的拥兵入关，公开支持蒋介石，只是使这种已确定了的结局提前出现，提前为反蒋派敲响了最后的丧钟，反蒋派顷刻间土崩瓦解。1930年9月18日，张学良通电全国出兵华北，21日、22日相继进占天津、北平，10月中旬冯玉祥率一部退入山西东南的泽州地区，11月4日，冯玉祥、阎锡山联名发表通电宣布下野。随后冯玉祥一度离开山西，但不久又回转山西，在晋西南宋哲元防区内居住。
在冯玉祥兵败之时，其所部将领如石友三、韩复榘等纷纷投附蒋介石，宣布脱离冯玉祥，更有甚者，调转枪口攻打冯玉祥。赵登禹作为冯玉祥部将领，这期间也率部参加了这场军阀间的大混战，但兵败之时，他没有投附蒋介石，脱离冯玉祥，而是随宋哲元等少部分将领，始终率残部且战且退，最后退往晋南一带。
兵败之后，宋哲元等人即四处积极活动，打通关节，以图保持自己的队伍。在萧振瀛等人的穿针引线下，最后得到已出任中华民国陆海空军副总司令一职并实际掌握华北军政大权的张学良的同意，准其将余部改编为第29军，隶属于东北军，由宋哲元任军长，刘汝明、佟麟阁为副军长，下辖第37师、第38师和暂编第2师，分别由冯玉祥旧部将领冯诒安、张自忠、刘汝明等任师长。赵登禹在部队改编后，出任第37师冯诒安部第109旅旅长，率部驻扎于山西猗氏（今山西临猗县）、辽县（今山西左权县）一带，从事部队的整训工作。
从1922年出任排长，短短数年间，赵登禹随军转战华北各地，大大小小的战斗参加了无数次，其职务也由连长、营长而升至团长、旅长甚至师长，由最初的领兵数十人到统兵数千人甚至上万人，率军独挡一面，这固然与这一时期冯玉祥势力的急骤扩展有关，但根本说来主要还是靠其自身的勇猛善战与指挥才能赢得的。尽管随着职务的升迁，他已不再是一个以勇力制敌的战士，但在每一次战斗中，他那勇猛顽强的性格仍可在其指挥方式上显现出来，关键时刻更能身先士卒，冲杀在前。可以说当士兵时他是一名勇士，当将军时则为一员勇将，少年时代形成的勇猛顽强、不畏强敌的性格成为其身上最显著的特征，伴其终身。另一方面，尽管职务不断升迁，地位有了很大的变化，但同样是少年时代形成的行侠施义、富于正义感的特性并没有变化，肯吃苦、能吃苦的习性也没有变化。这不仅表现在他对自己的要求上，更体现在他治军练兵上。据说他治军甚严，严禁搔扰百姓。一次有几个士兵偷了老百姓的鸡，他得知后，当即将这几个士兵各打了30军棍，并责令赔偿老百姓的损失。对一般人是如此，对自己的亲属也是如此。他的一位在其属下任连长的表弟有了过失，同样被责以军棍。事后赵登禹向其作了解释，表示军规不能破，什么人都应一视同仁，请其谅解。在中原大战的末期及失败时，他是有可能也有条件为自己寻找一条更好些的出路的，但他没有离开冯玉祥，没有转向倒戈。这些都充分体现了他那种富于正义、施义行侠的特性。
出任第29军第109旅旅长后，赵登禹率部在山西辽县一带驻扎了约有两年时间。这期间他根据冯玉祥的治军方针和要求，同时结合自己领兵打仗以来的经验教训，对部队严加整顿和训练。在严抓军事训练的同时，他对部队政治、文化的教育也非常重视。当时，第109旅副旅长，以后成为中共秘密党员并在淮海战役中率部起义的何基沣负责全旅的政治、文化等训练工作。他非常重视向官兵们介绍国际国内的政治形势，并时常结合部队的历史，总结经验教训，要求官兵们要做一名有思想、关心国家前途和命运的军人。
1931年9月18日，日本帝国主义发动“九·一八”事变，侵占我国东北沈阳。由于南京国民政府的妥协投降政策，整个东北又很快落入侵略者的魔爪。国家的灾难，民族的耻辱，极大地震撼着广大的爱国官兵。对于长期受“不扰民，真爱国，誓死救国”精神教育的第29军官兵来说更是如此。对于日本帝国主义的侵略行径他们十分愤慨，而对于南京国民政府的不抵抗政策更极为不满，军中充满了高涨的爱国情绪。
在普遍的爱国情绪激励下，在第29军军长宋哲元提出的“枪口不对内”、“宁做战死鬼，不做亡国奴”等口号的鼓舞下，赵登禹这时也情绪高涨。他下令加紧部队的训练，并明确提出以日本侵略者为假想敌人，进行各种实战技术训练。当时，第29军的武器装备非常简陋，饷械严重不足，无奈中他们因袭老传统，自制了一批大刀，发给战士们，以补枪械不足。为此，赵登禹还常亲自给士兵们做示范，演练大刀的劈杀要领及拚刺刀的技术，督促他们勤学苦练基本功，来日与敌在战场上拼一高低。
1932年8月宋哲元被任为察哈尔省政府主席，不久赵登禹部奉命随宋开赴察哈尔。察哈尔邻近已被日本侵略者侵占的我国东北，同时平津地区高涨的抗日浪潮更是受直接影响。部队的抗日救国情绪更加高涨。这一时期，赵登禹除继续对部队的军事训练工作严加督促外，还注意加强对部队抗日救国的思想教育工作。他派人请来东北的流亡百姓和青年学生到部队，为全体官兵做报告，以他们亲身的经历揭露日本帝国主义侵占我国的领土，屠杀我们的同胞的罪行，以进一步激发广大官兵的爱国热情，同时，他热情支持士兵们排演抗日话剧和进行其他抗日宣传活动，不仅揭露日本侵略者的残暴，也揭露南京国民政府不抵抗政策给国家和民族带来的巨大灾难。
这一系列的活动，不仅充分反映了赵登禹坚定的抗日决心，同时也大大激发了所部官兵的抗日激情。一时，全军上下出现了一派厉兵秣马、枕戈待旦的气氛。
