北周的青州（治所在今山东益都）总管尉迟勤，是尉迟迥的弟弟的儿子，当初接受尉迟迥的上疏，上表送给朝廷，不久也追随尉迟迥。尉迟迥所统辖的相州（治所在今河北临漳县邺镇东）、卫州（治所在今河南汲县东）、黎州（治所在今河南浚县境）、洺州（治所在今河北永年）、贝州（治所在今州北清河西北）、赵州（治所在今河北隆尧东旧城）、冀州（治所在今河北冀县）、瀛洲（治所在今河北河间县）、沧州（治所在今河北盐山西南）等9州，尉迟勤所统辖的青州（治所在今山东益都）、齐州（治所在今山东济南市）、胶州（治所在今山东诸城）、光州（治所在今山东掖县）、苗州（治所在，争山东沂水）等5州，都听从尉迟迥的调遣，拥有兵众数十万人。
当时，荣州（治所在今河南汜水）刺史邵公胄、申州（治所在今河南信阳）刺史李惠、东楚州（治所在今江苏宿迁县南）刺史费也利进、潼州（治所在今安徽泗县）刺史曹孝远，也都各自据有本州，响应尉迟迥。徐州总管司录席毗罗占据兖州（治所在今山东兖州东北）、前东平郡太守毕义结占据兰陵（今山东枣庄市东南），也都响应尉迟迥。怀县永桥镇（今河南武陟西南）的守将纥豆陵惠开城门向尉迟迥投降。尉迟迥派部下大将军右逊进攻建州（治所在今山西晋城东北），建州刺史宇文弁带领全州投降。尉迟迥又派西道行台，攻破潞州（治所在今山西长治市北），活捉刺史赵威，任命潞州队郭子胜为刺史。纥豆陵惠率兵偷袭井攻克钜鹿（今河北邢台市东南），于是进围恒（治所在今河北石家庄市东北），上大将军宇文威率兵进攻汴州（治所在今河南开封市），莒州刺史乌丸泥等人统率青、齐二州的兵众围攻沂州（治所在今山东临沂西）。尉迟迥部下的大将军檀让统兵攻占曹州（治所在今山东曹县西北），亳州（治所在今安徽亳县），驻兵于粱郡（治所在今河南商丘南）。席毗罗的兵众号称8万，驻扎在暮城（今山东滕县），攻占了昌虑（今山东滕县东南）和下邑（今安徽砀山县）。李惠自申州出兵进攻永州（在今河南信阳北），将永州攻克。
尉迟迥派遣使者招降大左辅、并州（治所在今山西太原市西南）刺史李穆，李穆将使者逮捕，封上了带去的书信。李穆的儿子李士荣，认为并州是天下精兵的用武之地。暗中劝父亲跟从尉迟迥，被李穆坚决拒绝。这时，杨坚派往并州的内史大夫柳裘赶到李穆那里陈述利害关系，又派李穆的儿子在侍上士李浑去传布至诚之意，李穆使令李浑向杨坚奉献熨斗，说道：“愿执掌威柄求安定天下。”又向杨坚奉献十三环金带。十三环金带本是天子佩带之物，杨坚为此十分喜悦，派李浑到韦孝宽军中陈述李穆的意图。李穆的侄儿李崇当时任怀州（治所在今河南沁阳）刺史，起初曾想要响应尉迟迥，后来得知李穆追随杨坚，感叹地说道：“全家富贵者几十人，正值国家有难，竟不能扶持倾危的皇室，又有何面目处于天地之间呢？”迫不得已，李崇也附和杨坚。尉迟迥的儿子尉迟谊任朔州（治所在今山西朔县）刺史，李穆派兵将他捉住，押送长安。李穆又派兵讨伐新任潞州刺史郭子胜，将他擒获。
前线将领中，杨坚最信赖的就是李穆的侄儿李询，据他密报：“梁士彦、宇文忻、崔弘度并受尉迟迥镶金，军中搔搔，人情大异。”韦孝宽对此似乎一时没有良策，“时孝宽有痰，不能亲总戎事，每卧帐中，遣妇人传教命。”然而，从表面上看，局势着实叫人如坐针毡，因此李询赶忙向杨坚建议派重臣前来监军。
杨坚对于尉迟迥、司马消难和王谦作乱，早有预料，因而指挥若定。可是，对于眼下来自内部的危险却思想准备不足，加之初临大事，不免忧心忡忡，沉不住气，当下就和郑译、刘昉商议，准备撤换前线将领，并希望他们中能有一人到前线督军。
李德林得知此事，赶忙单独入见杨坚，一针见血地指出：公与诸将，并是国家贵臣，末相伏驭，今以挟令之威，使得之耳。安知后所遣者，能尽腹心，前所遣人，独致乖异？又取金之事，虚实难明，即夸挠易，彼将惧罪，恐其逃逸，便频禁锢。然则郧公以下，必有惊疑之意。且临敌代将，自古所难，乐毅所以辞燕，赵括以之破赵。如愚所见，但遣公一腹心，明于智略，为诸将旧来所信服者，速至军所，使观其情伪。纵有异志，必不敢动。李德林的这番话，是对当时形势的真实写照：杨坚遽登高位，挟天于以令诸侯，众心未服，在这种情况下，听信传言，临阵换将，只会搞得人人自危，恐怕军队将因此崩溃。杨坚听得出了一身冷汗，庆幸自己还没鲁莽行事，感激道：“若公不发此言，几误大事。”同时，采纳李德林的建议，派高颎到前线监军。
从此以后，杨坚在军事部署方面，事事与李德林谋划。当时，丞相府收到的诸事文书，每日数以百计，李德林往往同时向数人口授批示，文意各种各样，出口成章，不加修饰点改。这时，司马消难带领郧州（一说治所在今湖北沔阳）、温州（治所在今湖北京县）、随州（治所在今湖北随县）、应州（治所在今湖北应山县）、土州、顺州（治所今湖北随县北）、沔州（冶所在今湖北汉川）、岳州（治所在今湖北孝赔境）等9州以及鲁山（今湖北汉阳）等8镇军马投靠陈国，并派出他的儿子司马束作为人质请求陈同派兵援助八月已未日，南陈朝廷颁布诏书任命司马消难为大都督、总督9州18镇诸军事、司空，赐爵随公。北周的盏州（冶所在今四川成都市）总管王谦也不肯依附大丞相杨坚，率领巴、蜀军队进攻始州（治所在今四川剑阁）。在此之前，杨坚派梁睿取代王谦，到达汉川（即汉中）受阻而不能前进。于是，杨坚任命粱睿为行军元帅，率兵讨伐王谦。
恰在此时，尉迟迥招附徐州（治所在今江苏徐州市）总管源雄和乐郡（治所在今河南滑县系）太守于仲文，二人均不服从。尉迟迥派宇文胄自石济（在白马西）、宇文威自白马（今河南滑县东北）领兵渡过黄河，分二路进攻于仲文，于仲文因抵挡不住而放弃东郡，逃回长安，尉迟迥杀死于仲文的妻子。尉迟迥又派植让带兵到河南攻城略地，杨坚任命于仲文为河南道行军总管，派他到洛阳（今河南洛阳市东北）发兵讨伐檀让。
于仲文出自北周勋贵，和诸位将领地位相近，利益相通，有共同的语言，所以，他一来到，诸将纷纷向他探听京城消息，特别是杨坚的为人。宇文忻吐露心声道：“公新从京师来，观执政意何如也？尉迟迥诫不足平，正恐事宁之后，更有藏弓之虑。”显然，大家关心的是改朝换代后自己的地位利益。于仲文深知众将的向背取决于自己的表态，便安慰道：“丞相宽仁大度，明识有余，苟能竭诚，必心无贰。”说得宇文忻诚心悦服，于是，众心遂安。
高颎和于仲文的到来，迅速稳定了军心，众将一心，向尉迟迥展开猛烈的攻势。韦孝宽率大军挺进武陟（今河南省武陟县南），与盘踞武德郡（今河南省沁阳市东南）的尉迟迥之子尉迟悖所率十万大军隔着沁水对阵，高颎令士兵搭桥，宇文忻率部渡河，尉迟悖本想趁韦孝宽军半渡之时出击，不料，韦孝宽反而利用其军队略作后撤的机会，鸣鼓齐进，一过河，高颎就将渡桥烧毁，士兵一往无前，大破尉迟迥，乘胜追奔，连破尉迟迥的伏兵于野马冈和草桥，直逼邺城。
八月十七日，尉迟迥看形势不妙，便集结十二万大军，率其子尉迟悖和尉迟祜，于城南布阵。双方在相州城下展开了极其惨烈的大决战，尉迟迥大败。梁士彦首先从北门攻破邺城，一路追杀至西门，纳宇文忻部入城。尉迟迥退守小城楼，崔弘度尾追而至，尉迟迥见大势已去，痛骂杨坚后自杀。尉迟勤和尉迟悖、尉迟祜叔侄三人东奔青州，被大将军郭衍擒住。
八月二十七日，也就是在平定尉迟迥十天之后，王谊率领四总管军进逼郧州近郊，司马消难闻讯，连夜南逃，投降陈朝，荆、郢诸州反叛的巴蛮亦告平定；杨素攻克荣州，宇文胄出逃，被斩首。梁睿率二十万大军人蜀，连战皆克，进逼成都，十月二十六日，王谦率五万精兵背城结阵，梁睿纵兵进击，大破之，追斩王谦，传首京师，益州平。这样，三方反叛均被镇压下去。
三方反叛，从起兵到失败只不过六十八天。尉迟迥、司马消难、王谦等三方所发动的武装反抗，在韦孝宽、王谊、所统率的大军的讨伐之下，历时将近半年，终于以尉迟迥自杀、王谦被处死、司马消难败逃江南而告终，三方武装反抗已被全部平定，杨坚已牢牢地控制了北周政局。这场反叛是对杨坚的严峻考验，他上台伊始，元谐对他说道：“公无党援，譬如水间一堵墙，大危矣。公其勉之。”然而，杨坚胸有成竹，料敌先机，夺取朝政，控制京师，拉拢李、于、窦、韦、梁、宇文、杨、王等关陇河东大世族，牢牢掌握关中河东根据地，赢得全局胜利。
在平定地方武装反抗的斗争中，贡献最大的行军元帅韦孝宽，于战争结束后不久病卒。史称“孝宽在边多载，屡抗强敌。所有经略，布置之初，人莫之解，见其成事，方乃惊服。虽在军中，笃意文史，政事之余，每自披竭。来年患眼，犹令学士读而听之。及早丧父母。事兄嫂甚谨。所得俸禄，不入私房。亲族有孤遗者，妊加振赡，朝野以此称焉。”
