靠人事调整来抑制可能滋生的意外情况，在短时期内固然可以奏效，但毕竟不是长久之计。行伍出身、有着丰富经验的赵匡胤，对周围的内情是相当了解的。他知道，标本兼治方能长治久安。因此，他在大刀阔斧调整人事关系的同时，在治本问题上也殚尽心机。治本的方向和目标十分明确，那就是从体制上分散兵权。
在赵匡胤的分权方案中，最中心的思想就是确立枢密院和三衙的领兵体制，实现握兵之重和发兵之权的分离。
枢密院的设置，始于唐代永泰元年（765年）。当时这一机构由宦官担任，其职责是沟通官僚和皇帝之间的联系，接受臣下表奏送给皇帝批阅，并将皇帝指示宣付有关部门执行。类似于今日的政府办公厅，是皇帝专有的秘书机构。五代后梁时期，这一机构曾一度废止，其职事并入了崇政院。后唐时，重新设置枢密使，既用武将，也参用文臣。但无论文武，其权力都极大，甚至其地位高于宰相，而且并非专掌军务。后汉时，大将郭威任枢密院使，“主征伐”此后，枢密院开始专掌兵事。
赵匡胤建立宋朝后，枢密院“与中书省称对持文武二柄，号称二府。”中书省称为东府，枢密院称为西府。枢密院长官为枢密使，副长官为枢密副使。由于枢密院负责军务，因而宰相便只是最高行政长官，不再与闻枢密院事务。
按照宋代的规定，枢密院“掌兵籍、虎符，握发兵之权。”类似于现代国家的国防部。但其地位则远在国防部之上，枢密使乃是与宰相地位相当的重臣，他不受宰相节制，而直接听命于皇帝，而原来政府机构中受宰相节制的国防部——兵部所承担的职能实际上已被枢密院侵夺。
三衙，是指殿前都指挥使司、侍卫亲军马军都指挥使司和侍卫亲军步军都指挥使司。三军的最高指挥长官分称殿帅、马帅、步帅，合称三帅。三司的职责是管理禁军，即所谓的握兵之重。在赵匡胤时代，实际是沿袭后周的做法，设殿前和侍卫两司来管理禁军，因此严格说来，只有两衙。但由于赵匡胤把殿前都点检、副都点检，侍卫亲军都指挥使、副都指挥使、都虞候等两司的5个最高军职长期空缺不授于人，侍卫亲军马步军无最高统帅，因而渐渐裂出侍卫亲军马军都指挥司和步军都指挥司两个机构，与殿前都指挥使司平列，开始向三衙体制过渡。到宋真宗时，由殿前都指挥使升为侍卫马步军都虞候的王超被罢职后，从此“无复任者，而侍卫司马军、步军遂分为二，并殿前鼎足而三，号三衙，而马、步军始居殿前司之下焉。”至此，三衙体制正式确立。
如果看看这三个军事系统的高级军职的品级，则更可以了解赵匡胤控制兵权的苦心。殿前司和侍卫司共有14个高级军职，由于5个长期空缺而到宋真宗时彻底废止，殿前、侍卫马军和侍卫步军便只剩下9员。这9员中，殿前都指挥使为从二品，副使为正四品，侍卫马、步两司的都指挥使和副使为正三品，三个系统的都虞候则为从五品。这样一来，武将地位大受贬抑。禁军自后周设殿前司，遂由一司变为二司，赵匡胤则又把二司裂为“三衙”，使禁军无总统之帅，又使高级将领地位降低，于是，分散兵权的目标逐步得以实现，由他本人控制禁军的梦想也正在变成现实。
赵匡胤还在枢密院的职责及人事安排上全面吸取了五代时期的历史教训。五代时期，枢密院权力过大，早有定论。司马光曾说：“唐末，诸司使皆内臣领之，枢密使参预朝政，始与宰相分权矣。降及五代，改用士人，枢密使皆天子腹心之臣，与议军国大事，其权重于宰相。”另一位历史学家范祖禹也敏锐地觉察到这一问题，他说：“自唐室衰季，以及五代，枢密之权偏重，动为国患，由手握禁旅，又得兴发也。”正因为枢密院大权在握，五代时期的主要辅臣敬翔、郭崇韬、安重诲、桑维翰、王朴等都担任过枢密使。在赵匡胤看来，枢密院是要设的，但也不能使它没有约束和牵制。赵匡胤所使用的办法是在体制上制约，在人事上使用文臣。
枢密院总理兵政，掌管全国兵籍、武官选授、军队调发更戍及兵符颁降，发兵之权在握；而三衙则具体负责统制训练、番卫戍守、迁补赏罚等军事事务，由于诸军统领管辖尽在三衙，因而三衙有“握兵之重”。两个机构的互相制约，便形成了枢密有发兵之权而无握兵之重，三衙有握兵之重却无发兵之权的格局。
另一条措施是起用心腹文臣担任枢密使。赵宋王朝刚刚建立的当月，赵匡胤即任命赵普为枢密直学士，进入军事核心机构。当年八月，升为枢密副使，至963年十月，赵普正式出任枢密使，魏仁浦、吴廷祚等原枢密使，因属后周旧臣，“稍存形迹”被先后罢免。此后，除了曹彬等赵匡胤极其信赖的武将外，枢密使一职基本上由他的心腹文臣担任。
赵匡胤所实行的这次兵制改革，简言之，就是以枢密、三衙分散兵权，彼此牵制，互相制约，以实现从体制上杜绝兵变的目标。这种体制，他的后继者对此番用意体会尤深。事隔一个世纪之后的元丰年间，宋神宗准备改革官制，有人建议废枢密院归兵部，遭到宋神宗的断然拒绝。他说：“祖宗不以兵柄归有司，故专命官统之，乃是为了‘互相维制’，这种祖宗遗意万万不可改变。”由此可见赵匡胤的改革对于后世的影响。
但赵匡胤对这种制兵之法感到犹不满足，遇有战事，需要禁军出征时，赵匡胤却不用三衙将帅来指挥部队，而是临时起用其他官员充作将帅。事定之后，兵归三衙，将还本职。例如征战后蜀，即临时指派忠武节度使王全斌为西川行营凤州路都部署，以武信节度使、侍卫步军都指挥使崔彦进副之，同时派枢密副使王仁赡为都监。这种临时受命的官员就是所谓的“率臣”。由“率臣”们来具体指挥部队，是三衙统兵权的再次分离。这种握兵权、调兵权和统兵权的分离，被宋人吹捧为“所以维持军政”的“万世不易之法”，认为这种制兵之道“彼此相制，罔敢异志”，是国内统治稳固的根本保证。
“互相维制”的原则，并不单纯体现在体制上，在兵力的配置和军队的布防上，赵匡胤依然采取这种“制衡”原则。
宋军的兵力，在赵匡胤开国之初，约有12万，到后期开宝年间（968-976），约有37万多，其中禁军近20万。
禁军是“天子之卫兵，以守京师，备征戍”。是国家主要的武装力量，也是赵匡胤实现自己政治抱负的根本依托。但对这20万禁军如何摆布，却使赵匡胤绞尽脑汁。虽然名义上皇帝是禁军的最高统帅，禁兵皆为天子家丁，但20万军队摆布不好，就可能后院失火，脑袋搬家。
赵匡胤在部署禁军的布防时，已充分考虑到出现兵变和地方割据的可能性。因此，他将20万禁军中的一半驻守京城，将另外10万分屯各地。为了确保京城的安全，赵匡胤又按照互相制约的原则，在京畿地区划分出三道防线：“皇城之内，有诸班之兵；京城之内，有禁卫之兵；京师之外，列营犹数十里”。赵匡胤经常以这种布局引为自豪，他称，“虽京师有警，皇城之内已有精兵数万！”他把禁军中的精锐部队——殿前司所属兵力部署在京城（同时又划分不同防区使之本身互相牵制），用以制衡各地的其他军力，这就是所谓的“强干弱枝”。当然，赵匡胤心目中的“强干弱枝”也是相对的和有条件的，否则就会失去制衡的意义。他的办法，大体说来是靠兵力的质量（所谓“精兵”）来拱卫京师，靠兵力的数量来制衡京师禁兵。驻屯各地的禁军，主要是侍卫马军和侍卫步军，两军的精锐虽不及殿前部队，但数量上则大体相当，而再加上各地大量的厢兵、蕃兵、乡兵等地方部队，其数量超出京师兵力至少一倍以上，万一京城有变，各地军力联合起来，则京城之变亦可抑制。这就是所谓的“内外相维”。
由此可见，“内外相维”的内涵是十分丰富的。京城之内，有亲卫诸兵，京城之外，诸营列峙相望，京师内外互相牵制，此内外相维；“府畿之营，云屯数十万众，其将副视三路者，以虞京城与天下之兵”，在开封府畿内外保持某种兵力平衡，这又是一种内外相维；而屯驻各地的禁兵，与各地厢兵、乡兵、蕃兵相杂而作插花式的布防，这也是一种内外相维。
赵匡胤并不以为实行“内外相维”就可以从此高枕无忧了。他还在琢磨他的那套治兵方法。结果，他又别出心裁地创设了所谓的“更戍法”。
“更戍法”的含义是轮流分遣禁军戍守诸道，使军队无固定防地；统兵将帅则长驻防地，不随士兵轮换。
实行更戍法的方法是：一是进行经济性的移屯，将禁军移驻粮草丰足的地区，并“许挈家属以往”，此种移屯称为“就粮”；二是进行政治或军事性移屯，因隶属关系和指挥级别不同分为屯驻和驻泊。“其出戍边或诸州更戍者，曰屯驻，非戍诸州而隶总管者，曰驻泊”。
按照规定，宋代禁军，除殿前司的捧日和天武两军外，其余部队“皆番戍诸路，有事即以征讨”。这种普遍的、几乎没有例外的轮番更戍，按照宋人的说法，其目的大致包括：一是使“将不得专其兵”。北宋名臣富弼认为，赵匡胤“将天下营兵，纵横交互、移换屯驻，不使常在一处”其根本目的就在于“坏其凶谋”；二是使士卒有如司马光所说的那样能“均劳逸、知艰难、识战斗、习山川”。三是减轻家庭负担，沈括在《梦溪笔谈》中说，由于更戍法的实行，使士卒“外戍之日多，在营之日少”，而能达到“人人少于而衣食易足”的目的。其实，所谓练习勤苦、平均劳逸都是微不足道的，至于减轻家庭负担，更是一种一厢情愿式的主观臆测。实行更戍法，防止军权威胁皇权，利用这一办法造成将不知兵、兵不知将，才是赵匡胤真正的用心所在。
赵匡胤从确立枢密院——三衙体制从而成功地实现握兵权、发兵权甚至调兵权的分离，又以“强干弱枝”、“内外相维”部署军队布防，造成京师内外以及各布防区域间的互相牵制，又以更戍法达到“兵不知将，将不知兵”的控制目标，所有这一切，都是在“防范”和“控制”的指导思想下进行的，是通过一种平衡法则来达成的。平衡，在政治家手里总有许多数不清的妙处，它可以保持某种力量的均势，可以不受任何力量的左右而能操纵自如，还可以在一定的时候借助一方来抑制另-方。赵匡胤对平衡法则的运用可谓得心应手，其技巧也炉火纯青。称他是中国古代政治史上的平衡大师，恐怕没有多少人表示异议。读者以后还可以看到，除了在军队管理上醉心于实施平衡法则外，赵匡胤还把这套制约平衡手段推广到了其他领域，而且成绩不俗。
在中国古代这类封建国家，政治家手里掌握一支军队，特别是一支有战斗力的军队，实在太重要了，用以守成，用以创业，须臾不可缺少，而一旦失去这一筹码，就等于失去了当政治家的资格。这个道理，赵匡胤是明白的。尽管他在控制这支军队方面煞费若心，但内心深入，他却仍然希望自己手中的这支军队是一支有战斗力的，能征善战的部队。
