武帝“深陈既往之悔”的“轮台诏”，不仅对稳定西汉王朝的政治局势产生了深远的影响，而且也为汉匈关系的重新调整创造了一个良好的开端。
在武帝时期长达数十多年的汉匈战争中，汉匈双方都蒙受了无法估量的巨大损失，特别是匈奴的损失更为惨重，在汉军连续多年的沉重打击之下，曾经纵横大漠之上的精锐甲骑损失严重，人口、牲畜大量被俘和死亡，势力更加趋于衰弱。虽然在征和四年（89），狐鹿姑单于怀着降服李广利的喜悦之情遣使至汉，强硬地要求汉朝继续履行和亲“故约”：
南有大汉，北有强胡。胡者，天之骄子也，不为小礼以自烦。今欲与汉闿大关，取汉女为妻，岁给遗我糵酒万石，稷米五千斛，杂缯万匹，它如故约，则边不相盗矣。
对于匈奴这种无视双方实力对比已经发生根本性变化的态度，汉廷没有理睬。实际上，此时匈奴远遁于自然条件不及漠南优越的漠北地区，自顾不暇，并无实力继续大规模侵略汉朝北部边塞。狐鹿姑单于见虚言恫吓没得到任何实际利益，不得不重新考虑与汉廷复议和亲之事。
昭帝始元二年（前85），狐鹿姑单于没有来得及与汉商议和亲就重病缠身，临终前忧虑其子年幼，不能治国，遗言命其弟左谷蠡王为单于。狐鹿姑单于去世后，颛渠阏氏（单于正妻）与卫律合谋更改单于遗命，立其子右谷蠡王为单于，即壶衍鞮单于。左贤王（狐鹿姑单于子）、左谷蠡王因不得立，心怀怨恨，于是率部众分归各自辖区，不肯再至龙城聚会。匈奴最高统治层因争夺单于之位公开发生分裂，开启了宣帝五凤年间匈奴大规模内讧——五单于争立的政治纷争。
壶衍鞮单于年少初立，母亲行为不正，族内又发生严重分裂，因此非常害怕汉军趁势攻击，于是在始元六年（前81），将被扣压在匈奴十九年的汉使苏武等人送归汉廷，试图缓和与汉的敌对关系，以表示和好的善意。尽管匈奴自单于以下各级贵族都有与汉和好的想法，但对于丧失阴山以南一大片水草丰润的土地毕竟是于心不甘，掠夺财富的欲望也不可能完全断绝，特别是武帝晚年宣布不再出兵远征之后，所面临的军事压力骤然减轻，于是匈奴骑兵又在汉朝边塞之外出现。
元凤元年（前80），匈奴发左右二部二万骑兵，分为四队，企图并入边塞劫掠。不料在汉军的反击之下，损失九千多人马，匈奴瓯脱王被俘，不得已再次远离汉塞。第二年，壶衍鞮单于发兵九千骑屯守受降城，防备汉军远征；但同时又在余吾水上架桥，准备随时北撤。此后，匈奴虽然在张掖、五原等边郡发动一些较大规模的入侵，但均以失败而告终。这时汉朝边塞经过多年的艰苦努力，烽燧交通等防御系统已经相当完备，匈奴见南下已经不可能获利，于是就掉转马头，向昔日的同盟者乌孙杀去。
昭宣之际，匈奴连续入侵乌孙。本始三年（前71），宣帝派遣十五万大军，分兵五路，与乌孙联合抗击匈奴，发动了西汉时期对匈奴的最后一次大规模出征。按照汉军的作战方针，具体布祁连将军田广明将四万余骑出西河，度辽将军范明友将三万余骑出张掖，前将军韩增将三万余骑出云中，蒲类将军赵充国将三万余骑出酒泉，虎牙将军田顺将三万余出五原；另遣校尉常惠使持节监护乌孙兵，与翁归靡率乌孙五万骑西击匈奴。在汉与乌孙联军的打击之下，匈奴损失异常惨重，从此愈加衰落。第二年，壶衍鞮单于亲率数万骑报复乌孙，虽然略有掳获，但在班师的路上却遭到严寒的袭击，大雪一日竟深达丈余，人民、牲畜大批冻死，生还者不到十分之一。就在匈奴极度衰弱之时，原先被匈奴征服的属部纷纷倒戈，北方的丁令、西方的乌孙、东方的乌桓趁机三面出击，匈奴又损失了数万人，马数万匹，牛羊等牲畜不计其数。地节二年（前68），匈奴又发生特大饥荒，人口牲畜损失十分之六。就在内外交困的窘境之中，壶衍鞮单于去世，其弟虚闾权渠单于继位，苦苦支撑着困难重重的局面，暂时无力侵扰汉朝边境。而汉廷因为形势已经缓和，“于是汉罢外城，以休百姓。”
神爵二年（前60），虚闾权渠单于率十余万骑临近汉朝边塞狩猎，“欲入寇边”。宣帝得知消息后，遣后将军赵充国率四万余骑屯守沿边诸郡，严加防备。单于见状不敢入侵，准备遣使者赴汉议和。使者尚未出发，单于突然病死，郝宿王刑未央使人召集各地诸王前来商议单于继承问题。诸王尚未到达之时，颛渠阏氏与其弟左大且渠都隆奇发动政变，拥立壶衍鞮之弟右贤王屠耆堂为握衍朐鞮单于。
性情暴虐的握衍朐鞮单于一朝大权在手，立刻大开杀戒，虚闾鞮单于时当权大臣刑未央等都被屠杀，子弟近亲都被免职，而代之以自己子弟，重用拥立有功的都隆奇等人。壶衍鞮单于之子稽侯珊见继位无望，逃归匈奴左地其岳父乌禅贤处避难；其兄呼屠吾斯隐身于民间，以躲避杀身之祸。辖管西域的日逐王先贤掸原先就与握衍朐鞮有私怨，遂率数万骑降汉，匈奴在西域的势力从此被迫退出西域。握衍朐鞮任命其堂兄薄胥堂为日逐王，诛杀先贤掸二弟作为报复。握衍朐鞮的残暴统治，致使匈奴内部更加动荡不安。神爵四年（前58）夏，乌桓出兵攻击匈奴东边的姑夕王，掳掠了大批百姓、牲畜，握衍朐鞮大怒，姑夕王恐怕被杀，遂与乌禅贤及左地贵人拥立稽侯珊为呼韩邪单于，随即发兵攻打单于庭（今蒙古乌兰巴托），握衍朐鞮单于兵败自杀，其部众都归附呼韩邪。
同年秋天，呼韩邪单于复归单于庭，立即着手恢复统治秩序，命左地贵人罢兵各归辖地，从民间寻回其兄呼屠吾斯，立为左谷蠡王。然而，呼韩邪在单于的宝座上尚未坐稳，都隆奇与右贤王又拥立薄胥堂为屠耆单于，从匈奴右地发数万兵袭击单于庭，呼韩邪兵败，逃归左地。屠耆单于重占单于庭后，命长子都涂吾西为右谷蠡王、少子姑瞀楼为左谷蠡王，镇守单于庭，自己则率兵返回匈奴右地。
屠耆单于的统治也是短命的，一场规模更大的内讧又降临到他的头上。第二年（即五凤元年，前57年）秋天，屠耆命令原日逐王先贤掸兄左奥鞬与乌藉都尉各率二万骑驻扎在东方，以防备呼韩邪单于。此时，西方呼揭王与唯犁当户共同诬陷右贤王欲自立为乌藉单于。屠耆盛怒之下，将右贤王父子一同杀掉，后来知道右贤王蒙冤而死，又诛杀唯犁当户。呼揭王得知消息后，大为恐惧，于是举兵反叛，自立为呼揭单于，右奥鞬王也不甘寂寞，自立为车犁单于，乌藉都尉亦自立为乌藉单于，加上原有的屠耆、呼韩邪二位单于，一共出现五位单于。五单于争立，将匈奴自握衍朐鞬单于当权以后出现的内讧局面推到了高潮，致使匈奴统治阶层内部及各部落之间的争斗愈加激烈。
匈奴五单于争立的消息传到汉廷之后，许多大臣都主张趁匈奴内乱之机，发兵攻击，一举消灭匈奴，彻底解决边患问题。宣帝犹豫不决，征询御史大夫萧望之的意见。萧望之坚决反对出兵，曰：
前单于慕化乡善称弟，遣使请求和亲，海内欣然，夷狄莫不闻。未终奉约，不幸为贼臣所杀，今而伐之，是乘乱而幸灾也，彼必奔走远遁。不以义动兵，恐劳而无功。宜遣使者吊问，辅其微弱，救其灾患，四夷闻之，咸贵中国之仁义。如遂蒙恩得复其位，必称臣服从，此德之盛也。
宣帝采纳了萧望之的建议，拒绝出兵征伐，从而避免了一场可能重新爆发的汉匈战争。
就在汉廷群臣在庙堂之上争论是否出兵之时，匈奴五单于正在战场上厮杀得难解难分。屠耆亲自率兵攻打车犁，命令都隆奇统兵攻打乌藉。二路大军进展都很顺利，车犁、乌藉二单于兵败，逃往西北，与呼揭合兵后还有四万多人。为了与屠耆对抗，乌藉、呼揭自动除去单于之号，共同辅佐车犁单于。屠耆闻知这一消息，命令左大将、都尉率四万骑屯守东方，防备呼韩邪袭击；自己率领四万骑向西北出击，攻打车犁。车犁再次兵败，继续向西北方向逃走。
匈奴西北方面的战争方告一个段落，战火又在东方熊熊燃起。五凤二年（前56），呼韩邪单于趁屠耆远征车犁未归的时机，派遣其弟右谷蠡王偷袭屠耆在东方的屯兵，杀掠一万多人。屠耆得知后，立刻率领六万多骑星夜东归，企图一举歼灭呼韩邪。屠耆并不知道呼韩邪早有防备，部署了四万多精锐的骑兵严阵以待。屠耆率领大军日夜奔驰近一千多里后，突然遭到呼韩邪大军的猛烈攻击。尽管屠耆在兵力占有优势，但经过与车犁多次恶战及长途奔波之后，士卒早已疲惫不堪；而呼韩邪却是以逸待劳，稳操胜券。一场激烈的厮杀之后，屠耆一败涂地，自杀而死。车犁闻知呼韩邪战胜屠耆，除去单于之号，率部东归，归降呼韩邪。至此，匈奴五单于争立的局面宣告结束，呼韩邪再次统一匈奴。
呼韩邪虽然取得胜利，但处境仍是极其艰难。经过五单于争立的混战之后，匈奴数万人丧生，牲畜损失十之七八，人民饥饿，为了争夺取食物而相互残杀。呼韩邪的部下左大将乌厉屈与其父乌厉温敦见匈奴大乱，遂率领数万部众投降汉朝，都被封为列侯。等到呼韩邪再次重归单于庭时，残余的部众仅有数万人，其势力衰弱到了极点。然而，就是这样窘迫的局面也没容许呼韩邪维持多久。在单于庭西边，屠耆单于的堂弟休旬王自立为闰振单于。然而更使呼韩邪没有想到的，在单于庭东边，曾被他一手扶持登上左谷蠡王王位，后又晋升为左贤王的兄长呼屠吾斯竟然也同室操戈，自立为郅支骨都侯单于。继五单于争立之后，匈奴又出现三单于鼎立的形势。
五凤四年（前54），匈奴三单于鼎立短暂平衡的局面被打破，兼并战争再次在大漠之上爆发。闰振率先发兵东攻郅支，不料兵败被杀。随后，郅支率领得胜之师进攻单于庭，呼韩邪兵败，被迫再次放弃单于庭南撤。郅支占据单于庭后，与撤到漠南地区的呼韩邪遥相对峙，匈奴又分裂为南北二部。
呼韩邪单于在短短的两年之中两次被逐出单于庭，部众牲畜损失殆尽，处境愈加困难，何况北有郅支，南有汉朝，不论受哪一方的攻击，都足以使他遭受灭顶之灾。此时的形势非常清楚：呼韩邪如果向郅支投降，无疑是自寻死路；若是主动称臣归附汉朝，不仅可以免除来自南方的威胁，得以集中力量对付郅支，而且还能得到汉朝中央政府的支持，平定郅支，挽回败局，统一大漠。属下左伊秩訾王也劝呼韩邪称臣归附，遣子入侍，从汉求助，以定匈奴。
但是，匈奴自冒顿单于统一大漠以来，至此时已经在塞北称雄一百五十多年。历代单于都自誉为“天之骄子”，号称“百蛮之长”，与汉天子分庭抗礼，以兄弟相称。虽然在汉初六十多年间，匈奴曾经与汉和亲，然而一直都是汉朝遣公主出塞，每年奉送大量财物，而匈奴连不侵掳汉朝边境的盟约都没有能够严格履行。即使是在武帝时期连续遭受巨大打击，势力大衰之后，虽然匈奴几位单于均表示出愿意重新与汉朝和好的意图，然而都坚持在“故约”的基础之上恢复和亲，决不肯臣服于汉。呼韩邪单于此时若不是到了山穷水尽的地步，也不可能违背匈奴祖制与习俗，以藩臣自居，接受汉朝的命令。呼韩邪深知此举关系重大，故而召集群臣与氏族贵族商议，立刻引发了一场激烈的争论。许多反对附汉的大臣认为：
匈奴之俗，本上气力而下服役，以马上战斗为国，故有威名于百蛮。战死，壮士所有也。今兄弟争国，不在兄则在弟，虽死犹有威名，子孙常长诸国。汉虽强，犹不能兼并匈奴，奈何乱先古之制，臣事于汉，卑辱先单于，为诸国所笑！虽如是而安，何以复长百蛮！
以左伊訾王为首的赞成附汉的大臣则认为：
强弱有时，今汉方盛，乌孙城郭诸国皆为臣妾。自且鞮侯单于以来，匈奴日削，不能取复，虽屈强于此，未尝一日安也。今事汉则安存，不事则危亡，计何以过此！
最终呼韩邪采纳了左伊訾王的建议，率领部众南下接近汉边塞，于甘露元年（前53）春遣其子右贤王铢娄渠堂为侍子入汉，同年冬又遣其弟左贤王朝汉。一年之内两次遣地位仅次于单于的权贵人物入汉，表达了呼韩邪迫切要求附汉的迫切愿望。
对于呼韩邪单于主动附汉的诚挚请求，宣帝表示欢迎。呼韩邪于是率部众于甘露二年冬抵达五原郡塞外，表示要奉族中珍宝，准备在明年春正月亲自入汉，朝见汉天子。从此，汉匈关系的发展又进入了一个以和亲取代战争的新时期。
