当时，中国北方的游牧民族匈奴强盛起来，时常南下侵扰汉朝的边境，如何防御匈奴，就成为西汉的重要国策。公元前138年，从审问匈奴降人的口供中，汉武帝获悉：在今甘肃敦煌一带原来居住着一个大月氏部落，这一部落多次遭受匈奴的攻击，匈奴杀月氏王，以其头为饮器，大月氏被迫迁到西域，人民对匈奴贵族恨之入骨。为反击匈奴，汉武帝便寻思联络大月氏，夹击匈奴。但联络大月氏谈何容易，这不仅由于其间路途遥远，更因为西行必须经过匈奴的控制区。任务极其艰巨，没有人敢去。汉武帝不得已下令公开招募使者。陕西汉中人张骞大胆应募，被录用。
公元前138年，张骞率领100多个随从人员，由姓堂邑氏的胡人奴仆甘父充当他的向导。他们一行从陇西出发，带大量礼物出使大月氏。不幸的是，出发不久，他们就被匈奴骑兵掠去了。他们被带到匈奴单于的面前，单于生气地说：“大月氏在我们西北边，汉朝廷为什么要派人出使呢？我想派人到越国去，汉朝廷肯答应我吗？”于是，把张骞一行全部扣留起来。为了消磨他的意志，单于还赐给张骞一个胡妻，并且有了孩子。然而张骞并没有因此而忘记自己的重大使命，他天天遥望故土，怀念父老，寻找机会，准备逃走。
10年后的一天，机会终于来了，由于匈奴人疏忽，张骞率领部属逃离了虎口。他们一路西行，走过黄沙铺天、酷热难熬的沙漠，翻越冰封雪盖、突兀高耸的葱岭，并时时与饥饿干渴斗争。他们首先到达大宛，然后由大宛出发，通过康居，到了大月氏。
大月氏为了避开强敌的威胁，这时已从中国的西北举国西迁，移居阿姆河和锡尔河一带，并征服了大夏国。大月氏境内土地肥沃，很少遭到外来入侵，百姓安居乐业，远非昔比。因此当张骞说明来意后，大月氏王表示无意东还，而且已经没有向匈奴报仇的想法了。张骞在大月氏逗留了一年多，得不到结果，只好起程回国。然而张骞的西行并非一无所获，在西域他考察了大月氏、大夏的社会经济、山川地理和风土人情，并了解到许多周边国家的情况。
回国途中，张骞又一次被匈奴拘禁，过了一年才同甘父和胡妻一起逃回长安，向汉武帝复命。张骞向汉武帝详细叙述了西方的情况，其中还说到离蜀郡不远的身毒国，身毒国以西还有乌孙、安息、奄蔡、条支等国。汉武帝从张骞的汇报中，得知西方竟有这么多国家，大开了眼界。
张骞的出使虽然未能达到联合大月氏的预期目的，但却实地勘察了东西交通要道，开辟了举世闻名的“丝绸之路”，从而大大开拓了人们的地理视野，将一个新的天地呈现在古人面前。根据张骞的出使报告整理而成的《史记·大宛传》、《汉书·西域传》，是世界上对这些国家情况的最早、最详实的记载，成为后人进行研究的最珍贵资料。鉴于这一功绩，汉武帝封张骞为太中大夫，后晋升为博望侯。
消灭了匈奴主力以后，汉武帝多次召见张骞，问及大夏等国的情况。汉武帝从张骞的报告中了解到西域情况，特别是从乌孙到伊犁河一带诸国曾与匈奴发生过矛盾的情况，便确定了在反击匈奴作战中，争取乌孙及西域诸国，以断匈奴右臂的正确战略。汉武帝非常赞成这个主张，拜张骞为中郎将，再次命他出使西域，去联合乌孙。汉武帝命张骞在通西域过程中，要致力于争取加强与各国各族的友好往来，认真执行团结诸民族的政策。
公元前119年，张骞率领300人组成的使团，每人配备了好马两匹，并带有上万头牛羊和价值数千万的金币、丝帛再次出使西域。这时河西地区已为西汉所控制，张骞使团往来就很方便了。他们从陇西向西进发，经酒泉、玉门关、焉耆、龟兹到达巴尔喀什湖以南一带的乌孙。张骞很快与乌孙建立了关系，张骞见了乌孙王，转达了汉武帝的旨意。乌孙王觉得汉朝太远，不敢断然与匈奴为敌，又加以国内时有政治冲突，因此未能答应张骞的要求。为了答谢汉朝使者，乌孙国王特派遣数十名使臣带了礼物，随同张骞返回汉朝，进行回访。
在乌孙期间，张骞还分派十几名副使，带着礼物，分别出使大宛、康居、安息、大月氏和大夏等国。所到之处，汉使受到热烈欢迎。只有楼兰、车师两国继续与匈奴勾结。汉武帝命赵破奴统领骑兵击破了这两个小国。这样，西域各国都摆脱了匈奴而接受西汉王朝的管理了。此后，西汉政府便设官常驻，命军队屯田，从此各族人民与内地的交往就愈来愈密切了。西汉政府还派使节到过安息、身毒、奄蔡、条支和犁轩，和它们都建立了贸易关系。
公元前115年，张骞返回汉朝，汉武帝非常高兴，提拔他为大行令，让他负责外国事务。过了一年，张骞因辛劳过度而去世。
张骞两次出使西域，沟通了中西经济文化交流的渠道，从此，西域国家和汉帝国开始了政府间的往来；同时，中国的丝绸等物络绎不绝地运往西方，西方的土特产和艺人也接连不断地来到中国。正是在这种情况下，到公元前60年，西汉政府在西域设置了都护府，正式对西域各族进行管理。西通西域，开辟了直到中西亚和欧非少数地区的交通，增进了各民族之间的团结，沟通了同西方各国的友好往来。
如果说，张骞为西汉王朝打通西域立了汗马功劳的话，那么，苏武出使不辱，则更是为西汉中兴和后人立下了不朽丰碑。
汉武帝元狩四年（公元前119），在北征之战中，大将军卫青和骠骑将军霍去病击败匈奴以后，匈奴的势力逐渐衰落，但还具有一定战斗力量。在此以后的一段时间里，双方一面持续战斗，一面相互遣使往来，表面上为寻求友好，实则窥探对方虚实，因此，扣留对方和杀戮来使之事，时有发生。匈奴曾拘留汉使郭吉、路充国等10余名。太初四年（公元前101年），匈奴呴犂湖单于死，其弟且鞮（驹低）侯立为单于，汉武帝欲借征大宛之威胁迫匈奴，乃下诏曰：“高皇帝遗朕平城之忧，高后时，单于书绝悖逆。昔齐襄公复九世之仇（春秋时，齐襄公之九世祖为纪侯所谮而烹杀于周，鲁庄公四年，齐襄公灭纪），《春秋》大（敬）之。”且鞮侯单于初立，恐汉袭之，乃曰：“我儿子，安敢望（怨望之意）汉天子，汉天子，我丈人行（辈也）也。”因而派使臣去长安修好，并将以前扣留在匈奴的路充国等十几名西汉使者释放回国。为回报匈奴，答其善意，天汉元年（公元前100年），汉武帝派中郎将苏武作为使臣，携带厚礼，送还匈奴被拘留在汉朝的使者。
苏武（公元前？-前60），字子卿，杜陵（今陕西西安市南）人。为人廉洁正直，而且有胆量，有骨气。苏武奉命后，乃偕同副使张胜、随员常惠等带领一百多人从长安出发，一路晓行夜宿，历尽艰苦，经过长途跋涉，到达匈奴单于王廷。苏武献上汉天子所赐厚礼，匈奴单于非但未表谢意，反而露出骄矜之色，使苏武等汉使大失所望。
苏武办完使事，准备启程回国，正在此时，不料发生了一件意外的事情：在苏武出使匈奴期间，匈奴贵族缑王与降将卫律部下虞常等70余人，阴谋劫掠单于母阏氏归汉。虞常在汉时素与张胜相知，暗中将此事告知了张胜，并准备杀死卫律，为汉朝立功，张胜亦表赞同。其后月余，一日，单于外出射猎，虞常与70余人欲发，在举事前夕，其中一人出首告密，单于子弟发兵进攻虞常等人，缑王等人皆战死，虞常被执获。单于射猎归来，得知此事，勃然大怒，乃使卫律查办此事。张胜恐虞常供出自己，只得将前情告知苏武。苏武闻之，惊曰：
“事如此，此必及我。见犯乃死（被侵犯而死），重负国。”欲引刀自裁，张胜和常惠连忙上前制止。虞常在卫律的严刑拷问下，果然供出了与张胜密谋情况。单于在盛怒之下，召集匈奴贵族商议，欲尽诛杀汉朝使者。单于身边一名大臣对此提出异议，认为因谋杀卫律而杀汉使，未免处罚太重，如果谋杀单于，又当治以何罪？不如趁此机会胁迫汉使归降匈奴。单于命卫律召苏武前来听审。苏武对张胜、常惠说：“屈节辱命，虽生，何面目以归汉！”当即拔出佩刀自刺，卫律见状大惊，急上前抱持，并立即命人召医急救。苏武气绝，半日复苏。常惠等痛哭不已，将苏武抬回营帐。张胜被匈奴拘禁。且鞮侯单于得知审讯情况，对于苏武忠于汉朝的气节，十分敬重，朝夕遣人问候苏武病状，并暗中晓谕卫律设法使苏武归降。
当苏武伤势渐愈时，单于使人通知苏武、张胜同去观审虞常，欲因此迫使苏武归降。卫律当场将虞常斩首，然后威胁说：“汉使张胜谋杀单于近臣（卫律自称），当死，单于募降者赦罪！”举剑向张胜砍来，张胜慌忙跪地请降。卫律又对苏武说：“副有罪，当相坐（连带治罪）。”苏武曰：“本无谋，又非亲属，何谓相坐！”卫律又举剑向苏武作砍杀状，苏武神色自若，安然不动。卫律急忙收剑入鞘，无耻地向苏武夸耀其投降匈奴后所获的荣华富贵，妄图以此来动摇苏武的忠节，苏武置之不理。卫律又改颜施加压力说：“君因我降，与君为兄弟；今不听吾计，后虽欲复见我，尚可得乎？”苏武听后，大怒骂道：“汝为人臣子，不顾恩义，叛主背亲，为降虏于蛮夷（对匈奴的贬称），何以汝为见（清人王念孙以为此句当作“何以见汝为”，意为见你干什么）！且单于信汝，使决人死生，不平心持正，反欲斗两主（使汉天子与匈奴单于互相争斗），观祸败！……若知我不降明（言汝明白地知道我不会投降），欲令两国相攻，匈奴之祸从我始矣。”苏武义正词严的一番答话，使卫律明白苏武终不可屈致，乃如实地向匈奴单于作了报告。单于听说苏武如此忠义，心中十分敬重，益欲使其归降。乃命人将苏武囚禁于大窖中，不予饮食，以为如此可以使苏武归降。适值天降大雪，苏武在冻饿之下，只好以雪团和着毡毛一起吞食，竟数日不死。匈奴单于惊奇，以为有神明暗助苏武。于是乃将苏武迁至白雪皑皑、杳无人烟的北海（匈奴北界，即今贝加尔湖）上，使牧羝羊（公羊）。临行时，单于对苏武说，待公羊产生子羊，苏武才能回国。同时将苏武的属员常惠等人，分别置其他处所，不得与苏武相见。
苏武来到荒凉的沙漠苦海，得不到匈奴供给的粮食，只好掘取野鼠储藏的草籽用以充饥。他每日拄着“汉节”（汉武帝差他出使匈奴的符节）牧羊，不论朝夕从不离手，因此时间一长，节旄（节上的牦牛尾毛）脱落净尽。时光荏苒，春去秋来，苏武已度过五六个寒暑，苏武怀念祖国的心情并未削减。一日，苏武正在牧羊，忽听远处传来马蹄声，苏武正在惊疑间，一个匈奴贵族打扮的官员来到面前，苏武定睛一看，原来是汉朝的骑都尉（骑兵统带官）李陵。李陵，字少卿，汉名将李广之孙。在汉朝时，与苏武俱为侍中，且系好友。苏武出使匈奴之明年，汉武帝即任命他为骑都尉，率兵5000，与匈奴交战，战败投降匈奴。李陵虽知苏武被困在匈奴，却无面目去见故友。过了很久，单于知李陵与苏武相善，乃命令李陵去北海劝苏武归降。
李陵来到北海上，为苏武置酒设乐。叙说朋友交谊后，向苏武说明单于使其前来劝说归顺之事。李陵首先告知苏武家庭的不幸遭遇：老母已死，兄弟皆坐事自杀，苏武妻子年少，闻已改嫁，女弟、儿女10余年来，存亡不可知；接着自叙始降匈奴时忽忽如狂的内疚心情，表示对苏武此时的心境很是理解，然后又联系到汉武帝对大臣的残酷寡恩说：“陛下春秋高，法令无常，大臣无罪夷灭者数十家，安危不可知。”为如此皇帝自苦如此，实不值得，不如归顺匈奴。苏武爽直地向李陵剖明心迹说：“武父子无功德，皆为陛下所成就（提拔之意）位列将，爵通侯，兄弟亲近（近臣之意），常愿肝脑涂地。今得杀身自效，虽蒙斧钺汤镬，诚甘乐之！臣事君，犹子事父也，子为父死无所恨，愿勿复再言！”李陵与苏武盘桓数日，终不能动其心，李陵见其至诚，惭愧地与苏武挥泪告别。李陵使其妻子赠给苏武牛羊数十头，以改善其日常生活。
后元二年（公元前87），李陵又至北海上，将汉武帝去世的消息告知了苏武。苏武听后，南向号哭，悲痛异常。明年，昭帝（武帝之子）即位，是时，匈奴且鞮侯单于早已死去。昭帝始元二年（公元前85），匈奴壶衍鞮单于即位。由于连年战争，社会经济遭到严重破坏，人民渴望和平。同时，匈奴新单于初立，国内乖离，贵族争夺，常恐汉军来袭，乃采纳卫律之谋，与汉朝恢复和亲和正常往来。昭帝始元六年（公元前81），汉与匈奴议和，要求匈奴把苏武、马宏（前使西域为匈奴所获，亦不肯降）等人放还，竟遭到匈奴的拒绝。匈奴诡称苏武已死。后来，汉使又来到匈奴，汉朝被囚禁在匈奴的使者常惠买通守者，得夜见汉使，将苏武的真实情况告诉汉使，并教给汉使营救苏武的计策。
