1928年5月下旬，北洋军节节后退，各国驻华使节已预感北京政府会垮台，而这一次的垮台不像过去17年军阀混战那样，所以纷纷请示本国政府对中国问题的看法。在列强中，日本从“田中奏折”起就决心立即开始侵略中国，因此山东两次出兵，以及济南惨案相继发生，北洋军从山东退至河北后，日方行动亦趋积极，其狠毒面目，日益显露。
1928年5月12日满铁日方代表江藤三等向奉张逼签五路协定，交通部长常荫槐无法应付避往天津，交通部路政司长刘景山临时辞职，表示无言的反对。日方既找不到主管的交通部，乃径向大元帅府“逼宫”，扬言如果不给日本完成吉会路诸权利，则张作霖将来出关时即不准经过南满路。张作霖迫于形势，乃任命交通部航政司长赵镇兼次长再兼代部务，令赵与日方交涉。5月13日赵镇偕同满铁代表深夜到部，将敦图、长大两路包办合同盖用部印。可是赵镇兼代部务是从5月15日生效，而合同盖印是13日，又逢星期天，日方认为无效，迫令将合同日期改为15日。这个合同内容双方均守秘密，其后张作霖出关遇炸，全部文件均在专车中同归于尽，据日方宣称所签的合同包括敦图、长大、延海、洮索四路，只余“吉五”一路留待张作霖返奉后再议。
日方不仅逼签路约，同时还计划收缴关内奉军枪械，逼令奉军回奉。5月18日日本政府发出“通告中国南北政府及欧美列强觉书”一件，略谓如果****波及满蒙，日本即将在该地采取维持治安的有效措施。
5月20日日本参谋本部下令秘密动员，命令内容为：
（一）驻屯满州各部队，主力向奉天移动。（二）由济南撤至大连的外山旅团改赴奉天。（三）驻满洲日军主力集中奉天。（四）派出劲旅向锦州、义州、山海关、朝阳镇担任奉军警戒。（五）维持新民屯之治安。
日本驻东北的关东军认为这是占领东北的开始，极为兴奋，可是这个命令到了5月23日又发生变化，由于美国国务院表示“东三省行政主权属于中国”的严正立场，遂使日本政府为之犹豫，并派田代皖一郎由东京遄赴东北，口头传达日本政府命令，仍保留张作霖地位和力量，相机待变。这一来让关东军激进分子大为失望，也因此断送了张作霖的生命。
日本“觉书”发出后，美国表示反对，中国作战双方的立场也是一致。
5月25日张作霖答复日本觉书，谓断难承认日本觉书所称“适当有效措置”。声明东三省及京、津为中国领土，主权所在，不容漠视。并负保护外侨责任。盼日本鉴于济南惨案，勿再有不合国际惯例措置。同时发表宣言，指日本此举违背华盛顿会议的立场。
5月29日国民政府答复日本觉书，由上海外交交涉员面交日本驻上海总领事，表示对于东三省的治安问题，以及中外人士的安全问题，均为国民政府自有的责任，对于日方所称“采取适当而有效之措置”，声明万难承认。
同日，日本驻华海军宣布禁止中国南、北海军在青岛、烟台、龙口、大沽、秦皇岛领海各20浬内交战。列国海军武官对于日本海军片面的宣布，且未在“列国海军武官会议”上通过，表示反对。
5月30日晨1时张学良、杨宇霆、孙传芳离保定北上，7时抵北京，孙军放弃保定退往琉璃河，张作霖在大元帅府召集军事会议后即下令前线总退却。
5月31日张作霖准备退出北京，与北洋元老王士珍商量临时维持北京的治安办法。********每次有改变时，这位北洋三杰的“龙”王士珍总是被推选出面维持。北京各国公使团会议应变，日使主张由外兵接管北京城门，美使反对，会议无结果而散。
晋军商震把以前扣留的奉军要员于珍释放，派他赴北京谒张作霖商量和平移交北京的办法。
6月1日张作霖以茶会招待外交团话别。据说日本公使芳泽曾秘访张作霖，劝他接受日本的条件，否则对他不利，如能接受则日方保护张氏经大连返沈阳。这次会议时间很长，站在客厅外面的侍从人员曾听到张氏大声说：“我姓张的不会卖国，也不怕死。”
6月2日张作霖以安****大元帅名义发出通电，声明退出北京后，政务交国务院，军事归军团长负责。此后国事听国民公决。王士珍等组成北京治安维持会，使馆区晚间宣布特别戒严。
6月3日晨1时，张作霖离北京顺承王府私邸，1时10分抵前门车站，1时15分专车启行，同行有潘复、莫德惠、刘哲、于国翰等外，尚有日籍顾问町野武马与嵯峨诚也。专车过天津，潘复、町野下车，常荫槐加入，专车共18辆，张作霖座车本在第三辆，车过山海关时加入吴俊升专车，因此张的座车排在第四辆。
在这北方局势天翻地覆，张作霖出关的这一天，卸任总统黎元洪在天津病逝。他的去世不为人所注意，因为北方大局正在大变。
1928年6月4日晨5时30分张作霖专车进入沈阳皇姑屯，南满路与京奉路交叉路桥下，轰然一声巨响，吊桥桥板塌下，刚好压在第三、四、五辆车厢上。吊桥桥板分为三节，支以石柱，柱外包以钢骨水泥厚六尺，所以如果不是特殊的爆炸物，不可能发挥如此巨大的破坏力，同时火车通过桥下，若非用电流计算时间，亦不可能如此准确。
火车被炸后，现场尸骸枕藉，惨不忍睹，吴俊升登时殒命，张作霖重伤，日籍嵯峨顾问则仅足踝微伤。其他车厢均系随行人员，见张老帅出事，乃迅速抢救，将交道口出事地点警戒，不准人接触现场。并用汽车送张作霖返沈阳。张因重伤，于上午10时去世，享年55岁。但这个消息被封锁，外界完全不知。
根据日本投降后所泄露的各种资料，关于张作霖被暗杀经过，确实为日本关东军所策划及组织。
当时关东军的司令官是村冈长太郎中将，关东军的重要将领认为张作霖是日本控制东北的最大障碍，如果不除掉张作霖，则日本在东北的阻力非常之大，所以村冈乃亲自主持暗杀张作霖。最初村冈曾秘密派遣日本驻哈尔滨武官竹下义晴到北京去执行，但被河本大作参谋窥破，认为北京耳目众多，暗杀工作不易掩匿，所以乃改在张作霖回返东北时发动，即由河本担任行动总指挥，阴谋决定日期是在5月31日后，暗杀地点本拟在京奉路巨流河的路桥，后因这一地区中国军警监视甚严，没有从容布置的机会，因此河本才选定皇姑屯南满路的吊桥为下手场所。由神田、富田两大尉负责勘定地点，由工兵队长管野负责装置电流炸弹，由独立守备队长东宫负责发放电流；由荒木五郎率领行动员准备在爆炸后张作霖不死而临时砍杀。此外日本驻北平武官建川美次和田中隆吉负责调查火车组织与张作霖启行时间，同时派出大批暗探在山海关、锦州、新民屯等地布防。
关于事件发生后的掩饰责任，亦有安排。先由浪人安达隆盛觅得中国失业军人刘戴明，再找到售卖吗啡的中国乞丐三名伪冒凶手，于6月3日深夜带往南满路附属地一风吕浴室洗澡换衣，由日兵押到皇姑屯吊桥下用刺刀杀死。三人中有一王姓在洗澡时乘机逃脱，张作霖被炸后，该王姓乞丐即向奉军报告，说出日方所指两具凶手死尸即两华丐尸体，一风吕浴室主人曾往看尸体，亦向沈阳日本宪兵队证实是曾在其浴室洗澡之华丐。
刘戴明原系孟恩远旧部，1919年张作霖将孟驱逐，刘戴明表示此次系为故主复仇，可是实际则为贪得2万日元的酬劳费。事前河本曾付刘定金1000日元，事后则不认帐。安达陆盛把这件失信事件告诉了他在东京的亲戚工藤铁三郎，工藤把这件事告诉当时的铁相小川平吉，小川报告了首相田中和元老西园寺。西园寺深恐刘戴明被张学良逮捕，泄露了这幕丑事，所以亟命小川偿付酬金，并将刘戴明送至大连，助其开设烟馆。
祸首河本自述当时关东军对于解决张作霖后的继任人选有张学良和杨宇霆两派主张。炸车之日河本曾准备了一队士兵集中南满附属地，因事先没有和关东军参谋长斋藤少将联系，所以被斋藤所解散。事变时关东军竟日以电话询问日本驻沈领事馆，希望准其出兵维持铁路附属地以外的秩序，但被森岛领事所拒绝。当天沈阳日人住宅区曾有浪人投弹一连四次，均因中国方面官吏冷静应付而未发生不幸事件。
沈阳军署于4日午起即和在北京的少帅张学良联络，请其火速返沈，而张学良亦已获悉皇姑屯事变，他当时不过28岁，要应付这样一个非常艰难而又复杂的情事，也真是不容易。当时因为不知道事变的真实原因，虽然怀疑是日本人在幕后制造，却还不知下一步行动。日人既然胆敢谋害张作霖，则也不会放过张学良，所以张学良决心遄程返回沈阳，就不得不采取极其秘密的部署。他化装成一个伙夫，搭乘火车由北京赴沈阳，经过南满路检查站时，步行绕过，再换乘汽车直驶沈阳，径入帅府。在他尚未返抵沈阳时，奉方要人对张作霖之死秘不宣布，只发表公报宣布张大元帅重伤，不公布死讯。把张的头部以绷带包扎起来，仅露眼、鼻、口，躺在床上，照样摆了鸦片炉具和水果。日人来访者请其在卧室外遥望，使日人信以为真。
张作霖的遗嘱，仿刘备死后的遗诏，签名则由张学良代签，因少帅能摹仿老帅签名，可以乱真。张作霖的遗嘱云：
“余不幸归途遇险，今病势已笃，殆朝暮间人矣。余自京发从军，早自誓以身报国，今年五十有六，死已非夭，惟是报国之志未遂，不免耿耿尔。今以奉天重任付之学良，望汝善为料理，延聘贤良，修明内政，以慰父老悬悬之望，更望我袍泽同仁，事事以国家人民为重，戮力同心，精诚团结，余身虽死，亦瞑目矣。”
张学良根据这道自己“伪造文书”的命令，就任奉军代理统帅，然后急调嫡系部队星夜返沈。
张学良同时邀请老一辈奉系大将来帅府共商善后。张作相见到他以后又是难过又是高兴，他说：“小六子（张学良的小名）你放心干好了，我们都会支持你。在公的方面如果我们不服从你的命令，你只管拿军法来办我们。可是私底下你还是我的侄儿，如果知道你不好好的干，我会在没有人的时候打你的耳瓜子。”张作相在老一辈奉系中是最有份量的，他这一番话等于决定了张学良的继承权。
6月19日奉天公布张作霖逝世，由张学良继任奉天督办，宣告停止军事，休养生息，万福麟被派为黑龙江督办。
6月24日东三省联合会通电推举张作相为东三省保安司令兼吉林司令，张学良为奉天司令，万福麟为黑龙江司令。
张作相坚不就东三省保安司令，7月4日东三省联合会乃改举张学良，张即日宣布就职。张作霖虽出身绿林，没有读过书，可是深知国家民族大义，他不肯作日本傀儡是他致死的最大原因，因张未能执行所谓“廿一条中有关南满、东蒙古农工业的中日新约”部分。日人虽在北京向袁世凯敲诈成功，但在东北现场，对于张作霖曾经过多年交涉，终未达成所愿。吉敦路虽然修成，而东北本身，亦自修沈海路、四洮路、打虎山路，打通平沈路线（当时叫京奉路），以对付之。至于商租杂居，始终成为悬案。当民国十五六年时期，日本驻奉天总领事吉田茂是著名的日本外交家，某次为中日交涉，曾向张盛气凌人地说道：“你要真不接受的话，日方当另有办法。”张乃反唇相讥地答道：“怎么说！你们有什么好办法，尽管拿出来，难道又要出兵吗？我姓张的等着你的好了！”说完话，就起身送客，吉田弄得很难堪，于是辞职离开沈阳，日方另派林久治郎继任，同时派政友会干事长和鸠山一郎齐名的森恪前往大连，转赴北平，召集会议，面授机宜，由驻华公使芳泽谦吉出面，向张交涉，因为此时张已就“安****大元帅”之职了。
到了战事不利准备退出关外，张作霖仍不肯屈服于日本军阀的威胁利诱，最后关东军只好途穷匕首见了。
关东军谋杀张作霖后，当时的日本首相田中最为失望。田中所进行的外交压迫已经收效，他压迫张作霖签署了铁路协定，而奉军回师关外亦受到日方劝告。田中认为他的分离满蒙策略假以时日必能实现，却不料霹雳一声，张作霖被炸死，这一来田中的整个安排都受到影响，关东军既然杀死了张作霖，等于逼迫整个奉系反日，因此除了强占东北外，已无他路可走。所以田中深感痛心，愤懑之情溢于言表，曾告宇垣一成和冈田启介，欲将关东军首要分子及暗杀的策划人交付军法惩办。日本元老政治家西园寺也预感军人野心分子胡作非为，横行霸道，军纪为之废弛，若不整顿，前途不堪设想，因此也极为赞成。可是参谋本部和陆军部的中级军官则极为反对，他们认为关东军如此做法是为了日本，其本意实可嘉许，何况迫于客观情势，他们的功劳不能明令旌赏，亦当原谅其用心，不予惩罚，坚持勿扬国耻，最多只给以行政处分了事。执政的政友会也怕事情闹大了予反对党以可乘之机，所以亦劝田中首相含糊结案。
这件公案在日本政府中引起了极大的争论，前后拖了一年多，田中有心振作，却屈于少壮军人的恐吓，最后以“张案经过周密的调查，发现关东军并未牵涉在内”的含糊语句结案，并且呈报昭和天皇。昭和对于田中在张案发生时所报告的和一年后的报告完全相反，前者肯定认为关东军主谋，应该把肇事首犯交付军法审判，后者却说关东军没有牵连在内，前后矛盾万分。因此在览读奏章时大为震怒，且竟佛袖离座，予首相极大的难堪，甚至在退席后余怒未息，悻悻然告诉侍从长说此后不愿再见田中，田中受到天皇这样大的斥责，大为羞愤，乃呈请辞职，几个月后竟因此抑郁而死。
关东军暗杀张作霖的举动虽然没有动摇日本分离满蒙的日本国策，可是田中分离满蒙所选定的对象则因为皇姑屯一炸而需要重新安排。当时曾任张作霖顾问的日本陆军少将松井七夫主张扶植杨宇霆，而日本驻奉天特务机关长则主张拥立张学良，而关东军参谋长斋藤恒看上张作相，刺张的主谋凶手河本大作则拟定张景惠。东京方面对张作霖的继任人选没有积极的主张，不过东京方面有一个原则，就是任何人都可以，只要能阻挡南京国民政府的政治权力伸入东北，使东北成为一个特区，为日本势力范围。事实上这一点非常困难，因为在张作霖被关东军谋杀后，东北军民对日本军阀的憎恨更为增加，他们不一定喜欢张作霖，可是却对于日本军阀用此卑劣手段对付张作霖，为之寒心。
1928年6月15日至7月16日这一段期间，关东军参谋长斋藤恒、日本驻北京武官建川美次均分别向日本陆军省报告，认为东北脱离中国本部的时机已经成熟。而日本外务省亚细亚局局长有田亦正草拟“对支方策”，方策分为两部分：一为一般方针，强调以和列强协调为手段，以承认国府为归宿；一为防止满洲赤化为理由，以东三省脱离中国本部为目的。日本外务省有此“方策”，显示外务省态度已在转变，原来日本政府对东三省的措置分为两派，军人主张用武力控制，造成既成事实，促成东三省脱离中国；外交人士则主张采取条约一步一步地控制东三省，最后目的亦是使东三省脱离中国本部，殊途同归，不过一是积极路线，一是消极路线。如今外务省新的“对支方针”也采取条约以外的方法，显见在张作霖被炸后，日本政府的和缓派已有改变。
事实上，无论外交官和军人，均以各种手段向张学良施压力，压力集中在两点上：一为阻止张学良易帜，不许张学良投向南京的国民政府，以破坏中国的统一。二为满蒙铁路权益的伸张。日本田中首相于6月26日两次密电驻沈阳的日本总领事林久治郎，饬其警告张学良勿与南方妥协，又于7月18日重申前饬。林久治郎于6月29日、7月18日两次谒见张学良，7月19日更把田中的意旨面送给张，内容为：
（一）南京国民政府含有共产色彩，且其地位尚未稳定，东北目前犯不着与南京方面发生连系。
（二）如果国民政府以武力进攻东北，日本愿出兵相助。
（三）如果东北财政发生困难，日本正金银行愿予充分接济。
张学良看了田中的三点建议，很冷静地问林久治郎，他说：“我是不是可以把日本不愿中国统一的意见，或东北不能易帜是由于日本的干涉这项事实报告国民政府？”林久治郎见少帅如此质问，为之哑然，避不作答。因为从纯外交上而言，这就是干涉中国内政。张学良第二天拜访关东军的村冈司令官，再把他对林久治郎的话对村冈复述一遍，村冈亦未作答。
当张学良出掌东北军政大权后，阎锡山、李烈钧等均以父执身份用函电或派专人劝告张学良以政治方法达成中国统一。张学良一方面受到日本的压力，又以父仇不共戴天，其内心是亟望投向中央，不过迫于形势，不敢轻举妄动。
1928年六七月间，中国全国均心向统一，除了山东济南和即墨两县因受日军干涉，不准易帜，东北情况特殊，尚未正式表示外，均是一片青天白日旗飘扬，即远在国外之各使领馆以及僻在西陲的新疆均无例外。
张作霖死讯正式公布后，日本政府特派驻法大使林权助为特使，赴沈阳吊丧，并且向张学良游说。林权助和张作霖是好朋友，因此就私人的关系来说，他是以父执的身份来探望张学良的。日本政府曾给林权助一个秘密训令，内容为：
“自日本观点言，在目下情形中，东三省与南方讲求妥协实甚不利。幸张学良已自动不与南方续洽，则东三省当成为中国最进步之省份。此不特中国一省或日本一己之利益，中国全部人民之利益亦即在此。深信张大元帅如尚在世，必愿见此成就。张学良循此路线，亦足以完成其先人之遗志。
万一南军侵入东三省，则日本决尽其牺牲以执行其现时之政策，维持东三省之和平与秩序。”
林权助于8月3日抵沈阳，4日起至12日连续与张学良密谈四次，其中最露骨之一次是8月9日，在坐除张、林两人外，还有张学良的助手王家祯，林权助的助手佐藤少将。双方谈话颇尖锐。
林说：“国民政府内部有纠纷，共产党在幕后操纵，假如东三省与国民政府妥协，日本在东北的权益将受到极大损害。因此，日本政府希望东三省的军政当局采取观望态度，不要和国民政府携手。如果东三省蔑视日本警告，而率行易帜，则日本将采取自由行动，这一点日本政府是有决心的，希望贵总司令能够了解，同时能下决心镇压不良分子，如有需日本之处，日本政府愿全力相助。”
张答：“我是一个中国人，当然以中国人的立场为出发点。我不愿意看到中国分裂，而愿中国走向统一，实行分治合作之政治。贵国之劝告，我当然予以考虑，不过必需以东三省人民的利益和志愿为依归。如果东三省人民公意要求统一，我唯有依照人民公意。贵使提到日本要采取自由行动，我相信基于国际公法上，日本当不至甘冒干涉中国内政的大不韪。我今天深感遗憾的，是日本方面一再以强硬态度对我威胁。”
林说：“事实上日本政府已有决心，在东三省采取自由行动，即使冒干涉中国内政之嫌亦所不避，希望贵总司令速作决定。”
张答：“我的决定不会受日本的压力，而是以东三省民意为定，在任何情况下，我不能违反东三省的民意。”
至是佐藤插嘴说：“现在不是讲是非的时候，田中首相的决定就是是非之抉择。贵总司令如拒绝田中首相的抉择，东三省将生重大事体。”
林说：“我和令尊是好朋友，敝国政府派遣我来吊丧，就是因为我和贵总司令有这种渊源。在私谊上说，我把贵总司令当作自己子侄，有危险我不能不奉告。”
张学良听到林权助倚老卖老的无理言辞，立刻还以颜色，他岸然告诉林说：“我和贵国天皇同岁，阁下知道不知道，对于阁下刚才的话，我所能奉答的就是这些。”
双方不欢而散。
面对日本方面咄咄逼人的架势，张学良感到必须尽快行动，以免夜长梦多。
