早在唐代武宗灭佛时，日本和中国已经脱离外交关系。忽必烈即位后，征服了高丽，但日本仍不与蒙古通好。忽必烈自然不能容忍这种情况存在。
从至元三年（1266年）起，忽必烈连续五次遣使往日本，要求日本臣服。在致日本的国书中，忽必烈以委婉的语气表达了如果日本拒绝投降元朝，元朝将用兵日本的意图。元朝信使去日本需要借道高丽，并在高丽籍导诏使的陪同下前往日本。第一次元朝使节因为高丽的阻挠没有到达日本就返回中国。高丽人劝阻元朝使者前往日本的真正意图在于，他们不愿因为元朝与日本之间的战争使自己遭殃。忽必烈对此非常不满，他当即写了一封措辞激烈的信谴责高丽国王。在忽必烈的压力下，至元五年（1268年），高丽国王对忽必烈派出的第二批使节给予了充分的合作和帮助。蒙古使节到达日本大宰府后，传达了忽必烈要求日本“派遣纳贡使节”的指示。
当时日本执政者镰仓幕府当即拒绝了元朝的要求，并令使者回国。蒙古使节可能是不想无功而返，也可能是怕不好交差，于回途中掳走两个日本人。忽必烈此时正与南宋紧张交战，他不想当即与日本翻脸，于是释放了两个日本人，并让他们带话回去：“你们国家来朝觐中国，是礼尚往来。现在我希望你们国家前来朝觐，不是逼你们，只是希望名垂千古罢了。”与前几次一样，这次依然没有任何回音。后来忽必烈又三次遣使前往日本，并威胁如不从就要用兵，但均被当时十八岁的日本执政者北条时宗（1251—1284年）坚决拒绝。这在当时的日本幕府中引起了轩然大波，绝大多数日本官员都畏惧蒙古军队，他们都认为天皇是引火烧身。忽必烈终于抑制不住一再被拒绝的愤怒与耻辱，他不顾蒙古与南宋激战正酣，下令准备攻打日本。日本军队也在北条时宗的命令下严阵以待。
至元十一年（1274年）八月，忽必烈任命忻都为征东都元帅、洪茶丘为右副帅、刘复亨为左副帅，统帅蒙汉军两万人、高丽军五千六百人，加上高丽水手六千七百人，共三万两千余人，东征日本。第一次元日战争爆发，日本史书称之为“文永之役”。
十月三日，元军从高丽合浦（今镇海湾马山浦附近）出发，三日后成功登陆对马岛，全歼岛上守军。十四日傍晚，元军四百余人登陆壹岐岛，与百余个守岛日军激战。日军战败，退守城内。次日城破，守岛将领平经高自杀。元军准备到博多湾登陆，在逼近肥前沿海岛屿时，遭到肥前守护松浦一族（松浦党）的英勇抗击，松浦党死伤惨重。十九日，元军成功登陆博多湾，但由于地形不利于大部队展开，距太宰府也有一日行程，所以当晚元军撤回船上，准备次日进攻太宰府。
二十日晨，元军分两路在博多湾登陆。西路军在百道原登陆，与日军交火。日军的作战方式明显比元军落后，元军占绝对优势。此时，元军东路军在博多湾东部的箱崎方向成功登陆，击败守军，从背后突袭与西路元军作战的日军。日本武士腹背受敌，死伤惨重，向太宰府水城方向撤退。元军乘胜追击，但却由于副帅刘复亨在追击中中箭受伤，攻势减弱，而且天色已晚，元军便停止了进攻。
当晚，元军召开军事会议。会上，只有高丽将领金方庆认为当时的形势对元军有利，主张坚持苦战，攻取太宰府，以待援军。其余将领皆认为形势不利，并且高估了日军数量，而且国内没有派遣援军，主张退往公海。于是忻都下令撤退，但很不幸，撤退当晚遭遇到了风暴。据史料记载，在这次征战中，元军损失兵力一万三千余人，其中绝大多数不是战死，而是死于这场风暴。
失败的消息让忽必烈感到震惊，他无法容忍这个耻辱，但苦于当时与南宋交战正酣，无法分兵日本。因此，他希望以口头威胁征服日本。
1275年，忽必烈再向日本派出使者，要求日本天皇和北条时宗向蒙古称臣。日本人的反应是处死了不幸的使节，并积极备战。他们的主要防御方式是沿着博多湾竖起一道石墙。这项工程需要耗时五年才能完成，但它却能在未完成前，面对元军的随时进攻提供有效的保护。另一方面，修筑这面墙垣会迫使元军寻找其他沿海登陆地点。
忽必烈为日本人提供了足够的时间来完成这项防御工事。在第一次蒙古入侵七年以后，忽必烈才组织了第二次远征日本的战役。忽必烈当然并非有意给日本人七年时间做准备。一方面是由于他忙于征服南宋的战争而无暇兼顾。同时，高丽人作为征日战争的重要依靠力量，也需要时间从1274年的那次远征中恢复元气。那次战争严重破坏了高丽经济。蒙古人不仅强征了大批粮食，消耗了大量的当地居民的物资，而且征召了大批成年高丽男性为这次远征服役，只留下很少壮劳力耕田。因而，造成了当地粮食短缺现象，以至于忽必烈需要定期向高丽供应食物来纾困。
1279年，南宋最后一位皇帝蹈海淹死，忽必烈终于腾出手来，把注意力放在征服日本上。当年，忽必烈最后一次派遣使节去劝说日本人改变态度。然而，北条时宗声称这批使者是由间谍组成的，把他们全部砍头。为了报复，忽必烈发动了一场大规模的远征。为了保证成功，忽必烈做好了详细的入侵方案，远征军的统帅构成也仔细地进行了平衡，包括一个蒙古人、一个汉人和一个高丽人。海军统帅由高丽人洪茶丘担任，因为高丽国王坚持要由高丽人指挥海军中的本国水手。远征军汉军指挥官由刚刚投降蒙古的南宋将领范文虎担任，蒙古军指挥官仍是忻都。元军有十几万大军，高丽则组织了一万人的军队和一万五千名水手以及九百艘船只，并提供粮食供应。出于对高丽积极协助的感激，忽必烈特别指示元军在穿越高丽国土时不得扰民。第二年，忽必烈又向远征军补充了大量给养，包括军饷、盔甲和弓箭等。
1281年，第二次远征正式拉开大幕。按照元军统帅部的计划，四万名士兵从中国北部乘高丽船只开往壹岐岛，与从福建泉州开往那里的十万蒙古大军会合，联合攻击日本其他地区。然而，这次远征从一开始就出现了偏差。先是各个方面的将领意见不合，争论不休。继而是从南部乘坐中国船只出发的主力部队延误了战机。从北方先期到达的军队，在高丽统帅的指挥下于六月十日攻占了壹歧岛。在久候主力不到的情况下，这支部队只好在两个星期之后独自继续向九州本岛进发。他们在宗像附近登陆，此处距日本人辛苦修建的主要防御工事的北边不远。此时，南部的中国军队终于完成了准备工作，并且在得知他们的盟军已经登陆以后，决定在九州与他们会师。他们在九州南部登陆，打算向北进攻，与其他元军会合。以如此强大的军事力量，看来元军的胜利显然是唾手可得的。
然而事实并非如此。日本军人凭借用墙垣构成的防线，成功地阻止了南、北两路蒙古军队。汉、蒙、高丽统帅间的矛盾也削弱了远征军的力量，再加上占远征军绝大多数的汉人军队，士气低落，根本不愿投入到这场艰苦的战斗中去。结果，这两支军队打了将近两个月，不分胜负。
随后，突如其来的自然灾害让忽必烈发动的这次远征以惨败告终。八月十五日和十六日，一场巨大的台风袭击了九州沿岸。蒙古军试图把船开往公海躲避危险，但是失败了。这次台风让四万名北方战士损失了三分之一，十万名江南军损失一大半，靠近海岸的士兵或被日本人屠杀，或在企图借助留在岸边的小船逃跑时被淹死。
蒙古人的失败让自我膨胀的日本种族主义情绪一度甚嚣尘上。日本人认为这次台风是从神那里刮来的保护日本的神风，是来保护他们的土地的。他们认为，神绝不会允许敌人征服和占领他们的疆土。
第二次失败并没有让忽必烈汲取教训。相反，他被这奇耻大辱激怒了，并顽固地坚持再次远征日本。他下令南方商人和东北的女真人为这次战役建造战舰，要求高丽人为这次进攻提供大量大米。但是，这次他遇到了强烈的反对。1283年，中国南方的商人抗议为这次远征必须建造五百艘战船的沉重负担。1285年和1286年初，忽必烈收到了他的幕僚的几个报告，都是劝阻他再次进攻日本的。1286年，面对巨大的反对声浪，他表示让步，计划中的第三次战役被迫中止了。至此，蒙古与日本的军事关系以蒙古的败北而结束。
这两次远征的失败对忽必烈的政权乃至元政权造成了灾难性的损失。然而，所有的资料都显示，忽必烈派遣特别远征军的目的仅仅是为了惩罚曾经伤害过蒙古使节的外国人。而这来自他的不安全感。首先，他是通过不合法手段登上汗位的，他企图利用外国统治者的臣服向自己国内臣民炫耀自己的权威。其次，作为中国皇帝和众汗之汗，他遇到了持续不断的压力，使得他必须通过扩张帝国版图来证明自己治理国家的能力。最后，通过征服战争获得经济利益无疑也是他的动机之一。然而，13世纪这两次失败的远征非但没有增加忽必烈作为众汗之汗的荣光，反而给蒙古人和忽必烈本人带来了毁灭性的打击。它打破了蒙古人在东亚战无不胜的神话，这让维持他们政权的一个重要基础，即让对手感到恐怖的震慑力被动摇了。这几次远征也对元朝的经济造成了巨大的破坏，以至于忽必烈不得不起用阿合马和卢世荣等遭到汉人鄙视的财政管理官员。至此，忽必烈的声望和财政都遭到毁灭性的破坏，同时，元朝本就不稳定的统治也变得更加风雨飘摇。
