此时的元朝,官府横征暴敛,苛捐杂税名目繁多,全国税额比元初增加了二十多倍。腐朽残暴的统治使百姓本已凄惨不堪的生活更加雪上加霜,社会底层的积怨日益加深。至正十一年(1351)五月,饱受摧残的广大农民终于拿起长枪和锄头,纷纷揭竿起义,队伍迅速扩大到几十万人。因他们每人头裹红色布巾,史称“红巾军”。红巾军支系甚多,虽遍布大江南北,却是各自为战,力量较大的有刘福通、彭莹玉、方国珍、张士诚、徐寿辉等几支队伍。
身居清静之门的朱元璋,耳边不断传来战事,心情难以平静。至正十二年(1352),朱元璋幼时的伙伴来信邀请他加入盘踞在濠州城的红巾军郭子兴部,从此,朱元璋开始了他的戎马生涯。这一年,朱元璋25岁。
朱元璋胆大机敏,打起仗来总是奋不顾身,争先冲杀。加之他又识得一些文字,就格外受郭子兴的器重。不久,郭子兴就将朱元璋由一名普通士卒提升为亲兵九夫长,并将养女马氏许配给他(也就是后来历史上赫赫有名的马皇后)。如此一来朱元璋就成了统帅郭子兴的女婿,身价顿时飙涨,士卒们也开始另眼看待他。就在这一时期,他给自己取了一个官名叫元璋,字国瑞。
至正十三年(1353)春天,朱元璋奉郭子兴之命,回到家乡竖起红巾军大旗,募集兵马。小时候的伙伴汤和、周德兴及其他乡邻听说朱元璋要来招兵,都纷纷赶来投奔,短短数日内朱元璋就聚起了近千人的队伍。郭子兴将这支队伍交给朱元璋带领,并提升他为镇抚。朱元璋从家乡招募的这些人后来跟随他冲锋陷阵、出生入死,一直是朱元璋队伍中的骨干力量。其中的徐达等24人亦文亦武,作为朱元璋的左膀右臂,随他征战多年,立下了汗马功劳,成为后来大明王朝的开国元勋。
有了自己队伍的朱元璋开始尝试独立发展。经过一番精心整备之后,他率领徐达等人挥军南下,开始开创属于自己的宏图大业。首役驴牌寨,朱元璋军佯装成后方运粮的队伍,智破拥有3 000守军的地主武装;再役奇袭横涧山,收降兵两万,兵力大增;进而又攻占了定远,开始勤民练兵,从此威声远扬、四方归附。在此期间,冯国用、冯国胜、李善长等一批富有智谋的儒子也慕名而来,屡屡为朱元璋献上夺取天下的方略,这更加坚定了朱元璋横扫群雄、统一全国的信心。
至正十五年(1355),朱元璋攻下和州后,郭子兴称滁阳王,并命朱元璋总制诸将。同年三月,郭子兴病逝,刘福通建立的宋政权任命朱元璋为这支红巾军的副元帅。不久,其他两位副帅先后战死,朱元璋又被提升为大元帅。至此,这支由郭子兴亲手缔造的红巾军全部归由朱元璋指挥了。
至正十六年(1356),兵强马壮的朱元璋统领水陆两军进攻金陵。在城外的一场激战中,元军大败,朱元璋收元朝降兵达3万多人。降兵收容后不知会遭到如何处置,个个惊恐异常。朱元璋在降兵中挑选了500名骁勇健壮之人,带到自己的营房,夜里让他们环榻而寝。朱元璋独自脱甲而睡直至天明。500名降兵非常感激朱元璋的信任。几天之后,朱元璋用这500名降兵作为先锋,攻打金陵城。降兵们感恩图报,冲锋陷阵,英勇杀敌,人人争立战功。其他三万余名降兵看到朱元璋果真以诚相待,纷纷争先效仿。从此朱元璋的队伍所向披靡,先后攻克了镇江、常州、江阴、常熟、徽州、扬州等地。至正十九年(1359),建立了宋政权的小明王韩林儿(红巾军名义上的领袖),任命他为江南等处行中书省的左丞相。经过七年鏖战,朱元璋从一个求生而讨食的草莽和尚,变成拥军数十万、称雄一方的霸主。但朱元璋的志向还不止于此,他早已决心一统江山,并为此做了充分的准备。朱元璋按照儒士朱升“高筑墙、广积粮、缓称王”的策略,抓紧军事训练,提高义军将士的作战能力,同时兴修水利、开荒种田,数年时间里卧薪尝胆,暗暗积蓄力量。