潘美出生在一个军人家庭，其父潘璘是后周时期一名普通军官。潘美从小受家庭熏染，酷爱研习历代兵书，有机谋勇略。面对当时的混乱局势，他发感慨说：“大丈夫不以此时立功名，取富贵，碌碌与万物共尽，可羞也。”起初，潘美仅仅是大名府的一个典谒，类似通报传达工作的门童。他对柴荣非常敬佩，所以当柴荣任开封府尹时，潘美即在其帐下任职。柴荣即后周世宗，是中国历史上一位杰出的君主。潘美后来随柴荣参加高平大战，以军功授西上阁门副使，深得当时任殿前都点检的赵匡胤的赏识。
柴荣英年早逝，赵匡胤在陈桥驿(今河南封丘东南陈桥镇)发动兵变，谎称“黄袍加身”，但他心里担心京城不服，出现动乱，即派心腹大将先进京安定局势，其中就有潘美。赵匡胤登基时，特命潘美前去安抚后周宰辅，使这些人对新朝俯首称臣，甚至连改朝换代的圣旨，也是由潘美晓谕天下的。由此可见，潘美与宋太祖赵匡胤的关系非同一般。
当时陕西军阀袁彦心怀异志，赵匡胤命潘美前往西北监其军，胆勇过人的潘美单骑入长安劝说袁彦，迫使袁彦入朝称臣。潘美因此被赵匡胤称为“孤胆英雄”。
此后的数十年中，潘美作为一位将领南征北战，为巩固宋王朝的基业立下了赫赫战功。他先随太祖征讨淮南叛将李重进，而后单师挥戈讨平湖南叛将汪端，接着继续南下，攻克南汉的北部屏障郴州，继而荡平南汉，将南汉后主刘继兴擒至京师。太祖开宝七年（974年），潘美与曹彬分率大军进攻秦淮，经数日短兵接战，为曹彬主力杀开一条血路，一鼓破金陵，南唐被灭，后主李煜成了曹、潘大军的阶下囚。太宗赵光义即位的第四年（979年），潘美又挂帅征讨北汉，大败刘继元，北汉亦归宋朝所有。不久，他又北伐契丹，节节胜利，以功封代国公。
在北宋初期，潘美的显赫军功是有口皆碑的，他治军有方，使“北方以宁”。他手握兵权，却令朝廷十分放心。赵匡胤坐稳江山后，玩了一招“杯酒释兵权”，解除了大批开国将帅的兵权，唯独剩下一个潘美，不仅没有解其兵柄，还十分重用。由此可窥见潘美为人之一斑，也可说明潘美在朝廷的地位几乎是不可动摇的。
潘美正直的一面在野史中也有迹可循。据一些野史笔记记载，潘美心地慈善，知恩图报，不像小说戏剧中所描述的心狠手辣，不近人情。明王巩《随手杂录》记载，赵匡胤夺取皇位初入宫时，见一宫女抱着一个小孩，问之，宫女答道：“是世宗（指柴荣）的幼子。”当时潘美与范质、赵普都在场，赵匡胤问如何处置。赵普等都说“杀掉”，潘美在旁不语。赵匡胤问潘美为什么不说话，潘美说：“臣与陛下都曾做过世宗的臣子，现在如果我劝陛下杀之，有负于世宗；如果劝陛下不杀，则陛下必定会怀疑我。”赵匡胤说：“坐了别人的位子，又要杀别人的孩子，我不忍心做这样的事。”潘美于是向赵匡胤要求自己来收养这个孩子，把他抱回了自己家中，改姓潘，取名惟吉，抚养成人。赵匡胤后来也不问，潘美也不复言，这个孩子长大后也在朝为官。
在《杨家府演义》中，潘仁美死于忠臣开封府尹寇准的刀下，这也是与事实不符的。
《宋史·太宗纪》记载，潘美于淳化二年（991年）六月死于太原。原因是北伐契丹失败，并致杨业全军覆没，被宋太宗赵光义官降三等，令其反省。不久，又官复原职，淳化二年还被加为宰相。但潘美戎马一生，晚年却因北伐大业功败垂成，心中怏怏，不久便病死于太原，终年六十七岁。
寇准任开封府尹则在咸平五年（1002年），有北宋《开封府题名记》碑（现藏开封市博物馆）为证。所以，潘美之死与他扯不上半点关系。
历史学家冯君实先生曾这样评价潘美：“平心而论，潘美一生的战功要比杨业大得多，宋朝廷实际将他看做是大忠臣。”这在《宋史》中可以找到佐证。此外，《宋史》有专门的《佞幸列传》，潘美并不在其中，由此可见时人并不认为潘美是个奸臣。换言之，《杨家府演义》中的潘仁美不过一个虚构的人物，是“戏说”，做不得真。
959年6月，正值壮年的周世宗柴荣在统一中国进程中已大获进展，却不幸地一病而亡，七岁的周恭帝即位。在这种“主少国疑”的动荡局势下，当时任禁军最高统帅，且身兼数职的赵匡胤趁机夺了权。
事情发生在960年正月初，忽有传闻称契丹将南下攻周，后周宰相范质等未辨真伪，急遣赵匡胤统率诸军北上御敌。赵匡胤率大军到达开封东北二十里陈桥驿(今河南封丘东南陈桥镇)时，赵匡胤之弟赵光义和谋臣赵普等密谋策划，发动兵变，授意众将把象征皇权的黄袍披在赵匡胤身上，并下拜三呼万岁。赵匡胤假装推让了几下，就把黄袍穿在了身上。这就是历史上著名的“陈桥兵变”、“黄袍加身”。随后，赵匡胤也不去抵御契丹了，而是率军回师开封。京城守将石守信、王审琦开城迎接赵匡胤入城，小皇帝就乖乖地将皇位禅位给赵匡胤。因为赵匡胤在北周时兼领宋州（治在今河南商丘南）归德军节度使，归德军为古宋国的疆域，又属宋州，赵匡胤就以宋为国号，建立宋朝，史称北宋，从此开始了赵姓统治天下三百余年的历史。值得一提的是，赵匡胤篡位后，契丹进攻一事也不了了之，因此后人普遍怀疑，契丹攻周的传言是赵氏集团编造的，目的就是为赵匡胤夺权制造机会。
976年10月，赵匡胤突然身亡，其弟赵光义继位。
赵光义名声向来不好，他对待自己的兄弟及哥哥赵匡胤的儿子非常恶毒，对功臣多疑，在私生活上也是荒淫无耻，为了霸占已归降的南唐皇帝李煜的妻子小周后，竟以写反诗的名义将李煜杀掉，令人不齿。再加上赵光义继位有违古法，因此人们对他继位的合法性也表示怀疑。纵观历史，自夏商周开始，直至隋唐五代各个皇朝，几乎都是“传子不传弟”，而且“传长不传次”，但宋朝却是兄终弟及，于是有人质疑赵光义是以不光彩的手段获得的帝位。历史上著名的“烛光斧影”谜案由此产生。
“烛光斧影”这个谜在野史、民间传说和戏说中有诸多版本，但都有一个相同的核心思想，即宋太宗赵光义谋杀了他亲哥赵匡胤，是篡位。这种大逆不道，丧失人伦之事，做得太不隐秘，以至于很多野史家们都知道了，并且留下许多版本，其中以北宋文莹所著的《湘山野录》最具代表性。该书描述宋太祖赵匡胤崩逝之际的情状：
宋开宝九年（976年）10月19日晚，天气陡变，雪雹骤降，赵匡胤心生不祥之感，他令守宫的宦官急召晋王赵光义入宫。赵光义被引入寝宫时已是深夜，太祖摒退宦官和宫女，与他酌酒对饮。无人知道他们密议什么，近侍宦官只能通过寝殿的窗棂，影影绰绰地看到殿内烛火摇晃不定，赵光义突然起身，避席（辞让）后退，似在躲避和谢绝什么，接着两人继续对饮。不久，又看见赵匡胤手持柱斧（一种水晶做的小斧子）戳地，像是戮击什么，同时大声喊道：“好为之，好为之（好好干）。”接着，兄弟二人继续饮酒，直至深夜。赵光义告辞兄长出去后，赵匡胤解衣就寝，很快传出如雷的鼾声。然而到了次日凌晨（五鼓时），赵匡胤忽然驾崩，年仅五十岁。天亮后赵光义即位，宣遗诏，是为宋太宗。大臣们哀恸着瞻仰赵匡胤的遗容，却见他的脸色温莹好像刚刚洗过一样。
《湘山野录》中这段文字本身就扑朔迷离，语焉不详，既没有说明这一夜赵光义是否一直待在寝宫周围没有离开，也未说明遗诏从何而来，只给后人留下“烛光斧影”之谜，令人耿耿于怀。
其中所描述的情形也让人颇多联想。首先，赵匡胤为什么深更半夜急召赵光义入宫，肯定不可能是为了喝酒，而是有重要的事情要谈。那么，是什么事？或许就是王位继承的事情。其次，“赵光义的人影突然离席起身，摆手后退，似在躲避和谢绝什么。”很容易让人联想到这样一幕——赵光义在酒里下了毒，赵匡胤喝下后毒性发作，他顺手抓起桌上的柱斧刺向赵光义，但已经体力不支，只能拿着“柱斧”痛苦地戳地，口中喊道：“好为之，好为之。”而赵光义惊慌离席起身，本能地躲避。另外，赵匡胤在说“好为之”这句话之前，两人之间肯定有一段谈话，谈话内容会是什么呢？有可能是赵匡胤要将皇位传给赵光义。但赵匡胤是主动传位还是赵光义相逼？人们更愿意相信是后一种可能。甚至有人怀疑，当夜不是赵匡胤主动召见赵光义，而是赵光义请求见赵匡胤，谈话的主题就是讨论谁继位的问题。
北宋司马光的《涑水纪闻》里说：太祖去世时已是四鼓。宋皇后叫内侍王继恩把皇子赵德芳叫来。王继恩考虑到太祖早就打算传位于晋王赵光义，于是没去见德芳而是找来了赵光义。两人进宫后，宋皇后问：“是德芳来了吗？”王继恩回答：“晋王来了。”宋皇后先是一惊，继而突然醒悟，哭着对赵光义说：“官家，我母子的性命，都托付给你了。”这一情景让人不由得怀疑赵光义继位的合法性。
首先是赵光义的身份。
赵光义是赵匡胤黄袍加身的重要人物，其地位自不必说。此人的情商和智商也很高。北宋定都开封后，赵光义担任开封府尹长达十六年，在这期间他培养了大批党羽，帐下人才济济。加之赵光义礼贤下士，善于交友，所以他在朝中的势力也是根深蒂固。开宝九年三月，也就是赵匡胤去世前六个月，朝中群臣中爆发了“迁都之争”。赵匡胤有意迁都洛阳，大臣们对此提出了反对意见，赵匡胤拒不听从，他认为开封城中所需物资全仗水路由外地运送，万一开封被围，后果难以想象。这时候，也反对迁都的赵光义说了一句微言大义的话：“在德不在险。”意思是要巩固政权靠的是施行仁德，而不是依仗地形的险要。赵匡胤听了这句以后，默然无语。迁都之事最终没有成行。
赵光义一句话就能说动赵匡胤，一方面因为他在赵匡胤心目中的地位极重极高，另一方面这句话本身确实合情合理。但是，他说出这样一句话，或许不是为赵匡胤着想，而是出于自己的忧虑。因为一旦迁都，他的势力肯定会被削弱。假如此假设成立，就说明他有继位当皇帝的野心。而事实上，在“迁都之争”六个月后，赵光义就由晋王变成了皇帝。
人们怀疑赵光义毒杀亲兄还有“烛光斧影”事件之后的事情为证。
976年10月19日晚上，宋太祖赵匡胤召见晋王赵光义，到午夜时分赵光义告辞兄长回去。到了凌晨，赵匡胤在万岁殿驾崩。四鼓时分，宋皇后立即命宦官王继恩去召时任贵州防御使的皇子赵德芳入宫。王继恩并没有去请赵德芳，而是径直去了开封府请赵光义进宫。到了开封府后，王继恩看见赵光义的心腹、精通医术的程德元站在府门外，便很惊讶地问：“你怎会在这里？”程德元回答：“前夜有人在我家大门口叫我出去，说是晋王召见，但我出门一看，没有看到人。反复几次，还是没见到半个人影。我担心晋王生病，特意赶来府上看看，刚到门口，就遇见您了。”于是，两人一起进入府中。
