刘聪攻克长安后，南方的政权还掌握在晋朝官员们的手中。为了延续司马氏的统治，晋愍帝在被俘之前下诏，让镇守在建康（今江苏南京）的琅王司马睿继承皇位。
司马睿是司马懿的曾孙，与北方的大地主王导交往密切。司马睿在建康即位后，王导就成了他的谋士。司马睿对王导言听计从，把他当作知心朋友。司马睿刚到建康的时候，江南的一些大士族地主嫌司马睿地位低微，不把司马睿放在眼里，也不来拜见他。司马睿心里很不踏实，就让王导想个办法。王导有个堂兄叫王敦在当地很有势力，他们两人经过一番商量，想出了一个主意。
王导·省示帖这年三月初三，王导借当地人节日郊游的机会，让司马睿坐上豪华的轿子，排出威严的仪仗，由王导和王敦簇拥着出行。江南有名的士族看到连王导和王敦这样有声望的人都对司马睿这样尊敬，都很吃惊。他们生怕自己怠慢了司马睿，争先恐后地来到路旁，拜见司马睿。司马睿的威望大大提高了。
后来，王导又出主意，让司马睿将当地名士和一些北方逃难的士族地主吸收到王府来。司马睿听从王导意见，前后吸收了一百多个有名望的人到王府做官。打那以后，江南的士族就像风吹墙头草一样，全都倒向了司马睿。东晋政权开始在江南站稳了脚跟。公元317年，司马睿在建康称帝，重建晋朝，这就是晋元帝，历史上称为东晋。
司马睿心里对王导非常感激，他觉得自己能够当上皇帝全靠王导、王敦兄弟的帮忙，所以对他们特别尊重。他称王导为“仲父”，把王导比作汉朝的良相萧何。在举行东晋开国大典那天，司马睿硬要拉着王导一起坐在皇帝的位置上受百官朝拜。王导坚决不同意，他对司马睿说：“如果太阳与天下万物相同，那么百姓怎么能得到阳光普照呢？”司马睿听了更加感激王导，他让王导担任尚书，掌管朝中大权；又让王敦总管军事。王家的子弟中，很多人都被封了重要官职。
后来，民间就流传着“王与马，共天下”这样一句话，意思就是王氏家族同皇族司马氏共同掌握了东晋的大权。
