司马亮自从云梦山回来以后，改封为汝南王，出任镇南大将军，督豫州诸军事。
此时天下一分为二，西晋东吴划江而治，司马昭死后，一直没有人提过伐吴一事，但有一个人修甲屯粮，雄心勃勃，一心平吴，使天下变为一统，这个人就是羊祜。
这羊祜虽为武帝外戚，却胸有韬略，为人刚正，姨妈是蔡文姬，姐夫是司马师，身长七尺三寸，须眉秀美。司马昭建五等爵制时羊祜因有功绩，被封为钜平子，与荀勖共掌机密，在朝中颇有威望，武帝亦重三分。
羊祜镇守襄阳，一边构筑要塞组织屯田，一边整饬军旅刺探吴军，他见吴主孙皓荒淫暴虐，吴军将士有所动摇，便派人说服了原东吴驻守西陵（今湖北宜昌）的都督步阐，不料被东吴荆州统帅陆抗得知，当夜便把西陵围了个水泄不通。
这陆抗乃东吴名将陆逊之子，少有谋略，善于用兵。羊祜急派荆州刺史杨肇领兵去救步阐，竟被陆抗杀得大败。接着，西陵城被吴军攻破，步阐被陆抗夷了三族斩首数百人。此事震动荆、襄，吴军再无守军胆敢二心。
羊祜见陆抗治军极严，训练有素，不禁暗自钦佩，修书和好，还荆襄百姓以安宁。陆抗也常听闻以往吴国被俘的士兵，羊祜皆予善待，战死的吴兵尸体，羊祜或交还亲属，或就地厚敛，羊祜这些作法，得到了吴国士兵的尊重，士兵们不称呼他为羊祜，只称“羊公”。吴军兵士也都不愿与羊祜交战，非战不可时，多不尽力，有的甚至暗地里结伴不战而降。
对于羊祜的这些作法，陆抗心中很清楚，故常告诫将士们说：“羊祜专以德感人，此为攻心之计，兵法上说，兵者，国之大事，这第一事，便是道，如果我们一味侵夺杀掠，那么我们就会不战而败。所以我们只需要尽职守住边界，不要为小利而争去侵扰就好。”此后的很长的一段时间里，晋、吴两国的荆州边线处于和平状态。陆抗与羊祜甚至订下了：抗在，祜不过江；祜在，抗不犯境的君子之约。陆抗知道羊祜爱喝酒，于是派人给羊祜送去东吴酿的好酒，羊祜知道陆抗生了病，派人给陆抗送去上等好药，两个人既是对手，也是知己。在这个黑暗与混乱的年代，羊陆的君子之交给这个混乱的世界带来了和平的曙光。
吴主孙皓听到陆抗与羊祜订下的约订，很不理解，就派人斥责他。陆抗回答：“一乡一镇之间，不能不讲信义，何况一个大国呢？这场仗，谁先失去人心，谁就必败无疑。”孙皓虽荒淫残暴，却很会用人，深知自己这个皇帝能否坐安稳，全赖陆抗，所以听到陆抗的回答，孙皓也没有再说什么。
羊祜并非不想伐吴，只因看到吴国确实还颇有实力，伐吴之机尚不成熟，于是表面修好，举荐王濬出任益州刺史，暗中命王濬建造大船，操练水师，以便日后从上游伐吴，借着水势一涌而下，如高屋建瓴，事半功倍。至于陆抗，并非不知羊祜谋略，只因自己积劳成疾久病缠身，自知命不久矣，固此二人方才订下这君子之约。
泰始十年（公元274年）陆抗病故，吴主命其子陆景、陆晏、陆机、陆云分领其军。此时吴主孙皓更加残暴，耗资千万广修宫殿，弄得国库空虚，进而搜刮民脂，使得百姓怨声四起，君民离心离德，这一切都被羊祜知晓。而驻守襄阳的晋军却已屯田八百余顷，粮草充足，兵强马壮，军民团结，士气高涨，只待一声令下，南伐东吴，必定势如破竹。不料此时的武帝却心图安逸，改年号咸宁，意为天下安宁，不愿再动干戈，回书羊祜再次加封官职暂缓伐吴，羊祜得诏只有仰天长叹。
咸宁四年（公元278年）羊祜病重，听闻其姊羊太后亦染病，于是上书武帝奏请回朝。武帝准奏，并特许羊祜乘车入宫，上殿时让侍卫搀扶，见君免行跪拜之礼，并在御前赐座。羊祜首先向武帝介绍了荆、襄一带及东吴的形势变化，又从各个方面分析了晋国与吴国的力量对比，陈明此刻伐吴的利害，原先反对伐吴的贾充、荀勖等人无人敢驳。
武帝听罢点头称是，一面加封羊祜为太傅，给予他极高的待遇，一面恩准羊祜留在洛阳休养，且命张华、卫瓘等大臣常往羊府探视。
武帝也并非不想伐吴，好落个一统天下的好名声，只是不久前杨后杨艳病逝，杨艳担心自己死后杨家势落，便硬是叫武帝封其从妹杨芷为皇后，武帝多情，特许恩准。杨芷正值青春妙龄，比贾南风还小一岁，加上她聪明伶俐，懂得如何博得武帝欢心，把武帝喜欢得不得了，当即把杨芷立为正宫皇后，从此放下一切军国大事，只想及时行乐，又将杨芷的父亲杨骏封为车骑大将军，不久又加封临晋侯，俗话说一人得道，鸡犬升天，杨芷得宠后，她的叔叔杨珧、杨济也一并升了官。有了新皇后杨芷的陪伴，武帝一下子觉得自己年轻好多，从此宫内夜夜笙歌。
咸宁四年（公元278年）九月初九重阳节这一天，汝南王司马亮喜得贵子，恰逢重阳之日，汝南王司马亮大悦，命人大摆筵席，太傅羊祜受邀而来，司马亮对羊祜十分敬重。其实羊祜是为让司马亮劝武帝伐吴而来，羊祜与司马亮也有两分亲戚关系，不过是自家人看望自家人罢了。
汝南王司马亮见到羊祜大为高兴，请为上座。闻说羊祜拜贺司马亮，朝中文武以贾充、杨骏为首的皇亲及张华、卫瓘为主的重臣，无有不至，本来一场普通的重阳喜宴一时之间办得格外隆重，因事先没有准备，弄得汝南王府上至夫人下至仆童，除了司马亮以外的人全都手忙脚乱：十尺红绫换成了五十尺，内府不够就急往东西二市去买，尘封十年的酒不够了，只得把地下埋了三年五年的酒挖出来，羊脂酒杯一时找不出那么多，只得跟富豪之家相借，这些都是下人的事，司马亮只顾迎宾。
汝南王府上上下下正在忙乱筹备，一个皮肤黝黑的少年来到王府门前徘徊，王府门前的家丁见了，急赶那少年走：“哪来的小子，还不快走！”
恰巧汝南王正出门，家丁们大开府门，汝南王见一小子站在一旁，问道：“你是何人，为何在此？”
“我叫匐勒。”
“你来这里做什么？”
“我见这家人进进出出，很忙碌的样子，想来找点活干，出力气的活我都能干，不比那些大人差，你给我一碗饭，我能干两个人的活！”
“可是我这里不需要人出力气啊！”
“既然不要人，那就算了。”说罢，匐勒转身就要走。
“你等一下。”汝南王叫住匐勒，上下打量了一下他，“你今年多大了？”
“十三岁了！”
“倒像十五六岁的孩子，几天没吃东西了？”
“两天。”
“你是想要一碗饭吃，才来找活干，我不答应，你就不求求我？”
“自己有力气，出力干活，求人干什么？”
汝南王捋了一把胡子，满意地点点头道：“年纪不大，志气却高，周管家，叫人给他一些吃的，再赠他一些钱使。”
“是。”周管家应道。
“你愿意雇我了？”匐勒问。
“我说了，我这里不需要人。”
“那我不要你的钱，也不要你的吃的，不然我就成了街头乞讨的人了！”
“看不起你，才叫乞讨，看得起你，就不叫乞讨。你人小志气高，我很欣赏你！小小年纪，有这番志气，想你将来可成大器，所以我才给你食物钱财，做为资助。你若还觉得这是施舍，就是自己先看不起自己了。”
匐勒本出身卑贱，见眼前这人非但没有瞧不起自己，还很看重自己，不由得十分感动，道：“匐勒谢过恩人，恩人你叫什么名字？”
一旁周管家厉声道：“小子无礼，汝南王的名姓岂能随口问？”
匐勒狠狠看了周管家一眼。
汝南王摆摆手示意周管家不要再训斥他，问匐勒：“你为什么非要知道我的姓名呢？”
“我知道了你的姓名，好记在心里，将来好报答你。”
汝南王哈哈一笑说道：“我有什么需要你报答的呢？也罢，孩子，这里是汝南王府，我就是汝南王司马亮，你可记住了？”
“记住了！将来匐勒出人头地，一定报答您！”
汝南王今日一来心情好，二来喜欢这个小子，不免多说几句道：“匐勒这个名字不好，一听就是胡人，你年纪尚小，恐怕会受人欺负，你秉性倔强、强硬，像块石头一样，我给你换个名字，就叫石勒吧！”
匐勒想了一下，点点头道：“好！从今天起，我就叫石勒！”
汝南王笑着点点头，回府去了。
