祜葬礼上，天子更是感情至深，当众流涕，对身边人说道：“羊公一去，我该把统一大业交给谁呢？”
结果在当年年底，龙骧将军、监梁益诸军事王濬突然上疏朝廷，自称已在益州造成楼船水师，足可横行江上，水战无敌。如果再拖宕时日，导致木船腐朽，恐怕伐吴就将再无机会了。
而在次年八月，新任镇南大将军杜预上任，他自行其是，率军突袭吴军名将张政，又将抓到的俘虏直接送往建业，以此激怒孙皓，使得孙皓临阵换将，以武昌监刘宪取代张政。
至此，伐吴的时机已完全成熟，虽然仍旧有王浑、贾充、荀勖等老臣反对伐吴，在这一次至关重要的辩论下，杜预、王濬等人的坚持取得了胜利，司马炎终于下定决心伐吴。
但耐人寻味的是，这次有人提出了一个极为费解的反对意见。
此人便是尚书仆射山涛，他私下里这么对司马炎说道：“天家不是圣人，若是消灭了外患，就必定会生出内忧，现在灭吴也就能让朝廷不再惧怕外敌，实际上却不利于长远啊！”
这话实在是莫名其妙，什么叫消灭外患就必定生出内忧，莫非打胜仗还能有坏处不成？还有那句诛心的“自非圣人”，又是什么意思？好在司马炎为政宽宏，既然决心伐吴，也就不在这些细枝末节上计较了。
咸宁五年（公元279年）十一月，西晋朝廷调集二十余万大军，以鲁公贾充为主帅，按照羊祜生前的战略计划，兵分六路：
龙骧将军王濬，广武将军、巴东监军唐彬自巴蜀顺江东下，直指建业；
镇南大将军杜预自襄阳向江陵方向进军，尔后南下长江、湘水，攻略交广；
平南将军胡奋自荆州攻夏口；
建威将军王戎自豫州攻武昌；
安东将军王浑自淮南攻江西；
镇军将军、琅琊王司马伷攻涂中。
晋军南下之际，恰逢吴国生乱。老将郭马在广州聚众谋反，合有万余众，吴主孙皓已遣名将滕修、陶璜等数万人平叛，致使本就捉襟见肘的长江防线更加空虚。于是各路晋军势如破竹，接连传来捷报。
次年正月，王浑、司马伷占领扬州江北岸的所有吴土，与吴军隔江对峙。二月，杜预攻破江陵，王濬攻破西陵、荆门、夷道，益州水师成功冲破封锁，进入长江中下游。
三月，张悌率三万吴军北渡长江求战，为王浑所部歼灭。于此同时，王濬水师离开云梦泽，顺江东下，夏口、武昌不战而降，最终于三月十四日抵达石头城。
孙皓本欲率众死战，但所遣士卒望见王濬大军，只见旌旗漫卷，精甲曜日，舳舻千里，塞江连天。吴人为之丧胆，不战而降者多达上万。
吴主孙皓走投无路，只得递上降书，按照古代降礼，素车白马，肉袒面缚，衔璧牵羊，率公卿宗室数百人在垒门出降。
随着孙皓归降的消息传出，交州陶璜、滕修等吴军残部也依次率众投降。在短短四月之内，晋军连克东吴四州、四十三郡，降服吴军二十三万。事后点查民户籍册，得户数五十三万、官吏三万二千、后宫五千余人、民口二百三十万。
至此也正式宣告，随着东吴政权的灭亡，自公元189年，东汉董卓篡权以来，中国长达九十年之久的天下分裂局面，终于走向了结束。
恰逢马隆斩杀秃发树机能的捷报传到洛阳，司马炎更是喜不自胜，大肆封赏。为了纪念这一年的两大捷报，司马炎按司马昭灭蜀故事，大赦天下，改元太康，封孙皓为归命侯。
在司马炎看来，天下的正式一统，意味着晋王朝的天命所归。苦难和战乱的传奇年代都过去了，一个与大汉并列的伟大帝国，将要开始他新的辉煌征程。
从某个角度来说，他想的也没有错，从整个历史发展的角度来看，精彩的部分才刚刚要开始。