1949年4月20日晚和21日，中國人民解放軍第二、第三野戰軍遵照中央軍委的命令和總前委的《京滬杭戰役實施綱要》，先後渡江。百萬雄師在西起湖口、東至江陰的千里戰線上強渡長江，迅速突破國民黨軍的江防，徹底摧毀了國民黨軍的長江防線。其實，早在1947年中央軍委就有了渡江作戰的想法。
1947年7月23日，中共中央軍委決定劉鄧大軍“下決心不要後方，以半個月行程，直出大別山”，在電報上要“葉(飛)、陶(勇)兩縱出閩浙贛，創立閩浙贛根據地。其步驟是：第一步，于現地休整數日，迅速殲擊泰安、大漢口、平陰、東阿、東平地區之敵，佔領該區”，以一個半月至兩個月時間在該區內完成休息、補充、配備幹部及政治動員；第二步，出至皖西，建立臨時根據地；第三步，至閩浙贛目的地，兩廣縱隊受葉、陶指揮隨同南下。這次要葉、陶率部南渡長江是我軍執行外線作戰方針，將戰爭引向國民黨區域的一個重要措施。
此時，劉鄧大軍正在山東運河以西進行魯西南戰役。葉飛、陶勇率領的華野第一、第四縱隊和陳士渠、唐亮率領的華野第三、第八、第十縱隊正在山東運河以東地區發動攻勢，與劉鄧大軍夾運河東西呼應。1947年7月28日晚，劉鄧大軍在魯西南結束戰役，殲敵6萬餘人。此後，劉鄧大軍進行躍進大別山的準備工作。劉鄧兵出隴海線以南之後，誰在隴海線以北牽制魯西南的敵軍以掩護劉大軍鄧南下呢?這個任務就落在了陳唐葉陶率領的華野五個縱隊的肩上了。8月1日這五個縱隊在山東濟寧地區會合以後，隨即奉中央軍委和華野之命，西渡運河進入魯西南地區。8月4日毛澤東為中央軍委起草給陳粟的電報中指出：“山東主力(陳唐葉陶五個縱隊)現在西邊，……請考慮粟裕同志帶炮兵主力迅去魯西南統一指揮該五個縱隊，積極策應劉鄧作戰。”劉鄧南下作戰能否勝利，一半取決陳唐葉陶五個縱隊是否能起大作用。但是，這五個縱隊外線出擊後，在雨季中經過一個月的連續作戰，葉陶兩縱各減員約1萬人，實力下降。所以粟裕向陳毅建議，除按中央軍委指示增調特種兵縱隊前往魯西南外，並建議再增調第六縱隊前去。鋻於華野今後主要戰場在外線，建議陳毅一起西去，並將華野領導機關亦移往，留下三個縱隊在山東，組成山東兵團，由譚震林、許世友指揮。經陳毅同意，8月5日由陳、粟聯名上報。次日(6日)中央軍委批復“完全同意”。7日，毛澤東為中央軍委起草電報，指出：“只要陳粟六個縱隊，集中處於內線一切有辦法，如果分散南進，則全局不利。”這樣，中央軍委就改變了原定葉飛、陶勇率兩個縱隊和兩廣縱隊分兵南下渡江的計劃，改為集中在魯西南作戰。