1948年1月27日，中共中央軍委曾指示粟裕率領華東野戰軍（以下簡稱“華野”）3個主力縱隊共10萬兵力，渡過長江，以吸引中原地區國民黨軍20至30個旅回江南。渡江時間可在2月或5月或秋季，要粟裕熟籌見復。粟裕反覆思考後，認為應盡可能多地把敵人消滅在長江以北。要打大殲滅戰，集中兵力於江北有利，分兵渡江則不利。他在4月18日向軍委的報告中建議：“劉鄧、陳謝及華野主力依託後方（隴海以北）作戰，以便得到足夠的炮彈、炸藥、手榴彈（新區因情況不能生産）之補給，發揮現有裝備之作用（現在的敵人處於交通便利的中原，如無相當炮火難予殲滅），而便大量消滅敵人。”
毛澤東席對粟裕的意見極為重視，要粟裕與陳毅去中共中央所在地河北阜平城南莊面談。
4月30日，毛澤東召開中央書記處擴大會，聽取了粟裕的彙報。會議一致同意粟裕的意見。決定在4個月至8個月以內暫不向江南出動，集中兵力在中原作戰。會後，決定陳毅去中原軍區任第一副司令員（仍兼任華野司令員兼政委），由粟裕代理華野司令員兼政委。1948年6月17日至7月6日，粟裕指揮的豫東戰役取得重大勝利。9月16日至24日，在粟裕、譚震林指揮下，華野又全殲濟南11萬守敵，取得濟南戰役的勝利。9月24日早晨，濟南即將解放，粟裕在前線向中央軍委提出了舉行淮海戰役的建議。
當時，華野下一步行動，可以有兩個方向。一是經魯西南越過敵人控制的鄭（州）徐（州）線，與中野會合，在中原尋殲敵人。但是戰場處在蔣介石的徐州集團與武漢集團之間，不利於集中兵力專打徐州集團。
粟裕提出另一個行動方向，華野由魯南南下，出蘇北，戰淮海。他向中央軍委報告：“建議即進行淮海戰役，該戰役可分兩個階段：第一階段以蘇北兵團（須加一個縱隊）攻佔兩淮（按：即淮陰、淮安），並乘勝收復寶應、高郵，而以（華野）全軍位於宿遷至運河車站沿線兩岸，以殲滅可能來援之敵。如敵不援或被阻，而改經浦口長江自揚州北援，則我于兩淮作戰結束前後，即進行戰役第二步，以三個縱隊攻佔海州、連雲港，結束淮海戰役，爾後全軍轉入休整。”
粟裕的舉行淮海戰役的建議提出以後，第二天，中央軍委、毛澤東答覆：“我們認為舉行淮海戰役，甚為必要。”同時指出：“估計不久邱清泉兵團將退回商丘、碭山地區，黃百韜兵團將回至新安鎮運河車站地區，你們第一個作戰，應以殲滅黃兵團于新安、運河之線為目標。”
9月28日軍委、毛澤東指示華野：“你們淮海戰役第一個作戰，並且是最主要的作戰，是鉗制邱清泉、李彌兩兵團，殲滅黃百韜兵團。新安鎮地區距離徐州甚近，邱、李兵團赴援甚快。這一戰役必比濟南戰役規模要大，比睢杞戰役的規模也可能要大。因此，你們必須有相當時間使攻濟兵團獲得休整補充，並對全軍作戰所需包括全部後勤工作在內，有充分之準備，方能開始行動。戰役時間包括打黃兵團、打東海（海州）、打兩淮在內，須有一個月至一個半月。”這樣，隨著情況的變化，淮海戰役的規模比粟裕建議的方案擴大了。