新中國成立後，31軍長期駐防福建廈門。1953年7月，金門防衛部司令胡璉率1.2萬餘人、13艘艦艇和30多艘機帆船偷襲東山島，31軍在28軍和41軍支援下，經2天激戰，殲敵3379人（其中俘獲715人）、炸毀坦克2輛、擊沉登陸艦3艘、擊落飛機2架。這是解放軍在打擊國民黨軍竄犯活動中取得的最大一次勝利。1958年，31軍炮兵部隊參加了著名的“八·二三金門炮戰”，此後炮擊金門、馬祖的任務也由該軍承擔。