“文化大革命”中，喬石同志受到殘酷迫害，被隔離審查和拘禁，先後兩次被下放到“五七”幹校。

　　1978年1月至1983年7月，喬石同志先後任中共中央對外聯絡部副部長、部長。1982年9月，當選為中央書記處候補書記。他全面貫徹中央關於黨的對外工作的方針政策，按照黨際關係四項原則，廣泛同各國共産黨、社會黨、民族主義政黨及其他進步政黨和組織接觸，為黨的對外工作撥亂反正、開創新局面作出了積極貢獻。

　　1983年6月，喬石同志兼任中共中央辦公廳主任。他大力推進各項改革，建立健全工作機構，梳理整頓各項業務，推動中辦各項工作為實現黨的工作中心戰略轉移、推進改革開放和現代化建設服務。

　　1984年4月，喬石同志兼任中共中央組織部部長。他堅定貫徹落實中央關於幹部隊伍革命化、年輕化、知識化、專業化的方針，大膽啟用和培養中青年幹部，大力推動幹部隊伍第三梯隊建設，積極推進幹部人事制度改革，紮實推進整黨工作，積極落實幹部政策特別是知識分子政策，有力推動了組織戰線的撥亂反正工作的深入和新時期新老幹部的合作與交替，為全面加強黨的建設作出了積極貢獻。

　　1985年7月，喬石同志任中共中央政法委員會書記，同年9月，增選為中共中央政治局委員、中央書記處書記。1986年4月任國務院副總理。他認真貫徹中央關於政法工作的方針政策，加強和改善黨對政法工作的領導，在推進民主法制建設、依法管理、加強社會治安綜合治理、保障社會安定等方面傾注了大量心血。他深入研究新時期社會治安的新情況、新問題，為探索形成改革開放新形勢下具有中國特色的廣泛依靠群眾解決社會治安問題的新路子作出了貢獻。

　　1987年11月，喬石同志當選為中央政治局委員、常委，中央書記處書記，中央紀律檢查委員會書記。他認真貫徹從嚴治黨方針，大力加強黨風廉政建設，深入研究改革開放和社會主義市場經濟條件下反腐敗鬥爭的特點和規律，制定完善廉政建設的法律法規，把懲治腐敗納入法制化軌道。