胡耀邦和夫人李昭，一生共養育了4個子女。
長子胡德平，1942年出生，北京大學歷史系畢業，歷任中央統戰部副部長、全國工商聯黨組書記，現任全國政協常委、經濟委員會副主任。次子劉湖，1945年出生，他出生後不到40天，胡耀邦夫婦要趕赴前線作戰，將他送給陜北老鄉劉世昌撫養，並堅持讓孩子跟老鄉姓劉，老鄉便給孩子取名為“湖（胡）”。劉湖直到10多歲才回到胡耀邦身邊，清華大學化工係畢業，後為華潤集團常務董事，副總經理。三子胡德華，1948年出生，畢業于重慶通信學院，曾在中科院軟體研究中心工作，後下海辦公司。女兒李恒，1952年出生。胡耀邦夫婦一直渴望有個女兒，高興地叫她“滿妹”，意思是“滿足了”，直到她長大參軍，才隨母姓，取名李恒。離開軍隊後，她就讀于北京醫學院，後任中華醫學會理事、中華醫學基金會理事。
現在父親胡耀邦離開他們已經22年，但在他們心中，父親的言傳身教永在眼前，他們對父親的思念永在心間。
胡德平：“追思追遠語紛紛”
年近70的胡德平，與父親胡耀邦晚年時的相貌很像。作為長子，他有幸在父親身邊成長，父親的思想和精神對他的影響是一生一世的。提及他現在所關心的民營經濟，胡德平會很自然地説起父親留給他的種種記憶。
胡德平至今都記得，“文化大革命”初期，他還是北京大學歷史專業的學生，與身為“走資派”、已經被打倒的父親進行了一次坦誠的交心。
“當時都以階級鬥爭為綱人們的衣食住行、經濟問題，被認為是最簡單、最一般的，或者不屑一顧的。就在1967年上半年的一個晚上，父親問我，（對）‘文革’情況（怎麼看）。我就像唸經一樣的，説什麼階級鬥爭啊。就是在這一次，他第一次開口，説你翻翻《毛澤東選集》第一卷，其中有一篇文章叫《必須做好經濟工作》。説到這兒的時候，他忽然很嚴肅。他説，德平，你不是老説階級鬥爭嗎，毛澤東在這篇文章裏面説了，我們蘇區搞經濟建設這是個偉大的任務，這是一個偉大的階級鬥爭。一下子就把我説蒙了，他的意思是什麼呢？在革命戰爭時期，我們要流血犧牲，要打仗，我們還搞經濟建設，現在我們掌權了，怎麼就對經濟建設沒有一個議論的空氣呢？這對我是一個震動。”這次交談使胡德平開始對經濟有所認識，為他以後的人生打開了歷史研究之外的另一扇窗——關注民營經濟。
1975年，已是花甲之年的胡耀邦恢復了工作。一年之後，“文革”結束。此時的胡耀邦滿懷激情地想多做些事情。他對子女們説，“有什麼民情民意，都可以向我來反映，我來辦”。當時，胡耀邦雖然沒有明確提出打破計劃經濟，但是對於社會上出現的一些自謀出路的人，卻很讚賞。“父親贊成那種離開舊有體制、自己來創業（的人），而且他相信（這些人）會生活得很好。原來我們住在富強衚同，1984年，我們要搬到新住址去，父親的一個警衛參謀也跟著我們一起搬，但想把他原來的房子留下來。我父親就説，我們的房子要交給團中央，你把你現在的房子也交出去，我們（現在）的政策（是）富民政策，就是讓人們今後用自己的所得，可以買得起房子，買得起汽車，你不要這麼近視。”