隨著職位的變動，胡耀邦的公務日益繁忙，父子倆一邊散步一邊探討問題的機會少了。但胡家一直有一個傳統，在反映社情民意的事情上，任何時候都可以找父親，甚至是到辦公室主動談。1984年，胡德平就受朋友之托，請父親關照一個人。此人名叫姜維，遼寧大連人，從部隊轉業之後，自謀生路開了家個體攝影攤點。一位香港商人到大連考察後，表示願意與姜維搞合資經營。在準備簽合同時，卻遇到了難題。因為當時的中國還沒有個體戶與外企合資的先例，這個合資公司無法註冊，姜維於是到北京“找政策”。就在北京活動的3個月裏，姜維見到了胡德平。
“當時我還是在博物館工作，和經濟領域隔得比較遠我的朋友李光祖和王小黎（跟我説了這個事），問我能不能去和他見見面。我説行啊，我們這就去了。”1984年的一個夏天，胡德平騎著一輛自行車，主動去旅館見了這個日後被稱作“中國私企第一人”的姜維。回來後，在和父親散步時，胡德平説了這件事，“我説父親，這個（事）對不對，好不好？他説這個好啊。我説現在國務院在辦，他説那就讓他們去辦辦不好，你再來説。”
1985年4月13日，姜維領到中國第一傢俬營企業執照。第二年，胡德平由歷史學者轉型為政府官員，出任中共中央統戰部秘書長，後相繼擔任統戰部經濟局局長、全國工商聯副主席等職，從此與民營企業結下不解之緣。
除了在經濟工作上的影響，在生活中，胡德平也深受父親樸素作風的影響。“父親對內部同志的宴請，非常提倡四菜一湯。當他在1980年左右知道全國全年的公款宴請竟達到200億元時，他既痛心公款浪費，更憂慮一些同志究竟把多少心思用於發展經濟，用於體制的創新。為何他提倡四菜一湯呢？若有人願做一番考證，我倒有一則史料。1981年5月2日，父親給我講了一則逸事：‘1953年9月的一天，我出國訪問回來。主席在豐澤園的頤年堂（請我）吃飯，（主席平常是）三菜一湯。葉子龍同志説，主席的習慣是三菜一湯，這次請你是四菜一湯。下午兩點半吃的。主席臨時請來羅瑞卿同志。吃完飯以後，我們共同乘車到現在的八一湖一轉。天快黑時回來。’他提倡四菜一湯，是否緣於此，待考。”1988年8月，胡耀邦在煙臺休息，胡德平帶著兩個孩子去看他，胡耀邦引李白的詩作了一首《飲酒歌》，反對那種浪費公款吃吃喝喝的行為：“‘天若不愛酒，酒星不在天。地若不愛酒，地應無酒泉。’天地既愛酒，愛酒不愧天。酒價年年漲，酒癮月月添。量小非君子，醉昏才算仙。滾他媽的蛋，為政在清廉。”
胡耀邦辭去中共中央總書記職務後，父子倆散步的機會多了。“父親真是想把改革開放所遇到的問題，一條一條地再梳理出來，他對這個問題是怎麼認識的，他怎麼提出來的，然後黨內是什麼（態度），有什麼意見，現在實踐檢驗又是如何他是想整理這個。（就在）他準備把他的歷史再整理一下的時候，他去世了。”回憶起來，胡德平覺得“這一點是最遺憾的了”。
胡耀邦去世後，胡德平曾經朗誦這樣的詩句懷念父親：
四月十五日傍晚
有幾行稀疏的雨
在沉默中
為一個沉默了兩年多
終於走向最後沉默的人送行
他的生命
結束在不該結束的時候
2010年清明節，在父親去世21年後，胡德平再次以詩一般的語言寫下懷念父親的文章，“古人説‘清明時節雨紛紛’，現作一文，也可説是‘追思追遠語紛紛’ 今天，我想可以告慰父親的是，他一生摯愛的國家和人民的生活已經發生了翻天覆地的變化，人民富裕、國家富強是他畢生的追求。在清明之夜，父親可能又點燃一支煙，有微笑，也有沉思吧！”
胡德華：“他特別喜歡孩子”
與中南海僅一墻之隔的西華門，住著許多中共領導人。推開一扇綠色的大鐵門，在警衛員的帶領下，沿著高高的圍墻沒走多遠，就到了胡家。胡耀邦逝世後，三子胡德華一家陪伴母親居住在此。會客廳保持著十幾年前的原貌，胡耀邦的遺像挂在最顯眼的位置，四週鮮花環繞。2008年的一天，伴著滿屋的花香，胡德華與環球人物雜誌記者面對面坐了下來。
1948年11月，時任兵團政治部主任的胡耀邦正在太原戰役的前線，而夫人李昭在後方的石家莊，即將臨産。就在此時，石家莊遭到敵人的偷襲，身懷六甲的李昭在警衛員的保護下，迅速轉移。胡德華回憶道：“母親只記得被拉上一輛運煤車，跑了大概一兩天，途中生下我。”
由於家裏已接連生下兩個男孩，父母都望女心切，以至於他出生後，父親直接從前線傳話：“既然又是個男娃，也沒什麼好回去看的。”在父親的失望中，胡德華默默地來到人間。不僅沒有出生地，他還和其他兄妹一樣，一直沒有大名。1950年春，川北地區獲得解放，胡耀邦拖家帶口到了四川。胡耀邦的父親看著一群都是只有小名沒有“大號”的孫子，鄭重地拿出家譜。“爺爺宣佈，我爸是‘耀’字輩，我們是‘德’字輩。家中‘德’字輩出生的男孩，以後按長幼分別叫平、安、發、財。”於是，胡耀邦的長子名為德平，輪到三子，就是德發了。後來上幼兒園，由於德發的“發”繁體字太難寫，幼兒園老師自行將其改為胡德華。至於當時孩子名字叫什麼，是否妥當，一心忙於工作的胡耀邦夫婦完全無暇顧及，聽之任之。