胡耀邦故居位于浏阳市中和镇苍坊村敏溪河畔，北靠西岭，四周流水潺潺，风景优美。故居始建于清朝咸丰年间，已有140余年的历史。房屋坐北朝南，土木结构，小青瓦顶，为典型的清末浏阳农村居民建筑。目前所存房屋为胡耀邦的曾祖父胡名钟和其兄胡明镜当年所共有，成凹字形布局，占地面积450平方米，共计19间。自中轴线以西为胡耀邦故居，以东,部分为胡氏宗亲住房。中间的“泮公享堂”最高大，是当年明镜、名钟兄弟供奉其父亲胡中泮牌位的地方，为两家共有，作为大客堂。经两代相传，属于胡耀邦父亲胡宜仓家的房子为7间半，约200平方米。

1915年11月13日，胡耀邦同志就出生在这栋老屋的一间厢房里。那时正值辛亥革命以后，新文化、新思想开始在山乡传播，但因军阀混战，山河破碎，兵荒马乱，加之自然灾害，人民生活于水深火热之中。其实，胡耀邦祖辈辛勤劳作、节衣省食积攒下来的一点家业，也因以上原因开始破坏。胡耀邦小时，家庭已很贫困。由于他聪明勤奋，父亲想方设法送他入种桃书屋（私塾）启蒙，后又入胡氏族小，里仁学校和浏阳中学学习。十多年中，除在“浏中”寄宿外，其余时间都食住在这栋老屋里。在这里，他度过了自己的童年和少年，直到1930年10月调任时驻江西安源的湘东儿童总局局长时，才离开故园，从此投身中国革命和建设的伟大事业，一别就是30多年。

1962年，为研究农业问题，他带职下放任中共湖南省委书记处书记兼湘潭地委第一书记。当时，浏阳隶属湘潭，胡耀邦同志利用来浏阳检查工作的机会，回到家乡，看望了健在的老师和乡亲父老，并对家乡的社会主义建设作了重要的指示。当时，有人见他的旧居已是危房，建议修缮，但他婉谢了大家的好意，只提出保持原貌，加固外墙。但后来也未及时加固，以至外墙被洪水推塌。胡耀邦通知担任中共中央总书记后，更是再三叮嘱家人不准兴土木。

1995年，值胡耀邦同志诞辰80周年之际，浏阳市按原貌对故居进行了修复，复原了胡耀邦童年时代的住房、父母与兄长的居室，以及正厅、横厅、客厅、厨房等，并对外开放。1998年又增设了胡耀邦生平图片展。

1996年，胡耀邦故居被定为省级文物保护单位。2002年，故居被中共湖南省委宣传部公布为湖南省爱国主义教育基地。