1845年6月8日，经手术救治过的杰克逊在家里离开人世，终年78岁。在他的遗嘱中，他以所有动产、不动产出让偿还欠款连同利息16000美元，留给后人的遗产只有3柄礼仪用剑，要求他的子孙们在必要的时候用剑保卫合众国宪法。
四、詹姆斯·波尔克——靠养老金生活
接下去，美国第十一任总统詹姆斯·波尔克(JamesKnoxPolk)，出身家境殷实的庄园主。后于1849年3月4日离任。在4年的白宫生涯中，波尔克工作勤勉、卓有成效。布坎南国务卿说:“他是我所认识的最勤劳的一个人，仅仅四年的任期就把他变成一个老人了。”的确，离任时53岁的波尔克已经满头白发身体虚弱。
离任的次日就染上慢性腹泻，他的妻子莎拉把田纳西的家收拾得格外温馨，命名为“波尔克宫”。当波尔克大致痊愈之后，立即投入到图书工作中去，未几，繁忙的工作影响了波尔克的健康，离任刚三个月，就撒手人寰。终年53岁。
波尔克夫人莎拉过着清贫孤独的日子。南北战争彻底摧毁了莎拉赖以维生的密西西比庄园，莎拉失去了经济来源，只得依靠变卖庄园的土地换取一次性的微薄收入。1882年，美国国会批准每年补助5000美元养老金，莎拉的生活才有了保障。1891年莎拉逝世，终年88岁。
五、米勒德·菲尔莫尔——债台高筑
第十三任总统米勒德·菲尔莫尔(MillrdFillmore)，出身于穷困潦倒的农民家庭，自幼便需参加农业劳动。后于1853年3月4日离任。出身贫困农家的菲尔莫尔于1850年7月10日接替病故的泰勒总统当上美国总统。1852年大选失败离任。由于总统任内花销太大，离任时他已经没有什么积蓄，经济上陷入困境。
他正式向美国政府提出建议:给每位离任总统12000美元的年薪。他说:“我们的总统们，竟然被冷落地撇在一边，无人理睬，或许还迫于生计，在街道的拐角上开个杂货店，这真是国家的耻辱”。“我们选举一个人当总统，期望他诚实地办事，或许还能放弃盈利的职业。然而，我们在利用他以后，就让他隐居起来，也许还任其陷入贫困。”但没有答复。
菲尔莫尔在1856年大选中失败，便把全部身心投入家乡布法罗的公众事业。募捐以建立布法罗的中学、青年会、历史学会、总医院、图书馆。但已经债台高筑，无力偿还债务。所幸他1858年2月获得一位富有的寡妇卡罗琳的爱情，婚后，卡罗琳还清了他的债务，使他得以在以后的年代里继续从事他热衷的事业。1874年3月8日，菲尔莫尔中风死亡，终年74岁。
六、伍德罗·威尔逊——穷愁潦倒
此外，还有美国第二十八届总统伍德罗·威尔逊(WoodrowWilson)，出身于牧师家庭。
托马斯·伍德罗·威尔逊(ThomasWoodrowWilson，1856年12月28日-1924年2月3日)，美国第28任总统。作为进步主义时代的一个领袖级知识分子，他曾先后任普林斯顿大学校长，新泽西州州长等职，并获得雪城大学荣誉博士学位。1912年总统大选中，由于西奥多·罗斯福和威廉·塔夫脱的竞争分散了共和党选票，以民主党人身份当选总统。迄今为止，他是唯一一名拥有哲学博士头衔的美国总统(法学博士衔除外)，也是唯一一名任总统以前曾在新泽西州担任公职的美国总统。1962年历史学家对31位总统的投票排名，威尔逊高居前4位，仅次于乔治·华盛顿、亚伯拉罕·林肯和富兰克林·罗斯福。
1921年离任之后，威尔逊和他的妻子搬往华盛顿使馆区居住。他依然每天乘车出行，并在周六晚上观看基思剧院的歌舞杂耍表演。
穷愁潦倒地过了四年，全靠他忠实的妻子照料，1924年2月3日，威尔逊病逝于位于S大街的家中。他被葬于华盛顿国家座堂。他是唯一一位葬于此的美国总统。