从沛县回到长安后，刘邦胸口的箭伤又复发了，大夫们忙活了好一阵子都没能让病情好转。刘邦在病床上知道自己的伤势难以复原，自己的生命也即将走到尽头，大夫们在这儿只能是瞎忙活，于是他给了些赏赐，把大夫全部轰走了。东征西打了这么些年，总算让天下都握在刘家的手里，想到这儿，刘邦心里就宽慰不少。国家的基础稳定了，律法也修订了，子孙们只需靠着大树乘凉即可，可是刘邦想到还有一些位高权重的大臣和诸侯王，他们都是开国功臣，若是想起兵造反的话，没有征战沙场经验的子孙们根本不是他们的对手，那个时候，汉朝很可能就会落入旁人手中，刘邦不禁开始担忧起来。
在楚汉相争之时，刘邦为了笼络到更多有能力的人的帮助，曾封了很多异姓诸侯王，这些诸侯王同刘邦一起征战天下，辅佐刘邦建立了汉朝。可以说，如果没有他们，刘邦绝不会有如今的伟业，但是他们的功绩也正是刘邦最担心的。如果哪一天他们不满足只做一个诸侯王，依靠他们强大的势力和广阔的封地，随时都能让汉朝覆灭，若是联手起来的话，后果更加严重。韩信、彭越和英布不正是活生生的例子吗？他们位高权重，仍然想着造反。其实在杀死他们三人之后，刘邦就开始封同姓子弟为诸侯王，一步步取代异姓诸侯王的位置，以此来巩固刘家的政权。虽然做了不少防御措施，刘邦还是不放心，他决定和大臣们白马盟誓。
白马在古人看来是很神圣的动物，用白马来立誓结盟，代表双方非常重视誓言，绝不敢有违背之心。刘邦把大臣们召集到一块儿，吩咐下人杀了一匹白马，把马血分给诸位大臣。刘邦端着马血，要大臣们承诺永远辅助刘家子孙，不得有异心，并且强调除了刘家人之外，不能封其他人为王；没有功绩的人也不能封侯，要是谁违背了誓言，天下人人得而诛之。大臣们发誓永远效忠汉朝，永远辅佐刘家子孙。听到他们这么说，刘邦这才放了心。
汉高祖的病情一天不如一天，吕后看着很是难过，她期望丈夫康复起来，但也知道这几乎是不可能的事情了，丈夫死了，刘家的事业又该如何操持呢？吕后几次想问，都硬生生压了下去，眼看汉高祖的病越来越严重，吕后终于鼓足勇气开了口：“皇上可曾想过，若是萧何去世了，谁可以接替他继续担任丞相？”汉高祖说：“曹参取而代之。”吕后又问：“要是曹参也不在了呢？”汉高祖说：“可以让王陵担任。王陵虽然智谋比不上曹参，好在他性格耿直，不妨让他和陈平一起管理朝政。陈平各方面都很优秀，就是在关键时候不会灵活处理问题，时时需要别人的提点。周勃应该重用，让他做太尉，别看他不如别人聪明，但他的忠厚老实不是别人比得上的，他凡事都能以大局为重，患得患失之间把握得最好，有了他，汉朝不愁稳定不了。”
说完这些，刘邦气喘吁吁，吕后还想再问些别的问题，看见刘邦几次喘气都没能说上话，只好闭上嘴。刘邦知道吕后还想问什么，他拼了全身力气，断断续续地说：“再以后的事情谁也不知道了。”吕后听完禁不住泪流满面。
公元前195年，也就是高祖十二年四月二十五日，汉高祖刘邦驾崩，谥号高皇帝，庙号太祖，葬于长陵。同年，太子刘盈即位，史称汉惠帝，继续任命萧何为丞相。
刘邦是中国历史上第一位由平民登上皇位的皇帝，也是第一位御驾亲征并且一统江山的皇帝。他登基之后，北击匈奴、镇压叛乱，让百姓休养生息，使得社会生产力迅速恢复和发展。他对汉民族的统一、中国的统一、汉文化的保护有着不可估量的贡献。