此时，吕泽已经去世一年有余，吕氏集团实力有所减弱。刘邦做汉王时娶了定陶戚姬，十分宠爱，戚姬生刘如意。太子刘盈为人仁爱懦弱，刘邦认为刘盈不像自己，常常打算废掉刘盈改立刘如意，多次表示“如意像我”。戚姬经常跟从刘邦出征关东，日夜哭泣，希望册立自己的儿子为太子。而吕雉年纪大了，常常留守在关中，很少见到刘邦，就越发被疏远了。
刘邦想废掉太子，立戚夫人生的儿子赵王如意。很多大臣进谏劝阻，都没能改变刘邦确定不移的想法。吕雉很惊恐，不知该怎么办。有人对吕雉说：“留侯善于出谋划策，皇上信任他。”
吕雉派建成侯吕释之胁迫留侯说：“您一直是皇上的谋臣，现在皇上打算更换太子，您怎么能垫高枕头睡大觉呢？”张良说：“当初皇上多次处在危急之中，采用了我的计谋。如今天下安定，由于偏爱的原因想更换太子，这些至亲骨肉之间的事，即使同我一样的有一百多人进谏又有什么益处。”
吕释之竭力要挟说：“一定得给我出个主意。”张良说：“这件事是很难用口舌来争辩的。皇上不能招致而来的，天下有四个人。这四个人已经年老了，都认为皇上对人傲慢，所以逃避躲藏在山中，他们按照道义不肯做汉朝的臣子。但是皇上很敬重这四个人。现在您果真能不惜金玉壁帛，让太子写一封信，言辞要谦恭，并预备安车，再派有口才的人恳切地聘请，他们应当会来。来了以后，把他们当作贵宾，让他们时常跟着入朝，叫皇上见到他们，那么皇上一定会感到惊异并询问他们。一问他们，皇上知道这四个人贤能，那么这对太子是一种帮助。”
吕雉让吕释之派人携带太子的书信，用谦恭的言辞和丰厚的礼品，迎请这四个人。四个人来了，就住在建成侯的府第中为客。
吕雉诛杀了淮阴侯后，英布内心恐惧不已。刘邦又将彭越剁成了肉酱，又把肉酱装好分别赐给诸侯。送到淮南，淮南王正在打猎，看到肉酱，特别害怕，暗中使人部署，集结军队，守候并侦察邻郡的意外警急。
平原侯朱建是楚国人。朱建这个人能言善辩，口才很好，同时他又刚正不阿，恪守廉洁无私的节操。家安在长安。他说话做事决不随便附和，坚持道义的原则而不肯曲从讨好，取悦于人。开始他曾经担任过淮南王黥布的国相，但因有罪而离去。后来他又重新在黥布手下干事，黥布想造反的时候，问朱建怎样看此事，朱建极力反对。但黥布没有听从他的意见，而是按照梁父侯所说的去做，于是便起兵造反。等到刘邦平定叛乱，杀死黥布以后，听说平原君朱建曾经劝黥布不要造反，同时他又没有参与造反的阴谋活动，就没有诛杀朱建。
英布宠幸的爱妾病了，需要治疗，医师的家和中大夫贲赫家住对门，爱妾多次去医师家治疗，贲赫认为自己是侍中，就送去了丰厚的礼物，随英布爱妾在医家饮酒。英布爱妾跟淮英布在一起闲聊时，经常称赞贲赫是忠厚老实的人。英布生气地说：“你怎么知道的呢？”英布爱妾就把相交往的情况全都告诉他。
英布疑心她和贲赫有暧昧关系。贲赫得之后惊恐不已，借口有病不再去探望。英布更加恼怒，就要逮捕贲赫。贲赫要告发英布叛变，就坐着驿车前往长安。英布派人追赶，没赶上。
贲赫到了长安，上书告变，说英有造反的迹像，可以在叛乱之前诛杀他。刘邦看了他的报告，对萧何商量，萧何说：“英布不应该有这样的事，恐怕是因结有怨仇诬陷他。请把贲赫关押起来，派人暗中验证淮南王。”
英布见贲赫畏罪潜逃，上书言变，本来已经怀疑他会说出自己暗中布署的情况，刘邦的使臣又来了，有了相当的验证。英布索性杀死贲赫的全家，起兵造反。造反的消息传到长安，刘邦就释放了贲赫，封他做了将军。
刘邦召集将领们问道：“英布造反，对他怎么办？”将领们都说：“出兵打他，活埋了这小子，还能怎么办！”汝阴侯夏侯婴召原楚国令尹薛公问这事。薛公说：“他本来就当造反。”夏侯婴说：“皇上分割土地立他为王，分赐爵位让他显贵，面南听政立为万乘之主，他为什么反呢？”薛公说：“往年杀死彭越，前年杀死韩信，这三个人有同样的功劳，是结为一体的人，自然会怀疑祸患殃及本身，所以造反了。”夏侯婴把这些话告诉刘邦说：“我的门客原楚国令尹薛公，这个人很有韬略，可以问他。”
刘邦召见了薛公，问他对英布造反的看法。薛公回答说：“英布造反不值得奇怪。假使英布计出上策，山东地区就不归汉王所有了；计出中策，谁胜谁败很难说了；计出下策，陛下就可以安枕无忧了。”刘邦说：“什么是上策？”薛公回答说：“向东夺取吴国，向西夺取楚国，吞并齐国，占领鲁国，传一纸檄文，叫燕国、赵国固守他的本土，山东地区就不再归汉王所有了。”刘邦再问：“什么是中策？”薛公回答说：“向东攻占吴国，向西攻占楚国，吞并韩国占领魏国，占有敖庾的粮食，封锁成皋的要道，谁胜谁败就很难预料了。”刘邦又问：“什么是下策？”薛公回答说：“向东夺取吴国，向西夺取下蔡，把辎重财宝迁到越国，自身跑到长沙，陛下就可以安枕无虑了。汉朝就没事了。”
刘邦又问：“英布将会选择哪种计策？”薛公回答说：“选择下策。”刘邦不解：“他为什么放弃上策、中策而选择下策呢？”薛公说：“英布本是原先骊山的刑徒，自己奋力做到了万乘之主，这都是为了自身的富贵，而不顾及当今百姓，不为子孙后代考虑，所以说他选用下策。”刘邦赞叹道：“说的好。”赐封薛公为千户侯。
当初刘邦从东垣县经过赵国，张敖把赵姬献给刘邦。赵姬受到刘邦的宠幸，怀下身孕。从此张敖不敢让她住在宫内，为她另建外宫居住。公元前198年，赵相贯高等人在柏人县谋弑刘邦的事情被朝廷发觉，张敖也一并被捕获罪，他的母亲、兄弟和妃嫔悉遭拘捕，囚入河内郡官府。赵姬在囚禁中对狱吏说：“我曾受到陛下宠幸，已有身孕。”狱吏如实禀报，刘邦正因张敖的事气恼，没有理会赵姬申诉。赵姬的弟弟赵兼拜托辟阳侯审食其告知吕雉。吕雉妒嫉，不肯向刘邦进言求情，审食其便不再尽力相劝。赵姬生下刘长后，心中怨恨而自杀。狱吏抱着刘长送到刘邦面前，刘邦后悔莫及，下令吕雉收养他，并在真定县安葬了赵姬。真定是赵姬的故乡，她的祖辈就居住在那里。
英布反叛，皇上患重病，打算派太子率兵前往讨伐叛军。商山四皓互相商议说：“我们之所以来，是为了要保全太子，太子如若率兵平叛，事情就危险了。”于是劝告建成侯说：“太子率兵出战，如立了功，那么权位也不会高过太子；如无功而返，那么从这以后就是遭受祸患了。再说跟太子一起出征的各位将领，都是曾经同皇上平定天下的猛将，如今让太子统率这些人，这和让羊指挥狼有什么两样，他们决不肯为太子卖力，太子不能建功是必定的了。我们听说‘爱其母必抱其子’，现在戚夫人日夜侍奉皇上，赵王如意常被抱在皇上面前，皇上说‘终归不能让不成器的儿子居于我的爱子之上’，显然，赵王如意取代太子的宝位是必定的了。您何不赶紧请皇后找机会向皇上哭诉：‘黥布是天下的猛将，很会用兵，现今的各位将领都是陛下过去的同辈，您却让太子统率这些人，这和让羊指挥狼没有两样，没有人肯为太子效力，而且如让黥布听说这个情况，就会大张旗鼓地向西进犯。皇上虽然患病，还可以勉强地乘坐辎车，躺着统辖军队，众将不敢不尽力。皇上虽然受些辛苦，为了妻儿还是要自己奋发图强一下。’”