霍光死后，汉宣帝与上官太后一同到场治丧，将之与萧何相比，以皇帝级别的葬仪葬于茂陵。其葬礼上。有玉衣。梓宫、便房、黄肠题凑等葬具，以缊辌车，黄屋送葬。霍光遗孀显犹嫌不够气派，将霍光生前自己安霍光死后。汉宣帝同霍光子侄关系逐步恶化。显毒杀许皇后的消息也开始流传。宣帝听到后并未开始调查。而是先采取措施提拔自己的外戚与霍氏的政敌担任要职。架空霍家子弟的兵权，汉宣帝先改霍光女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守。又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫卫尉邓广汉为少府，这样夺取了他们的在首都的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，架空兵权，霍光的另一女婿赵平的兵权也被夺，霍氏人马，再也无法掌握长乐宫和未央宫的禁军。霍氏家族惶恐之余决定反击，霍禹打算杀了丞相魏相与宣帝的丈人昌成君许广汉，废黜皇帝，前66年七月，事情败露，霍禹被腰斩，霍云、霍山自杀，霍家一族遭到满门抄斩。至此，霍光妻子显及儿子，侄子，女婿等家人除女婿金赏因告发谋反一事被赦免外，全部被杀或者自杀，女儿霍成君也被废处昭台宫，十二年后自杀。长安城中有数千家人家被牵连族灭。当时人大多认为霍家功高震主，族灭之因在霍光辅政时期就已经埋下，谋杀许皇后和谋反不过是事件爆发的导火线。霍家族灭以后，霍光之墓未被株连，依旧陪葬茂陵。甘露三年（前51年），汉宣帝因匈奴归降，回忆往昔辅佐有功之臣，乃令人画十一名功臣图像于麒麟阁以示纪念和表扬，列霍光为第一，并为了表示尊重，独独不写出霍光全名，只尊称为“大司马、大将军、博陆候，姓霍氏”。此后霍光一直为汉朝皇帝所尊奉祭祀，汉成帝年间，曾增加守墓人一百户，汉平帝元始二年（2年），以千户封霍光堂弟的曾孙霍阳为博陆侯，奉祀霍光。
汉昭帝刘弗陵即位后，霍光以大司马大将军领尚书事主持朝政，于公元前85年封博陆侯。他的女儿和上官桀的儿子上官安结婚。后来上官安的女儿上官凤儿通过盖长公主的关系，进宫做了婕妤，后来立为皇后。上官安得以加封桑乐侯。上官桀为感谢盖长公主，多次为公主亲信求官，都被霍光拒绝。霍光以皇后外祖父的身份把持朝政，致使双方矛盾日益紧张。桑弘羊在盐铁官营等事务方面和霍光意见相左。公元前80年，上官父子、桑弘羊、谋取帝位的燕王刘旦、盖长公主共同密谋，企图杀霍光，废昭帝，立燕王为天子。最后事情败露，上官父子、桑弘羊被族诛，燕王和盖长公主自杀。此后，不但霍光权倾朝野，其儿子、女婿、弟弟也纷纷担任要职，霍氏势力达到高峰。在辅佐昭帝期间，霍光继续执行武帝末年的“与民休息”政策，经济继续发展，国内富足。同时也重新恢复了和匈奴的和亲关系。这些措施对于稳定武帝后期以来动荡不安的局势，恢复社会经济起了重要作用。公元前74年，昭帝病逝，因为他没有儿子，霍光拥立武帝的孙子刘贺即位。但刘贺因为荒淫无道被废，霍光又立武帝之曾孙刘询，这就是汉宣帝。宣帝即位后，霍光继续执掌朝政，并得到宣帝很多赏赐。在公元前68年，霍光病死。众所周知，汉武帝的盐铁官营、酒榷均输等经济政策，是在反击匈奴、财政空虚的情况下实行的。它的实行，使汉朝政府广开了财源，增加了赋税的收入，得以有了比较雄厚的物力基础来支持长期的战争，从而不断拓宽了疆土，安定了边疆。在当时的情况下，这一经济政策的实施无疑是正确的。但是。官营盐铁、酒榷、均输等政策的实行，逐步使一部分财富集中于大官僚、大地主及大商人手中，而剥夺了中小地主的利益。出现了官吏“行奸卖平”，而“农民重苦，女红再税”的状况，以及“豪吏富商积货储物以待其急，轻贾奸吏收贱以取贵”的局面，使得中小地主和一般百姓日趋贫困。因此，昭帝即位之初，霍光就围绕是否改变盐铁官营、酒榷、均输等经济政策。与桑弘羊等人展开了斗争。昭帝始元元年（前86年）闰十二月。霍光就派遣当时的廷尉王平等五人出行郡国，察举贤良，访问民间疾苦、冤难以及失去职业的人，为召开盐铁会议做准备。昭帝始元六年（前81年）二月。霍光将郡国所举的贤良、文学等人接入京城。由丞相田千秋、御史大夫桑弘羊主持。正式开始了盐铁会议。霍光虽然没有亲临会场，参与辩论，但他改变盐铁官营、酒榷、均输等经济政策的意图是很明确的。会议围绕坚持还是罢废盐铁官营、均输问题展开的辩论。涉及到各个方面，包括对待匈奴、国内的治理等重大问题，实际上是对汉武帝时期政治、经济的总评价，也是昭帝实施新的政策前的一次大讨论。因为盐铁官营、酒榷、均输等政策的实施，直接损害了中小地主的利益，因而贤良、文学大声疾呼，要求改变这一政策；而代表当时大地主、大商人利益的御史大夫桑弘羊，以这一政策给汉朝带来强盛为理由，坚决反对改变这一政策。经过这场讨论，由汉昭帝下令，于是年七月，废除了盐铁官营、均输等政策。这就从根本上抑制了大地主、大商人的利益，在一定程度上缓和了社会矛盾，调整了阶级关系，从而，使汉朝的经济走上了恢复发展的道路。“武帝之末，海内虚耗，户口减半，霍光知时务之要，轻徭薄赋，与民休息。至是匈奴和亲，百姓充实，稍愎文、景之业焉。”这是班固在中对当时情况的评价，由此也可证明罢废盐铁官营的必要。汉昭帝在位13年，由于霍光的辅佐，为汉朝的巩固，为社会的安定和发展都奠定了一定基础。昭帝死后，汉朝的政局曾一度发生混乱，但由于它的政治基础比较稳固，政局在短暂的混乱之后很快就平静下来。昭帝无嗣，他死后，由谁来继承帝位，这是霍光等公卿大臣面临的困难问题。当时，汉武帝的儿子，还有封广陵王的刘胥，但他行事不检点，有失皇家道统，汉武帝生前就很不喜欢他，他们便选择了汉武帝之孙，袭封昌邑王的刘贺，让他来继承帝位。但这个刘贺本是纨绔子弟，荒淫无度。汉武帝死时，他竟于服丧期间四处游猎，虽有属下苦谏不止，他仍放纵自若。昭帝死后，霍光等大臣以太后的名义派车迎接他入京登基，他喜不自胜。在进京途中，就派人掠取民间女子、财产，并让其属吏、家人都穿上刺史的官服，封官进爵，任其胡作非为。看到这种情况，霍光等众大臣都感到事态严重，如果不及早处置，将会使汉家天下断送到刘贺的手里。于是在刘贺即位的第27日，霍光将所有在朝大臣、列侯、博士等召集到未央宫，举行会议，当众宣布了要废掉刘贺，另选贤明的意图。与会大臣、博士等人一听这个消息，都感到意外，因为废立之事，关系重大，谁也不敢发言。田延年看到这种情况，立刻站起来发言，假意斥责霍光，说汉武帝把汉家天下寄托给霍光，就因为霍光忠诚于汉室，能使汉朝长治久安。如果继续维持刘贺的帝位，那汉家天下就会断送，你霍光将来死了，又有何面目去见汉武帝呢！他手握剑柄，严词厉色，声称如有人敢反对废除刘贺他就将其就地斩杀。与会者见此情景，都同意由霍光主持，废除刘贺，另选贤明之主。于是，霍光联合杜延年、杨敞等人，十分慎重地写了一封奏章，列举了刘贺的种种劣迹，上奏当时主持汉室的十五岁的上官太后，并将刘贺召至未央宫承明殿，宣读了这封奏章，即日将刘贺废掉，并将其所属官吏统统收捕，随后又将刘贺发送回昌邑（今山东省巨野县昌邑镇）。而后，又将长期生活于民间的汉武帝与卫子夫的曾孙、戾太子之孙。十八岁的刘病已（刘询）立为皇帝，这就是汉宣帝。确立新主是当时安定全国的需要，然而要确立一个什么样的皇帝，则又是关系到汉朝能否长治久安的问题。霍光既考虑到前者，更考虑后者。所以他宁愿担负所谓擅自废立的恶名，也不愿使汉家王朝倾覆。这表明他对汉室的忠诚，也是对国家的高度负责。事实证明，霍光选择了汉宣帝，才使得汉朝保持了兴旺的局面。汉宣帝即位后，霍光继续辅佐朝政。直到病死。
武帝死后。继位的昭帝年仅八岁，政事皆由大司马、大将军霍光决断，前述盐铁会议就是在霍光的授意下，由昭帝下诏决定召开的。与霍光一起受武帝托孤的上官桀之子上官安娶霍光之女为妻。生有一女。始元三年（公元前84年）。此女年仅五岁。上官桀父子意欲将其送入宫中为昭帝后，被霍光拒绝。后上官安通过武帝长女盖公主之男宠丁外人的关系，达到目的。上官安被封为车骑将军。霍光由于拒绝了上官桀父子封丁外人为列侯的请求，引起了上官桀父子与盖公主的怨恨。桑弘羊也因为自恃在武帝时推行盐铁专卖之功，欲为其子弟求官而不得，亦对霍光专权表示不满。这些反对霍光的势力聚集在燕王旦周围，密谋除掉霍光。燕王旦是武帝之子。太子刘据因巫蛊之祸死后，刘旦按次序当为太子。但他继位心切，反遭武帝厌恶，不但未能立为太子，反被削去封国三县，使刘旦大失所望。昭帝继位后，刘旦更加不满，曾与中山哀王之子刘长、齐孝王孙刘泽共同谋反，后因事泄失败。刘泽等被处死刑，而刘旦因与昭帝至亲，特许勿治。刘旦没有丝毫悔改之意，暗中加紧网罗反对霍光与昭帝的势力，不断与上官桀等人联络。元凤元年（公元前80年），刘旦上书控告霍光专权自恣，疑有非常，请求入京侍卫，准备与上官桀等人一起，趁机除掉霍光。他们诬陷霍光的阴谋破产后，便准备以宴请霍光为名，将其刺杀，然后废昭帝，立刘旦为天子。事情被揭发后，霍光诛杀上官桀、上官安父子、桑弘羊、丁外人及其宗族。燕王刘旦、盖公主自杀而死。历史上称这一事件为燕盖谋反。燕盖谋反的失败标志霍光已清除了反对派势力。此时，金日磾早已死去，而上官桀、桑弘羊又被诛杀，霍光的权力日盛，威震海内，其家族党亲连体，根据于朝廷：霍光之子霍禹及其兄之孙霍云皆为中郎将，霍云之弟霍山为奉车都尉侍中，领胡越兵，霍光的两个女婿范明友、邓广汉为东西宫校尉，其他昆弟、诸婿、外孙皆为奉朝请、诸曹大夫、骑都尉、给事中。昭帝行冠礼后，仍继续委任于霍光。元平元年（公元前74年），22岁的昭帝病死。因其无后，群臣推举武帝唯一尚在世的儿子广陵王刘胥继位。史书上称刘胥好倡乐逸游，动作无法度，不为武帝所喜爱，亦不孚众望，所以有人提出广陵王刘胥不可以承宗庙的意见以后，霍光当即表示同意，遂以皇太后诏昌邑王刘贺继位。刘贺入朝受皇帝玺后不久，霍光又以其行**、失帝王礼仪，乱汉制度、数进谏，不变更，日以益甚，恐危社稷，天下不安为名，率群臣上奏皇太后将其废黜。公元前74年，霍光选择了武帝太子刘据之孙、十八岁的刘询继位，是为宣帝。刘据因巫蛊之祸死后，出生仅数月的刘询被送至民间收养，后遇赦回至皇宫，被称为皇曾孙，但其地位与平民无异，娶啬夫许广汉之女为妻。由于他自幼生长民间，左右无众多心腹，在中央亦无势力，霍光便以其躬行节俭，慈仁爱人为由，迎入未央宫，继皇帝位。宣帝深知霍光家族在朝中的势力尊盛日久，内不能善，所以在其继位之初，当霍光表示归政时，宣帝谦让不受霍光遂继续把持朝政，群臣凡事先请示霍光，然后再向宣帝报告。霍光每次入朝拜见时，宣帝内严惮之，若有芒刺在背，表面上却作出虚己敛容，礼下之已甚的姿态。即便如此，仍无可避免地与霍氏家族发生了冲突。霍光夫人意欲将其小女立为皇后，以进一步控制皇帝。群臣阿附霍光，也建议宣帝纳霍女为后。宣帝不忘旧义，坚持立许氏为皇后，这便引起了霍氏家族的不满。霍妻竟趁许后临产之机，指使女医官将其毒死，然后由霍光施加压力，将霍女立为皇后。宣帝对许后之死虽然心怀疑虑，但迫于形势，对霍皇后也只好作出宠爱的样子。一年后（是霍光死后一年），宣帝立许后之子为太子，霍光夫人故伎重演，教霍皇后在太子饮食中下毒，未遂。地节二年（公元前68年）霍光病卒后，宣帝开始亲政。此时霍禹为右将军，霍山以奉车都尉领尚书事，霍氏一门仍十分显赫，广治第室，奢侈无度。有人向宣帝上书，说霍光**擅权，主弱臣强，其子孙用事，愈发骄恣，长此下去，恐危宗庙，建议宣帝采取措施。由于�