後元二年（前87年）春，漢武帝病重，自知時日無多後開始考慮如何安排後事，太子劉弗陵才八歲，顯然需要幾個可靠而又不能一起抱團的輔政大臣維持平衡，確保劉弗陵成年後順利掌權。
經過幾日的思索，漢武帝最終確立了五個輔政大臣，即丞相田千秋、大司馬大將軍霍光、車騎將軍金日磾、左將軍上官桀、禦史大夫桑弘羊五人。“後元二年春，上遊五柞宮，病笃，光涕泣問曰：‘如有不諱，誰當嗣者？’上曰：‘君未谕前畫意邪？立少子，君行周公之事。’光頓首讓曰：‘臣不如金日磾。’日磾亦曰：‘臣外國人，不如光。’上以光爲大司馬大將軍，日磾爲車騎將軍，及太仆上官桀爲左將軍，搜粟都尉桑弘羊爲禦史大夫，皆拜臥內床下，受遺诏輔少主。明日，武帝崩，太子襲尊號，是爲孝昭皇帝。”
這五個人中，田千秋雖然位居丞相，但資曆太淺，他能夠坐上丞相的位置就是靠自己的靈活站隊。當初衛太子事件後，誰敢在漢武帝面前說衛太子好話？田千秋也是如此，但看到漢武帝對衛太子態度開始有了微妙地轉變後，率先公開爲衛太子說好話，這才引起了漢武帝的注意，最終坐上了丞相的位置。但因爲資曆太淺，其他幾位輔臣基本不把他當回事，“會衛太子爲江充所谮敗，久之，千秋上急變訟太子冤，曰：‘子弄父兵，罪當笞；天子之子過誤殺人，當何罷哉！臣嘗夢見一白頭翁教臣言。’是時，上頗知太子惶恐無他意，乃大感寤，召見千秋。至前，千秋長八尺余，體貌甚麗，武帝見而說之，謂曰：‘父子之間，人所難言也，公獨明其不然。此高廟神靈使公教我，公當遂爲吾輔佐。’立拜千秋爲大鴻胪。數月，遂代劉屈氂爲丞相，封富民侯。千秋無他材能術學，又無伐閱功勞，特以一言寤意，旬月取宰相封侯，世未嘗有也。”他的作用就是勾連霍光、上官桀、金日磾這三個中朝官和桑弘羊這個外朝官，其中霍光三人代理行使皇權負責決策，外朝的丞相和桑弘羊負責執行，互相牽制。
而這個三人小團體也不是鐵板一塊，霍光和金日磾是盟友，但卻不是和上官桀一系的，所以他們三人又能夠互相牽制平衡，避免劉弗陵大權旁落。
同年二月十四（3月29日），漢武帝駕崩，五位大臣輔佐劉弗陵登基，是爲漢昭帝。
相對于桑弘羊來說，霍光等人的資曆都不太高，繼續抱團取暖，金日磾還好說，是霍光的兒女親家，也是鐵杆盟友，但上官桀明顯就有些不對付了。
霍光
霍光能夠入中朝靠的就是霍去病弟弟的身份，天然有著衛氏外戚的烙印，也因此靠著這個烙印凝聚了不少殘余的親衛氏的勢力。而上官桀恰好就是衛氏的死對頭李氏的人，當初上官桀和李廣利出生入死，在外人看來就是李氏的人。
雖然衛氏和李氏都被漢武帝清洗了一輪，但殘余勢力還在，霍光能夠依靠霍去病弟弟身份拉攏衛氏殘余勢力，上官桀可沒這個能力，因而有些擔心霍光借機扳倒自己。
顯然上官桀有些多慮了，他們目前的敵人是桑弘羊，自己內部萬萬不能出亂子，而爲了安撫上官桀，他主動和上官桀結爲女兒親家，又通過遺诏追封李廣利的姐姐李夫人爲孝武皇後，相當于爲李氏平反，也給上官桀一個定心丸。從某種意義上來說，這也是當初鬥的死去活來的衛、李兩系的一次和解。
但權力就一個，你多了我就少了，而且上官桀早些年跟著李廣利，他在外朝的線都是李氏的，一旦勢力穩固，必然和霍光走向對立面，二人都必須大權獨攬，不然下場就是身死族滅。
隨著金日磾的病逝，上官桀也逐漸和桑弘羊走到一起，打算扳倒霍光。
始元六年（前81年），上官桀、桑弘羊、鄂邑長公主和一直觊觎皇位的漢武帝第三子燕王劉旦密謀，打算除掉霍光，劉旦上書漢昭帝霍光意圖謀反，桑弘羊組織朝臣彈劾霍光。“燕王旦自以昭帝兄，常懷怨望。及禦史大夫桑弘羊建造酒榷、鹽鐵，爲國興利，伐其功，欲爲子弟得官，亦怨恨光。于是蓋主、上官桀、安及弘羊皆與燕王旦通謀，詐令人爲燕王上書，言：‘光出都肄郎羽林，道上稱跸，太官先置。’又引：‘蘇武前使匈奴，拘留二十年不降，還乃爲典屬國，而大將軍長史敞亡功爲搜粟都尉，又擅調益莫府校尉。光專權自恣，疑有非常。臣旦願歸符玺，入宿衛，察奸臣變。’候司光出沐日奏之。桀欲從中下其事，桑弘羊當與諸大臣共執退光。書奏，帝不肯下。”
劉弗陵
此前劉旦就有謀反的前科，漢昭帝自然不信他的言論，反而安撫了霍光，“明旦，光聞之，止畫室中不入。上問：‘大將軍安在？’左將軍桀時曰：‘以燕王告其罪，故不敢入。’有诏召大將軍。光入，免冠頓首謝，上曰：‘將軍冠。朕知是書詐也，將軍亡罪。’光曰：‘陛下何以知之？’上曰：‘將軍之廣明都郎，屬耳；調校尉以來未能十日，燕王何以得知之？且將軍爲非，不須校尉。’是時，帝年十四，尚書左右皆驚，而上書者果亡，捕之甚急，桀等懼，白上小事不足遂，上不聽。”這讓上官桀等人驚恐不已，爲了避免被霍光打擊，他們打算設宴殺霍光、廢昭帝、迎劉旦爲帝。
元鳳元年（前80年）九月，謀劃之事泄露，漢昭帝和霍光先發制人，所有參與的大臣統統下獄，桑弘羊和上官桀都被滅族，至此霍光徹底掌握大權。
當然搞掉其他輔政大臣這種事情屢見不鮮，霍光也不是沒有動作，只是一度很被動罷了，但接下來一件事情卻讓霍光走向了權臣道路，這就是廢立皇帝。
雖然廢立皇帝在漢朝已經不是新鮮事，畢竟此前爲了擁立漢文帝，誅殺呂氏的周勃和陳平廢殺了少帝，但他們只是無奈之舉，畢竟平呂之後，劉邦的孫子劉襄打算武力奪權，七國之亂差點提前上演，朝中大臣一合計才幹了這事，屬于大家默認，周勃執行罷了。但霍光不一樣，廢劉賀純屬立場上的問題。
元平元年（前74年）四月十七日，漢昭帝駕崩，因爲沒有子嗣，霍光和朝臣需要決定誰繼承皇位，而目前漢武帝的六個兒子中五個已離世，唯一活下來的是廣陵王劉胥，但他是燕王劉旦的同母弟，最先排除在外。那只能從孫輩裏選取了，排名第一的則是昌邑王劉髆的兒子劉賀，況且奶奶李夫人已經被追尊爲孝武皇後，有嫡親的優勢，就這樣劉賀被霍光迎立爲帝。
劉賀
此時的劉賀已經十八歲，卻不願受霍光的擺布，登基不久就安插親信，排斥霍光，意圖奪取權力。而爲了護衛自己，劉賀又安排自己的國相安樂擔任長樂衛尉，意圖掌握宿衛權，霍光再也忍不了，以造惡三千件爲由罷黜了劉賀。劉賀在位不過三個月，就算每天不吃不喝也要幹四十多件壞事，顯然不可能，所以這只不過霍光的說辭而已。劉賀被廢，純屬自己能力問題，畢竟剛剛登基就著手奪權，明擺著得罪霍光。
接下來就是立誰當皇帝的問題，考慮許久後就擁立了漢武帝的曾孫劉病已，劉病已是劉據的孫子。
巫蠱事件後，張賀收養了年幼的劉病已，張賀的弟弟是張安世，張安世又和霍光交好，所以張賀收養劉病已這件事霍光必然清楚，一開始只想保存衛氏血脈，只是沒想到劉弗陵早崩，劉賀不合作，劉病已反而成爲霍光的最佳選擇。
也是之前的疏忽，霍光沒考慮劉病已的婚姻大事，也沒想到日後他會登基，所以隨便讓他找了許氏結婚。但如今要扶持劉病已登基，那就得考慮許氏的去留，平心而論，霍光是非常想把女兒嫁給劉病已的，而且也是現在唯一的機會了，畢竟成爲皇後，自家就成了外戚，在漢朝外戚頻頻掌權的時代，皇後是誰事關全族命運。但劉病已不願意，登基前雖然表示願意和霍光合作，但他也提了唯一的要求，讓許氏做皇後。
劉病己爲何提這個要求呢？一方面自己和許氏感情深厚，糟糠之妻不能抛棄，另一方面劉病已也知道外戚的重要性，讓許家做外戚，就是防著一手，即霍光在世一切聽霍光的，霍光不在，那權力收回，權力不能由霍家繼續掌控。而且許氏成皇後，許氏的兒子爲太子，即便自己熬不過霍光，也可以讓年幼的兒子有新的依靠，防止霍家一家獨大。
霍光思考許久後，還是答應了劉病已的請求。
劉病已
元平元年（前74年）七月，劉病已入未央宮，改名劉詢，是爲漢宣帝，同年十一月，立許氏爲皇後。而後漢宣帝按照約定，一切大權都交給霍光，而霍光繼續延續漢昭帝時期的政策，維系著大漢。
如果到這裏，也不失爲君臣佳話。但爲何霍家還是被滿門抄斬呢？問題就出在霍光的妻女身上。
妻子霍顯爲了讓女兒霍成君當皇後，居然毒死了許皇後，還瞞著霍光，不管霍光知不知情，但都打破了之前和漢宣帝的約定。更要命的是不僅霍光得知後將這個事情壓了下來，也沒告訴自己兒子，還是皇帝派兵上門前才知道這件事，最終導致了霍家滅門的結局，可以說霍光日後的慘劇離不開霍顯這件事。
爲什麽說霍光是最像權臣的良相呢？這是因爲霍光和周公、諸葛亮一樣，沒有私心，一心輔佐皇帝，在漢武帝窮兵黩武後積極恢複大漢的元氣，讓民衆休養生息，開創了昭宣中興的局面，這一點足以讓他列入名臣之列。
但爲何在千年後，霍光沒能有周公、諸葛亮的名聲，反而成爲廢立皇帝的代名詞呢？這是因爲霍光肆意踐踏君威，把漢武帝好不容易建立起來的君權神授沖擊的七零八落。
想當年漢武帝尊東皇太一，修建章宮，造神明台，就是爲了把漢帝塑造成神，強化君權和神權，但沒幾年，霍光就廢了劉賀。既然天子是神，那廢天子的霍光又是誰？神父嗎？
霍光
雖然後世看來霍光廢立皇帝大逆不道，但在當時並沒有多少人反對，畢竟從霍光之後，大力提拔儒家出身的丞相，因此霍光廢立皇帝，得利益的還有儒家，自然會得到儒家的支持，這才導致霍光的名聲並沒有因爲廢立之事而搭上逆臣的標簽。
另一方面，說霍光是最像良相的權臣是因爲他晚年戀權不放，或許經曆漢武帝末期激烈的權力鬥爭，他明白權臣失權的下場，尤其是上官桀和桑弘羊，因而一直到死都沒放權，但結果就是錯過晚年幫助家族功成身退的機會。
漢武帝讓霍光當周公，但周公晚年歸政，霍光卻絲毫沒有一點還政的意思，隨著漢宣帝越來越成熟，戀權的霍光必然走到漢宣帝的對立面。更要命的是霍家人丁單薄，自己就一個兒子，爲了壯大家族的勢力，病重前將自己哥哥家的兩個孫子過繼到霍去病一脈，將其封了侯，打算壯大家族的勢力，然而新立的幾個侯沒啥資曆，如何抵得過漢宣帝，最終被一網打盡。
不過漢宣帝還是認可霍光的，雖然滅了霍家滿門，但還是給霍光應有的地位，讓他陪陵武帝，算是給霍光幫自己翻身的感恩之舉。
