平定張氏兄弟以後，皇甫嵩以左車騎將軍的名號兼任冀州牧，爵位由原來的都鄉侯升為槐裡侯，享受八千戶的租稅。在冀州牧任上，皇甫嵩考慮到朝廷與黃巾軍的激烈戰鬥給當地造成了巨大損耗，奏請免除冀州百姓一年的田租，得到皇帝批准。百姓感念他的恩德，紛紛傳唱這樣的歌謠：「天下大亂兮市為墟，母不保子兮妻失夫，賴得皇甫兮復安居。」為官一任，能得到這樣的美名，也算此生莫大的榮耀了。但在他人看來，皇甫嵩似乎可以走得更遠一些。

　　曾做過信都縣令的閻忠認為，經過黃巾軍的折騰，劉家天下的實力已大不如前，況且朝廷內宦官當權，朝政混亂日甚一日，這正是改朝換代的絕好機會，而能夠完成這樁大事的人選，非皇甫嵩莫屬。他求見皇甫嵩，勸道：「將軍的機會來了，一定要抓住啊!否則，一世英名將毀於一旦。」皇甫嵩不知是真聰明還是假糊塗，一臉茫然地問道：「此話怎講?」閻忠說：「將軍掃滅黃巾，功高震主，在冀州又深得百姓愛戴，皇帝怕是容不下您啊!即便皇帝不懷疑您，他身邊的那群宦官哪個不嫉妒您，他們天天說您的壞話，皇帝要是哪天聽信了，將軍的處境肯定危險。」皇甫嵩說：「我為朝廷出生入死，對皇上忠心耿耿，我沒有什麼可擔心的。」閻忠提醒道：「此言差矣!將軍千萬不要忘記韓信的前車之鑒，當年劉、項紛爭之時，他倒向哪一方，哪一方就會勝，有人勸他順勢自立，三分天下至少可得其一，但他優柔寡斷，沒有抓住機會。結果呢?天下統一於劉姓後，因為處處受到壓制，他又後悔跟著劉氏走了。可悔之晚矣，呂後一個婦人就能置他於死地。歷史的教訓不可不細細思量。」

　　除了指明皇甫嵩處境之險惡，閻忠還提出了改朝換代的基本策略。他建議皇甫嵩憑借自己在軍民中建立的聲望，以冀州為根據地，傳檄天下，托名誅除宦官，進兵洛陽，奪取朝廷控制權。然後就可以假借天命，逼迫皇帝禪位給皇甫氏。但皇甫嵩似乎從未有過此種念頭，聞聽閻忠一席話，他感覺很恐怖，說道：「非常之事須待非常之勢，建立新朝代，豈是平庸之人辦得到的?我這幾年能博得些微聲名，不過是因為作戰對像乃黃巾烏合之眾而已，並不是自己的力量有多麼強大。冀州百姓雖然對我印象不錯，但我在此地時日不長，想讓他們為我賣命，恐怕是不可能的。再說普天之下皆知當今皇帝姓劉，我若起事，在名份上就是叛逆，上天也不會保佑我的。我還是忠於朝廷，恪守臣子本分比較好。即便朝中有人陷害我，最多也就是解甲歸田，我好歹還有戰功和民望流傳後世，這我就很滿足了。你說的事，大逆不道，我聽著就後怕。」皇甫嵩既然不願背叛朝廷，閻忠的處境就很微妙了，他擔心萬一陰謀洩露，自己難免腦袋搬家，於是便離開了皇甫嵩。

　　在冀州僅僅呆了四個月，皇甫嵩又被派往關中鎮壓以邊章、韓遂為首領的叛軍。這支叛軍來自金城郡(今甘肅、青海交界)，其中夾雜著不少羌人，戰鬥力較強。他們一路東進，日益迫近三輔地區。所謂三輔，是指西漢設立的拱衛都城長安的三個行政區，分別叫做京兆尹、左馮翊、右扶風，東漢沿用了這些行政設置。由於三輔是西漢皇帝陵墓所在地，而東漢開國之君劉秀又認為自己打敗王莽是復興了漢家天下，因此，一直很注意對西漢帝陵的維護。金城叛軍逼近三輔，意味著皇家祖墳受到威脅。萬一祖墳被掘，那對皇帝來說，將會是奇恥大辱。為守住三輔，維持朝廷的面子，皇帝便又想到了皇甫嵩。不過，關中戰事進行得很不順利，遲遲未能取得突破性戰果。

　　前線困局持續的同時，皇甫嵩還面臨著宮廷宦官趙忠、張讓的陷害。起初征討張氏兄弟時，皇甫嵩行軍經過鄴城，看到趙忠的私家宅院規模宏大，超越了禮制規定，便上奏朝廷，予以沒收。而張讓曾向皇甫嵩索要五千萬錢，遭到拒絕。因此，兩人對皇甫嵩恨之入骨。皇甫嵩在冀州時，由於是剛剛立下大功，並且很得民心，趙忠、張讓一時還抓不到他的小辮子。待到他進入關中平叛，連續數月不能報捷，趙、張二人迅速意識到洩憤的機會來了，向漢靈帝抱怨說：「皇甫嵩顯然不能勝任，已經幾個月了，浪費了朝廷這麼大財力，絲毫沒有進展。這樣的無能之輩，應當撤職查辦!」靈帝聽信了宦官的讒言，於185年7月命令皇甫嵩還朝，還免掉他的左車騎將軍名號，降爵為都鄉侯，所享受的租稅也由原來的八千戶減為兩千戶。

　　短短的九個月時間裡，皇甫嵩由剿滅黃巾的首功之臣被貶為無能的將領。史書沒有明確告訴我們，皇甫嵩究竟是怎樣看待自己所遭遇的大起大落的，但際遇的轉變如此劇烈，對任何人來說都難免要經受一次巨大的心理落差，皇甫嵩的心情想必也好不到哪裡去。