乾隆八年（1743年），大清帝國官場發生了一件大事，那就是杭世駿以漢員身份再提滿漢官員待遇不一的問題，由此激怒了皇帝，將杭世駿開除公職，趕回杭州老家。

清朝軍事貴族集團在努爾哈赤時期首先推行「以滿治漢」政策，而後調整為「以漢治漢」，直到康熙八年（1669年）才明確地說：「滿漢大小官員，職掌相同，品級有異，應行劃一。」而實質上這個政策執行得並不到位，所謂滿漢一體的政策不過表現為皇帝本人對漢族歷史文化傑出人物的尊崇而已，如康熙謁孔廟、給孔子行三跪九叩之禮，又如康熙將朱熹理學列為清代正宗思想。

滿漢官員待遇不一問題被漢員寫進奏章，杭世駿也不是第一例，如順治朝進士、順康之際名臣魏裔介早在順治九年（1652年）就在奏章中提醒順治「督撫重臣宜慎選擇，不宜專用遼左舊人」。所謂遼左舊人，當然以滿族大臣為多數而漢族大臣為少數。在表達出這樣的意見之前，魏裔介還大膽地說過「上下之情未通，滿漢之氣中瘀」那樣的話。魏裔介之說不僅言之有據，而且在以後的康雍兩朝「滿漢之氣中瘀」問題根本沒見好轉，實際上往更壞處發展。滿族官員不拿漢員當回事兒，更不會拿漢族百姓當回事兒。比如與杭世駿同時代的著名文人全祖望在紀念姚啟聖的碑文中記述道：「駐軍閩中的滿洲貴族有王爺、貝子、公爵、伯爵各一位。將軍、都統以下各開幕府，他們率領的部隊是皇家禁軍。駐閩禁軍沒有正式駐所，就佔據民房；沒有生活用具，就強用原屋主人的東西；沒有奴僕伺候，就強迫原屋主人為奴僕。他們輪姦原屋主人的老婆、女兒，把主人的老人與幼童全給關起來。他們頤指氣使或高聲斥責原屋主人，稍不如意，就將人家痛打一頓。閩中大地每天都有被虐待致死的人，再加上老百姓吃不上飽飯，死人就更多了。姚啟聖先生到閩中任職，看到這種悲慘的狀況，就盡最大力量保護民眾。到了廈門平定後，姚先生給康熙皇帝寫信，請求中央將大部分駐軍撤回北京，只留兩位將軍駐守。中央很快決定全數撤軍，但是皇家禁軍還是要將共計兩萬的閩中民眾帶到北京去當奴僕。姚先生流著淚向駐閩王爺請求，要嚴行軍令『有私攜良民者殺無赦』，而後動用大量資金為百姓贖身。這樣，禁軍在起程前就釋放了所有民眾，因為他們得到金錢，也就樂意放還被奴役的百姓了。」

從全祖望紀念姚啟聖為民請命的善行中，人們不難發現漢民受滿族欺壓的情況。到雍正一朝，此種欺壓漢民的情況雖有所改觀，但官場上的滿高漢低的現象卻愈演愈烈。那位因做過年羹堯幕僚並被誣「悖逆」的著名文人汪景祺在其《西征隨筆》中記載了自己的親歷，他寫道：「陝西吏治之壞，當為各省之首，幾十年來，重要省級官員全由滿洲人出任。這些人文化程度很低，連公文閱覽都成問題。對於公文往來、案件判決等事項，都讓幕僚辦理，自己頂名當官而不問民生吏治。這些人又甚為貪財，刻剝聚斂以供歌舞酒宴之揮霍。有一名總督犯罪，朝廷欽差大臣審問。案件中有一個妓女，她在受審時也與犯罪總督同跪一堂。當時人們認為，此事必傳為千古笑談，不只是有失體統的問題了。」

妓女（高官情婦）與高官同時出庭受審，對現在來說，是很正常的現象，體現司法公正精神。在古代的等級社會裡可不得了，即便是犯人也要分等級。總督今年有罪，明年可能官復原職，如上節提到的孫嘉淦。但妓女就是妓女，就算明年被宣佈無罪，明年的身份還是賤民。所以，滿族高官既沒有全面接受漢族文化的禮義廉恥觀念，更沒有相應的處理政務能力，而沒有能力再佔據要位必然會導致漢員的不滿。漢員的不滿溢於言表，將滿族高官的無能當政治問題來評點。仍是在雍正朝，一位職任陝西糧儲道的道員，名叫杜濱，就借他的上司、滿族巡撫西琳辦公室有裁縫同在的現象，專門給皇帝寫信：「巡撫西琳每接見屬員時，總有兩位裁縫在場。對於陝西省有關道員級官員對長官行禮或對答，此二人就像沒看見似的。對於官員們討論的各種問題，此二人也一一聽聞。大小官員，對此現象均表示驚駭。 」

等西琳去職之後，又來了一位叫武格的滿族巡撫。此人水平更差，所有公務均交書辦處理。所謂書辦，就是衙門裡沒有品級的文職人員，或曰一種「有文化的臨時工」。

杜濱又盯上了武格，給雍正皇帝寫了舉報信，信中說：「新任巡撫武格到任後的第一件事，就是審理原清澗縣令私自增加農民負擔的案件。他當堂只說了一句話：你要如實招供。後面的審問就全由書辦負責了。後來，書辦說此案尚有難以落實與查證之處，巡撫武格就點頭稱是。」

連續兩位滿族巡撫被一位職務並不高的漢員盯上，讓雍正又氣又惱。人家漢員所舉是事實，不好找碴兒報復，況且滿族高官確實太無能，長此下去也不利於大清江山穩固，所以他就批示杜濱兩次遞交奏本所反映的問題寫道：「西琳被人如此參奏，返躬自思，何顏立於天地之間耶！朕所用滿洲外省大臣中多無恥不廉，器局狹小，其所以然之故，朕實不解。滿臣之顏面，被爾輩一二喪盡天良之人壞盡矣。朕除愧恨之外，復有何諭！」雍正的話雖是激烈，但總有包庇之意，即只說一二之人如西琳與武格者，而不說是普遍現象。

滿族高官無能，終於導致了可怕的「書辦專政」，國家的治權就落到低級漢族文人手中，而那些想為國家效力的高級漢員就被排擠在一旁。這種現象不僅在雍正之子乾隆一朝延續，而且到了乾隆之子嘉慶時代成了難以治理的弊病。嘉慶九年（1804年）六月，針對吏部的書吏（與書辦同類）私用印信做假檔案提拔官員大案，皇帝批示曰：「奈何諸臣全身保位者多，為國除弊者少；苟且失責者多，直言陳事者少。甚至問一事則推諉於屬員，自言堂官不如司官，司官不如書吏。自大學士、尚書、侍郎以及百司庶尹，唯諾成風，皆聽命於書吏，舉一例牢不可破，出一言唯令是從。若堂司如此庸碌，書吏如此狡猾，上無道揆，下無法守，太阿倒持，群小放恣，國事尚可問乎？」

雍正朝的杜濱參奏西琳與武格的事情發生在雍正六年，據嘉慶九年的吏部書吏舞弊案有76年的時間，整整地涵蓋了乾隆一朝（1736-1795 年）六十年。問題從雍正的不肯認賬，只說「一二喪盡天良之人」，到嘉慶說「諸臣全身保位者多」，無奈地承認現實，其間乾隆的盲目與武斷是巨大的促成因素。首先，他不願為老領導即他老爹雍正朝的滿族高官無能而佔位的惡劣官風負責任，仍然認為是個別現象，即「一二喪盡天良之人」在壞事；其次，他雖然也是滿漢一體政策的推行者，但本質上對漢人仍然戒心深重。就杭世駿於乾隆八年（1743年）所提的建議來說，根本不是借題發揮，而是在於促成皇帝革除舊弊。

這年二月，舉行了一場選拔御史的考試，願出任的人每人提交一份政論文。於乾隆元年（1736年）應博學鴻詞科入仕的杭世駿，此時 48歲，正值為朝廷幹大事的年齡，所以他選革除滿漢界限為論題。他認為，此種選擇既符合滿漢一體的國策又能提高行政效率，就寫道：「任何主張與見解都不能事先設定，因此，滿漢之間的界限不能分得過細。滿洲的賢才很多，但與漢人比較，只佔十分之三四而已。事實卻是，全國的巡撫常是滿漢各一半，總督則沒有一個漢人。國家為什麼還堅持重滿輕漢的政策呢？」就表面文章來論，杭世駿已經掌握得很有分寸，違心地說了「滿洲賢才很多」那樣的客套話。但是，乾隆不認為杭世駿是在客氣地說事兒，他認為杭世駿是「見解悖謬，語中挾私」。大怒之際將杭世駿革除官籍，「滾回老家待著吧！」

說杭世駿「語中挾私」也不無道理，因為在朝為官的他深有體會：皇上召見時，滿族官員自己不等點名就自主進殿，而漢員則必等點名，此足以說明「滿貴」而「漢賤」。也正是這點兒「私心」即如此體會才促使他把問題上升到國政層次去討論，更何況前代名臣魏裔介對此問題已有所涉及呢？所以，當時與杭世駿相識的人都看到他樂觀的情形：他交完論文後，有點得意忘形，想與同僚們一起喝一壺。

在皇帝那邊呢？大內人士後來傳出消息說：皇上看了杭世駿的論文後大怒，把論文扔在地上好幾次，扔了又撿回看，看了又扔，真是氣壞了！

杭世駿這邊酒飯未備，大內就傳出旨意將他開革，趕回老家去。若是一般的等閒人物，笑容肯定要冷凍在臉上，是為哭笑不得。然而，杭世駿畢竟是博學鴻詞科選上來的超級才子，他對驚恐不已的同僚們說：「怕什麼呀？就算是砍頭也會拉到鬧市口去砍，污染不了此處我們同住的官寓。」

難得自由身！杭世駿回到老家仁和縣（今杭州）不久，很快轉到揚州，在一所叫「安定書院」的民間學術機構講學，一幹就是幾十年，從無倦色。教書的同時，他還寫書、畫畫，好不自在！既有自由，就難免放縱，如嗜錢好賭就成了他的經典表現。

杭世駿好錢確成癖症，比方說，他每月從書院發給的工資裡取出官方正版、品相又好的三枚錢串起來，放在床上，時間一久，積攢了有一尺之厚，還有，他還把收斂破銅爛鐵和民間私鑄的雜錢，每每倒騰一遍，就弄到了「兩手非墨污即銅綠盈寸」的地步。

弄到「銅綠盈寸」的傳說也許有些誇張，但以教書著書為業後的杭世駿嗜錢成癖卻從不貪圖非分之財。有一次，一位商人得罪了管其行當的官員，而該官員一向佩服杭世駿的為人，所以，商人就去杭世駿那裡求情，「夜半走先生所乞救，並置重金於案上」，沒想到杭老先生一揮手將錢袋給扔出門外。

用自己教書掙的錢和賣破銅爛鐵換的錢回老家賭錢，也是杭世駿的一大樂趣。並且，老先生賭錢從不偷偷摸摸，而是在橋邊的公開場合大練手段。有一次，朝中官員錢維城到浙江省視察學政，住在杭州，他作為學中晚輩（乾隆十年考中狀元，比杭世駿小24歲）希望與文名正盛的前輩杭世駿見一面。錢維城作為中央派出的官員頗有氣派，又時值盛暑，就坐轎子、高撐遮陽傘，往杭世駿住宅去。正過杭世駿日常賭錢的場所附近的望仙橋，也是錢維城眼尖，一眼就看出杭世駿來，只見杭世駿身穿短衣、手搖蕉扇（而不是文人用的紙折扇），吆五喝六地與「諸少年博正酣」。錢維城下了轎，到杭世駿面前抱拳作揖，說：「前輩在此乎？」

其實，杭世駿的眼睛餘光已經看見錢維城下轎，馬上不搖扇子，而是用扇子遮住臉，企圖混過去。等到錢維城這麼一問，他也沒了辦法，只好訕笑：「你看出我來啦？」

「我正想往前輩住處拜訪。」錢說。

「不用去了！我的住處太小，恐怕你的隨從連個站腳的地方都沒有。」杭搪塞道。

錢一定要去，杭堅決推擋，一番相爭後，錢維城讓步，坐上轎子回去了。當時，那些與杭世駿賭錢的年輕人一見來了勢頭不小的官員，一哄而散，大多藏到望仙橋下面去了。等到錢維城上了轎，他們才溜回來，他們問：「你是什麼人，連朝廷派來的學使都這麼敬重你？」

「我嘛，算是當過官的人。學使是衙門中的後輩。」就這麼簡單地一說，還是繼續隱瞞姓名。「來，來，接著練呀！」於是，一干人等繼續吆五喝六地賭了起來。

對待謙虛的錢維城，杭世駿算是客氣的了，而對與自己同年中博學鴻詞科的劉綸卻遠不如此。

劉綸在乾隆元年（1736年）中的是頭名，在杭世駿得罪乾隆而被開革回家後的六年即乾隆十四年（1749年），他已經干到「直南書房（兼內閣學士），授禮部侍郎」的高位。乾隆十八年（1753年），他服喪期滿，又出任戶部侍郎。出任此職是正統史書如《清史稿》的說法，民間筆記野史如《清代名人軼事》則記為「特旨以吏部尚書協辦大學士」。而不管哪種說法更可靠，反正是回京任高官無疑。劉綸是江蘇武進人，武進在長江以南（靠近常州），由武進去北京，當時以北到鎮江而後渡江到揚州打站，較為方便。

劉綸回京，惦記著要在揚州站下，到那裡造訪在安定書院講學的同年杭世駿。

杭世駿一見劉綸全身官服來訪，十分詫異，問他：「你現在任什麼官職？」

「不敢相瞞，已任內閣學士多年。」劉綸答道。 聞此答言，杭世駿不禁失笑，說道：「你這麼個吳下少年，也能成為內閣成員？」於是，滿堂哄笑。劉綸本想與老同年敘舊，沒想弄了個沒趣，就告辭而去。

說人家是「吳下少年」也不算過分，畢竟他比杭世駿小15歲。雖然說杭世駿已經全然在野，不理會朝中誰升誰降，但設身處地地一想，若是自己不出「政治問題」，憑才學怎麼也成了閣員，官到一品應不成問題。

沒當成朝中閣員或一品高官，自然要過清苦的日子，這也算是自由的代價了。更兼其賭錢只是放縱心情，並不在乎輸贏，很快就家資貧乏了。再加上他太太在他被開革回籍後不久就死了，沒可靠的人幫他打理家務，所以日子就更見緊巴。為了對付日益艱難的生計，他在老家西湖邊上開了一間古董店，專做字畫生意。懂行又有錢的遊人競相購買，因此杭世駿的日子得些舒緩。為了讓生意好一點，杭世駿也「摻雜使假」，把自己的書法作品混在古董字畫中賣出。說是「摻雜使假」，實質上杭世駿的書法絕不亞於古人，到他死後無論書法還是繪畫作品均成了上等收藏品。即便是在當時，有眼光的收藏家也不在乎他不署本名的作品是真古董還是假古董，反正知道此人筆力非常，作品必能升值。

杭世駿喪妻之後沒有再娶，只買了一位相貌醜陋的婢女給他做飯。在古董店的後院裡，他種花種草，聊以自樂，收入好時他就喝上兩壺，似醉非醉之際就在院子裡閒溜躂。有時候，乾脆店門一關，雇只船到西湖深處遊玩，一玩就是數天。好事兒的人們往往藉機從門縫裡看看店裡有什麼，結果「中僅破書舊畫，雜以碎磁古鐵而已」。