張湯很小的時候，有一次父親出門回來，發現老鼠偷吃了肉，就遷怒於張湯，把他打了一頓。於是張湯挖開老鼠的巢穴，活捉了老鼠，把老鼠當作犯人一樣嚴加審訊拷打，並記錄下審訊過程，最後把老鼠和老鼠吃剩的肉都當堂呈供，作為證據，宣判老鼠應當受磔刑，然後親自把老鼠分屍。

　　張湯的父親看到這份審訊記錄，大吃一驚，因為這份判決書簡直就像一個資深法官的作品，於是讓張湯學習斷案的文書。父親死後，張湯當上了長安的官員。

　　張湯工於心計。他的好朋友趙禹擔任少府，廉潔傲慢，公卿去拜訪他，他卻從來不回訪，甚至和知心朋友都斷絕了來往，一心一意秉公辦理公事。張湯覺得他的做法不可取，於是廣泛結交官員，哪怕自己討厭的人也裝作親熱的樣子。

　　張湯後來做到了九卿的大官，他善於揣摩漢武帝的喜好，每次有疑難案件，都先向漢武帝分析事情的前因後果，漢武帝認為對的，張湯就記下來，作為以後判決的法規。如果辦案沒有順著漢武帝的意思，受到譴責之後，張湯就把別的同事抬出來，說：「哎呀!他們早就向我提過跟皇上您一模一樣的意見，我這人太笨了，竟然沒有採納。」既恭維了漢武帝又推卸了責任，漢武帝也就既往不咎了。他還善於籠絡人心，漢武帝對他辦的事很滿意的時候，張湯就說是誰誰誰出的主意。凡是他辦的案子，揣摩是漢武帝想要治罪的，就交給執法嚴酷的官吏去辦;揣摩是漢武帝想寬大的，就交給執法公正的官吏去辦。所以張湯辦的每件案子都很符合漢武帝的口味。

　　當然，該邀功的時候，該表示鐵面無私的時候，張湯也會表演得像一個堅持原則的法官。他辦理淮南王、衡山王、江都王謀反的案件時，漢武帝本想寬恕同案犯嚴助和伍被，張湯卻說：「伍被是策劃者，嚴助是出入禁宮受您寵信的人，他們倆竟然和諸侯私交同謀，如果不殺了他們，後果不堪設想。」這一番替漢武帝設想的大道理，讓漢武帝沒了辦法，只好殺了二人。

　　當時漢朝和匈奴連年征戰，這一年匈奴提議和親，博士狄山上奏說和親有利。漢武帝就問他為什麼有利。狄山回答：「刀兵乃凶器，不能輕舉妄動。漢高祖劉邦伐匈奴，結果被困在了平城，答應和親後才被放回來。孝惠和高後時期，沒有和匈奴打仗，結果天下太平。到了孝文帝時期，想征伐匈奴，結果天下不得安寧。孝景帝遇到了七國之亂，打來打去，民不聊生，平定七國之亂後，孝景帝終生不再提打仗之事，因此天下富足。現在皇上您如果攻打匈奴，一定會導致國庫空虛，百姓貧困，所以還是和親的好。」張湯一聽，當場就反駁說：「這是腐儒之見。」狄山面子下不來了，乾脆和張湯聽上了：「你說我是愚忠，我看你是詐忠。你處理淮南王和江都王案子的時候，深文周納，誣陷諸侯，離間皇上和諸侯骨肉之親，諸侯的大臣們也寢食不安，這不是詐忠是什麼!」這句話一下戳到了漢武帝的痛處，他馬上變了臉色，問狄山：「你丫牛逼哄哄的，我讓你去管一個郡，你能擋住匈奴嗎?」狄山回答：「不能。」漢武帝又問：「那一個縣呢?」狄山仍然回答說不能。漢武帝又問：「那一座要塞呢?」狄山心想，如果再說不能，皇上肯定會把我治罪，於是只好說能。這一下不打緊，漢武帝真的派狄山去守要塞了，一個多月以後，手無縛雞之力的狄山就被匈奴砍去了腦袋。於是群臣大驚，再也不敢和張湯公開辯論了。

　　張湯做了七年御史大夫，後來失勢了。這時，被他整治過的人開始對他實施報復。

　　河東人李文曾經同張湯有矛盾，做了御史中丞後，開始整張湯的黑材料。張湯有個手下叫魯謁居，為了討好張湯，就向漢武帝造謠告發李文。這件事正好落到張湯手中，張湯就把李文給殺了。漢武帝問他：「那個匿名告發李文的人是誰啊?」張湯故作驚訝：「啊?可能是李文的老朋友干的吧。」事後魯謁居生病，張湯親自去探望，居然替魯謁居按摩雙腳，以報答魯謁居。這件隱私被趙王偵知，上書說：「張湯是朝中大臣，魯謁居是他的手下，張湯竟然替他按摩雙腳，他肯定指使魯謁居幹了什麼大壞事。」

　　這件事交給了廷尉處理。魯謁居一病嗚呼，他弟弟也被牽連了進來，下獄。恰好張湯去審理別的囚犯，看到魯謁居的弟弟，就想私下裡開脫他，當面卻裝作不認識。沒想到魯謁居的弟弟會錯了意，還以為張湯故意不理他呢，一怒之下就告發張湯和魯謁居是共謀。正好丞相莊青翟和他手下的三個長史都忌恨張湯，於是聯手陷害張湯。漢武帝終於認清了張湯的真面目，派了八批使者，像張湯小時候審訊老鼠一樣審訊張湯。張湯不服，漢武帝於是派張湯的好朋友、鐵面無私的趙禹審訊。趙禹責備張湯以前辦案子的時候殺了多少人，現在你的案子有根有據，皇上很難處理，就想讓你自己自殺算了，你還想多方對質幹嗎呀?

　　張湯一聽原來是漢武帝的意思，沒辦法，只好自殺了。

　　張湯死後，抄家時發現，他的家產只有五百金，而且全是皇上賞賜給他的，沒有別的任何產業。親戚們想厚葬張湯，張湯的母親說：「張湯是被誣告而死，幹嗎要厚葬?」於是葬得非常寒酸。漢武帝聽說後，感慨說：「沒有這樣的母親，哪能生出這樣的兒子呢。」於是下令窮究此案，殺了那三位長史，丞相莊青翟也像張湯一樣自殺了。張湯即使死了也報了仇。