父親年紀輕的時候喜歡賭錢，賭到什麼地步？他和第一個太太結婚的那個晚上還出去賭，那時他需要錢給兄弟，本來是寄希望能賭博贏一點，沒想到輸個精光，結果把前樓太太結婚的衣服全都拿去當掉了。還有一次他在澡堂裡賭，賭得連衣服全當光，最後還是青幫頭子黃金榮的太太拿著衣服把他救出來的。父親年輕時這種荒唐事還是很多的。

父親出身貧寒，我的祖父母很早去世了，他早年就成了孤兒，後來靠在水果店裡幫工來謀生。我想父親之所以能脫穎而出，是靠義氣。在那時的中國社會裡，「義」字很重要。他出手大方，人家沒錢了他給錢，兄弟沒錢了他散財。父親的門客很多，有的自己有職業，有的是靠我們家吃飯。比如說在恆社的人都拜我父親做先生，他們每人都有本身的生意，就是建起一個關係來。他們沒有嚴密的組織形式，但是由我父親來挑選人。這些人拜我父親做先生的時候，還是有這種江湖的氣味，幫會習性。我沒有見過他們加入幫會的場面，在公共場合，他們就像是普通的宴會一樣，大家在一塊吃飯，說說笑笑。

其實父親從來不是上海灘最有錢的人，但給人的感覺是他名氣最大，在上海他也能夠控制一些東西。父親的一個觀念是不做官，像他那樣很早就闖蕩江湖的人，很注意結交各方關係。在租界裡他認識很多人，比如說那時候法租界的巡捕房最高的警官和翻譯叫張翼樞，普通人都不知道這個人，父親與他是非常好的朋友，所以別人有什麼事情在租界裡都托父親去打招呼。

說父親是「青紅幫老大」是歷史事實，但稱父親為黑幫老大，我不太同意。青紅幫是非常時期非常特別的一個產物。正式的青紅幫並不是打打殺殺，而是講做生意你要在「幫」，當時如果不在「幫」，你就沒有保護人，休想在上海灘混。還有，賭博和抽大煙也是當時的一種社會風氣。在老公館，有父親比較要好的客人來，第一件事情就是先上煙，這好像是個規矩。但是拿現在的社會觀念來講，這就是犯法。我知道父親是一個很複雜的人物，我不想為他辯解什麼，只是覺得，應該把他放在當時的歷史條件下來看待他。

現在很多人喜歡把父親與黃金榮、張嘯林放在一起，把他們並稱「上海三大亨」。黃金榮和張嘯林我都見過。我對黃金榮印象不深，我見他時，他大概60多歲了，那時人家還是叫他黃老闆，還是很威風的。父親與黃金榮的關係後來有點複雜。黃金榮發家早，因為早期在幫會裡，他輩分很高，而我父親輩分很低。但是黃金榮到了30年代名氣就不大了，父親遠遠超過了他，他有點嫉妒父親，所以不太願意來往。但是表面上大家還一團和氣，過年過節互相送東西。

多面的父親

父親小時候因為家境貧寒，沒怎麼受過教育，所以對我們的教育看得特別重要，一定要讓我們在盡可能範圍內受到最好的教育。杜家的家教非常嚴，尤其是對男孩子。有一次大哥逃考，被他狠狠打了兩個耳光。在家中，父親的嚴厲具體是通過母親執行的。有一次，姐姐英語沒考好，母親打了她10鞭子。

父親對文人一直有一種嚮往，也對他們很敬重。他結交了很多文化名人，很多文人也都成為他的私人律師或座上客。民主革命家章太炎與父親的私交甚好，1930年父親在家鄉買了50畝地，造了「杜氏家祠」，章太炎不但為杜家編了家譜，還寫了洋洋千言的《高橋杜氏祠堂記》。杜家祠堂建成那天，包括蔣介石、淞滬警備司令熊式輝、上海市長張群等要人都送了牌匾，場面很大。

章士釗曾做過教育總長，後來又在上海做大律師，所以那時他們的交往比較多。章士釗算是父親的私人律師兼參謀。很早以前，毛澤東要送很多共產黨員到巴黎去，找到章士釗幫忙，章士釗又來找我父親要錢。父親覺得各方面的人都要結交，求到門下就要幫一下。

父親發達後，江湖上一些事情他就讓別人出面去做，與早期的兄弟也保持了一點距離，而他更多做一些公益和慈善。每有災害發生，父親一定出面組織賑濟。

父親的老家在上海浦東高橋，每年夏天他都要從藥房買大量的「痧藥水」、「諸葛行軍散」，送到高橋，挨家挨戶免費送發，這個舉動堅持了好多年。

不論對父親有何評價，有一點是公認的：在民族大義上，他從來沒有動搖過。父親反日的立場是始終沒有改變的，我想這一點跟幫會有關係，老一代幫會裡的人對日本人有仇恨，幫會裡有很多觀念也傳襲下來。但最主要的是，父親有一個很強烈的「中國人」的意識，所以他非常恨日本人。