顾嘉棠一生一世对**绝无好感，上海沦陷以后，他一提起**便破口大骂，恨透恨透，他说祇要**在上海，他是宁可死在外头，也决不会回转去受罪的。
跟杜月笙、顾嘉棠抱着同样坚决**态度的是金廷荪金三哥，金延荪这次逃难，逃得非常之彻底，全家大小，四儿四媳全部搬到了香港。他也是抱定主张，绝对不跟**打交道，殊不料他的夫人怀乡情切，不耐客居，也不晓得听了什么人的蛊惑挑唆，居然跟金三哥老夫妻俩意见分歧，各行其是。金老太太不顾一切的带了三个儿媳妇，四名女将由香港开回了黄浦滩，杜月笙、金廷荪、顾嘉棠一般老兄弟再三苦劝，劝不动这位金三嫂。照金三嫂的意思，她坚持要把四名儿媳一道带回头，幸好大少奶在香港医院中待产，总算免于同行，少受了一番波折与磨难。
金三嫂带了三位少奶回上海，实使杜月笙、金廷荪担尽惊吓，大费手脚。因为金三嫂回上海后住在杀牛公司附近朱家木桥的金公馆，平安无事了一段时期，**狰狞面目暴露，展开了清算鬪争、三反五反大屠杀，朱家木桥一带每天都有满载死囚前往市郊处决的卡车过，吓得金三嫂心惊肉跳，险乎得了神经病，金三嫂托人想办法打张路条，自己先逃回香港，留下三位少奶陷身魔窟，而其中的四少奶正是杜月笙的次女杜美霞。
三桩消遣赌书与唱
杜月笙在香港想尽方法，要把他的二小姐救出来，但是**正一心一意骗杜月笙回海，杜月笙的子女多一个在共区，就他们来说正好是威胁杜月笙的人质，因此他们决不肯轻易应允，绑票勒赎原是**的一贯伎俩，他们怎肯放过这个好题目？起先杜月笙命他的次婿金元吉，写信到上海请杜美霞出来，**那边拒绝发给路条，然后，一再函电交驰，依然石沉大海杳无消息，最后则以杜月笙病危为词，拍发急电，方始将杜二小姐，救出了虎口。多一半是因为在那个时候，杜月笙的长子杜维藩也在万般无奈的情况下进上海去了。
同时杜月笙的二楼太太陈氏夫人，在杜月笙赴港之先，曾经到过一次台湾，颇想在台定居，杜月笙到香港，她也由台抵港打了一转，夫妻间话不投机，陈氏夫人便和维翰、维宁回了上海，而这趟回去，竟因而被陷，始终不得出来。
明乎此，则可获知坚决**，认清共党本质如杜月笙者，为什么在三十八、九年之交，还不敢与**公开破脸，反目相向，有亲生骨肉落入共党的掌握，虚与委蛇，相互鬪法，全是衷心非愿，迫不获已之举。
在这一段时期，杜公馆坚尼地台人客虽少，饭厅里仍然每天中午准备两桌饭。一张圆枱面一张四方桌，通常那张圆枱面必定坐得满，圆怡面坐不下了，再开方桌一席
经常来杜公馆吃中饭的，除了杜月笙的儿子媳妇女儿，女婿、顾嘉棠、金廷荪、王新衡、骆清华、沈楚宝等诸人之外，还有杜月笙的表弟朱文德，总管万墨林，这两位在香港经常不离杜月笙左右的哼哈二将，朱、万二人为了往来方便，都在坚尼地台租了房子，而且和杜公馆近在密迩，等于隔壁。朱文德一家住在坚尼地台十号，万墨林一家住六号
喘不发，脚不麻，精神好，体力够，杜月笙随意思之所至，在香港有三桩消遣，其一是赌，其二是书，而其三是为唱。
赌，不仅规模缩小，而且输赢数目，亦无复当年的豪情胜概，由于精神体力之所限，杜月笙晚年居港，只能玩玩十三账罗宋牌九，为了凑兴，勉强陪他顽顽的，有当年的豪赌朋友朱如山、徐士浩、盛家老五盛泮澄、吴家元、张公权的令妹张嘉蕊。为什么祗打罗宋牌九？说穿了便是由于打罗宋可以少用脑筋，坐看不动，而且时间不长，随时都能结束。输赢虽不能与当年相比，但是一场进出也有个港币好几千。卽使打这种费力不多的牌，有时候杜月笙还会感到精神体力难以为继，于是喊杜美霞来代他接下去。
「书」则为杜月笙的另一嗜好，听说书。「说书」这一行业在香港始终不能生根，要找一位说书先生可谓相当的困难，好在当时有一些「说书先生」也从上海逃难到了香港，杜月笙选了其中的四位：张建国、张建亭兄弟，蒋月泉和王伯英，他请这四位「说书先生」轮流的到坚尼地台杜公馆，每天一位，分别为他开讲「玉蜻蜓」、
「双珠凤」、
「英烈传」、
「水浒传」等等着名的说部。「听书」成了杜月笙的日课之一，他用听说书来消磨时间，尤其聚精会神听书时，可以使他暂时忘却身上的病痛与苦楚。
不过在当时的杜公馆，姚玉兰、孟小冬以次，没有一个人具有杜月笙这个共同的嗜好，因此，当他一榻横陈，瞑目倾听「说书」时，往往房间里只有他一个人，充其量多上服侍他的徐道生，有时候万墨林、朱文德也来陪他听上一段。
「唱」的场面比较热闹，曾有人谓「天下之歌，尽入杜门」，杜月笙自己身畔便有姚玉兰、孟小冬两位床头人，允称须生泰斗与冬皇，再则由于杜月笙一生酷嗜皮黄，他身边的人几乎个个都能哼几句，而且其中不乏佼佼者。坚尼地台杜公馆每星期五必有清唱小聚，旅居香港的名票名伶，因为杜公馆有冬皇孟小冬在，莫不以一履斯境为无上之向望，莫大之荣幸，但是杜公馆的雅集祇限于至亲好友，故属门生，经常必到的有赵培鑫、吴必彰、钱培荣、杜维藩、杜维屏、朱文熊、万墨林等人，马连良抵港以后，几乎每日必去杜公馆，他到时雅集又添一份热闹。王新衡祇要有空，会与致勃勃的前往参加，他跟着大家称孟小冬为「孟老师」。
共党统战无微不至
杜月笙方抵香港不久，**的统战份子，立刻对他展开了包围攻势，**亟欲争取杜月笙，使他重回黄浦滩，除开他个人的声望及号召力量，足可为共党利用一段时期，还有一层最重要的原因厥为当时上海金融领袖、工商巨子，莫不纷纷跟着杜月笙转移，他们挟巨资而抵香港，使得**在上海及其附近刼夺来的银行、工厂、公司、商号，在房地、机器、生财、家俱之外，就剩了一个空壳，旣乏富有经验的主持人，又失去了可供周转的资金。因此之故，共党在港统战工作人员千方百计，不惜威胁利诱，乃至于甜言蜜语，巧言令色一心一意促使那些金融工商巨子「回上海去。
但是上海的金融工商巨子，向以杜月笙马首是瞻，言听计从，在共党统战份子的花言巧语，阴谋诡计之余，当然也有一部份人意志动摇，心存观望。一般来说，当时旅港金融工商界人约可分为三种，上焉者认清**面目，抱定决心在自由地区另创事业或者静观待变。中焉者模棱两可，迟疑不决，却是无疑已被**统战份子打动，他们热烈的希望杜月笙能带着他们回上海，下焉者惑于**的钓饵，决意吞它下去，不过仍存一线之望，最好是杜月笙也回黄浦滩。
便在这群小包围，长日纠缠骚扰的时期，杜月笙的好朋友，上海金融工商巨头如王晓籁、刘鸿生、吴蕴初……等人，均已中了**的奸计，打定主意向左转。在这几个人里面，刘鸿生、吴蕴初、等自己拥有实力，他们属于「中焉者」，如王晓籁则多年以来一直靠牢了杜月笙，除了杜月笙做他的靠山，不论有贝之「财」或无贝之「才」，他竟一无所有，因此王晓籁是离不开杜月笙的。他听信了**的煽惑，想以前进份子，「民族资本家」的恣态，重回黄浦滩，当然他就非得拖牢杜月笙同走不可，于是，王晓籁是为「下焉者」。
有很长的一段时光，这般有心靠拢者排日出入杜月笙之门，纠缠不放，拚命的劝，逼牢杜月笙跟他们同走这一遭。王晓簌和刘鸿生两个更是无日或休，几至劝得舌蔽唇焦，声泪俱下。不过，杜月笙始终立定脚跟，屹然不为其所动。
然而，忽有一日，台北一家素具权威的报纸，注销了一篇各方重视，轰动一时的社在这篇社论中，出现了两个新名词，所谓「政治垃圾」与「经济蝗虫」。**统战份子如王哓籁、刘鸿生之流认为这是一个劝杜月笙「回上海」的好题目，他们拿了报纸轮番去见杜月笙，不惜添枝作叶，加油加酱，告诉杜月笙说，社论中所指的暗中操枞上海金融、物资的经济蝗虫，不正是暗指你杜月笙吗？台湾报纸差一点就要对你提名道姓了，尤其是那篇社论的结论，旨在「绝不容许政治垃圾、经济蝗虫」到台湾复兴根据地去掀风作浪，重施故技。在这种情形之下，你杜月笙难道还有到台湾去的可能？还不如「光光采采」的跟我们回大陆吧。
竭力挑拨离间的人越来越多，而且都是异口同声，众人一词，杜月笙剪下这篇社论来，叫他的秘书边读边为讲解，社论的措词难免过火，将「罪状」与「实际」对证，杜月笙三个字彷佛也是「呼之欲出」，于是杜月笙不由不大受刺激，他小心翼翼，将那张剪报折好，放在自己的马甲袋里。
汪宝瑄专程赶得来
民国三十八年九月间，香港坚尼地台杜公馆又有一位常客常川进出，那是曾经身为和谈五代表之一，被代总统李宗仁派到北平去跟**与虎谋皮的章士钊。章士钊随同和谈代表团在三十八年四月一日飞北平，谈判二十八天不得要领，四月二十八日起便被**扣留，历时四月有余，他又衔**之命到香港，显然负有共党赋予的任务，并且受到共党的监视。