老夫子有你这样的得意门生，眞是脸上飞金，保护你都来不及，怎么会和你作对？你现在的种种作为，都是所为何来？」
吴绍澍听了，脸色一变，顿时便诡辩的说：
「先青兄你不要弄错了事体，我怎会反对杜先生？我不赞成的是吴开先和陆京士。」
那晚，同孚路赵家的一桌酒，八点钟开始，吴绍澍赴宴，皱起浓眉毛，抿紧嘴唇皮，不言不笑，轻易不开尊口，一副拒人于千里之外的神情，使满座的人，相顾愕然，不知如何措词？杜月笙始终保持礼貌的笑容，师道尊严，使他无法先打开话匣，求他说明种种。他苦等着吴绍澍展颜一粲，假以辞色，或则是口角春风，来两句门面敷衍，但是吴绍澍绝不「垂念」老夫子的苦心孤诣，渴盼之切。这顿饭从晚间八点吃到午夜，其僵其窘，为与席诸人生平仅见。
将近十二点，吴绍澍心比铁石坚，迄无任何表示或解释，在座的有人汗出如浆，有人切齿痛恨，杜月笙心力交瘁喉间又起咻咻之声，坐在他的身旁的王先青，惊了一惊，心知他的喘疾将发，连忙低声劝促，请老夫子提前离座，回去歇息，杜月笙额汗涔涔，脸色忽青忽白，犹仍勉力支撑，等候最后的转机，他一迭声的说
「绝不妨事，绝不妨事。」
然后拨转脸去吩咐徐道生，当场用药，他那个气喘药粉要烧成轻烟由鼻管吸入，尤须连续三五分钟之久，是时杜月笙的狼狈与痛苦可想，人人望之凄然，唯有吴绍澍视若无覩，面色不改。
十二点后终于散席，杜月笙回去时彷佛生了一场大病，同孚路之宴，吴绍澍的死人不管绝勿卖账，令杜门中人群情愤慨，达于极点，于是顾嘉棠金刚怒目，握拳透爪，愤愤然的说：
「吴绍澍个赤佬是给月笙哥磕过头拜先生的，欺师灭祖，照江湖规矩就该处死！月笙哥，你该把他的拜师帖子寻出来，让我拿去跟他算帐！」
一句话提醒了杜月笙，他回答说算账不必，帖子是该找出来，那上面开得有吴绍澍的祖宗三代，还有「永遵训诲」的誓言，寻出拜师帖，必要时可以向吴绍澍摊牌，这是杜月笙一大自卫武器。因此他立刻命人打开保存拜师帖的保险箱，一包包的大红帖取来捡视，殊不料越寻越心慌，上千份拜师帖一份不缺，独独少了吴绍澍的那一张
这一下，杜月笙瞠目结舌，百思不得其解，顾嘉棠却雷霆大发，暴跳如雷，他怒不可抑，高声咆哮，说这一定是吴绍澍买通内线，将他那份拜师帖偷出去了。于是杜月笙也气得脸孔铁青，簌簌发抖，杜门出了内奸，这是从所未有之事。在场的人，无不咬牙切齿，顿足大骂，由有顾嘉棠直跳起来厉声宣称：
「三天之内，我非杀了这个吃里扒外的内贼不可！」
斯语一出，势将演成人命案子，于是杜公馆人心惶惶，风声鹤唳，气氛之恐怖紧张，空前绝后。然而两三天后，杜月笙又不忍看见他的左右，栖栖皇皇，惴惴自危，他便亲自去对顾嘉棠说：家丑不可外扬，纵有小吊码子，也只好放他一马，免却全家不得安宁，传出去反而给吴绍澍幸灾乐祸。
依顾嘉棠的性子他如何肯依，于是杜月笙百般晓喩，竭力劝解，说到最后，顾嘉棠不便拂逆他大事化小，小事化无的主张，只索罢休。
打倒杜月笙恶势力
家里的一场风波敉平，杜月笙沉思默想，吴绍澍苦苦与自己作对，理由究竟何在？他是否有背景，受人指使？在作他人的工具？然而，他所得的结论，则是吴绍澍自大才疏，野心勃勃，抗战胜利，列强间的不平等条约一概取消，租界不复存在，整个黄浦滩都飘扬着青天白日满地红国旗，上海金融工商的极大潜力，当时正由于做了八年的「日本顺民」，而普遍存有疑惧不安，瑟缩惶悚的心理，这般人一时无从发挥其力量，因为他们已自「顺民」一变而为「柔民」。吴绍澍掌握了黄浦滩党、政、团多方面的权力，以他的为人和性格，理该趾高气扬，君临一切，而环顾左右，不作第二人想。此之所以杜月笙要成为他第一个该打倒的对象。
基于对吴绍澍的深刻认识，杜月笙乃决定其应付的方针，吴绍澍在黄浦滩上欲与天齐，杜月笙便韬光养晦，甘愿回避，他连自己的家都不回去，躲在顾嘉棠家长期作客，顾家门庭因杜月笙而来的热闹风光，他尽可能的减少避免。不仅如此，杜月笙尤能做到公开场合，决不拋头露面，为了表示他有退让归隐的决心，尤在上海各报大登广告，不惜将自己在抗战八年期间，放弃一切，冒险逃出上海，出钱出力，无役不从的许许多多功勋劳绩一字不提，反而谦冲自抑的说：
「天河洗甲，故土遄归，自维无补时艰，转觉近乡情怯！」
用这种深切「自责」的语句，卽令是**的「坦白」、「交心」，只怕也通得过了。退一步说，设若吴绍澍一定要故入「师」罪，何患无词，诬陷杜月笙是所谓的恶势力，那么有他自甘入罪的这几句话，不也可以当作吴绍澍的「最佳注脚」？
上海市民在北站的盛大欢迎，他躲过了，各界人士争相筹办的欢迎之宴，他一一谢绝不问世事，其程度的澈底，连上海市商会呒啥介事的聚餐，他也逊谢不遑，托故避过。尤且，不论何等人物，在杜月笙面前提起吴绍澍，他不但绝无怨言，反而声声赞誉，满口推许。依他想来，你要进取，我便退让，你要风光，我便隐晦，你要君临黄浦滩，我便乐为在你统治之下的含餔鼓腹之民，歌功颂德，掬乎至诚，难道说你吴绍澍还有不尽满意我杜月笙之处吗？堂堂杜月笙已经「心悦诚服」，伏下来当你吴绍澍平步青云的垫脚石了，以至诚对至佞，杜月笙认为他自己的做法无懈可击。
然而不然，吴绍澍妄想一把抓牢黄浦滩，诚如张九龄的感遇诗：「矫矫珍木巅，得无金丸惧？」吴绍澍金丸之发，唯有珍木之巅的珍禽，方可列为射击目标。杜月笙是五百万上海市民心目中的偶像，的领袖，的抗日战争英雄人物，尽管他朴质无文，生平未尝参加实际政治，同时他患有喘疾，体质素弱，但在外国人的观感之中，约翰根室称他为：「有把日本人当早餐吃掉的名气」，中美合作所副主任梅乐斯中将也说：「在上海的外国人，听到杜月笙的名字便会不寒而栗」。杜月笙名气这样响，地位如此高，吴绍澍对杜月笙的打击越多，越重，便越足以显示吴绍澍的人高马大，身手不凡，有杜月笙这么一个好靶子，光挨打，不还击，吴绍澍又何乐而不为呢？
于是，杜月笙越让，吴绍澍越凶，散散传单，贴贴标语犹不足，吴绍澍更进一步，他揷足新闻界，创办「正言报」，用「正言报」此大众传播工具，发为舆论，对杜月笙展开持续不断，愈演愈厉的攻讦，刺激。以「打倒恶势力」为主题的社论，开始有计划的逐日发表，传播，正言报成为吴绍澍最有力的武器他彷佛抱定了决心，每打杜月笙一记，便水涨船高，使自己的地位更增一级。
是可忍，孰不能忍？此一问题，开始在杜月笙的左右，引起争论杜美路作戴笠总部
继吴开先之后出任上海统一工作委员会秘书长的王新衡，膺命担任军统局上海区长，上海市调查室主任，上海市肃清汉奸案件处理委员会主任委员，他搭乘第一架由重庆直航上海的飞机，抵达上海。
杜月笙几乎已经忘记了，他还是国民政府行政院直辖「上海统一工作委员会」的主任委员，说起来，倒是唯有他这个职位纔能君临黄浦滩，而把党团政军大权一把抓。上海统一工作委员会的第一任秘书长由中央组织部副部长吴开先兼任，民国三十三年太平洋战争爆发王新衡自香港撤回重庆，他常到重庆汪山杜公馆，参与杜月笙的午餐晤谈，不久吴开先在上
海以被捕闻，上海统一工作委员会书长一席遂告虚悬王新衡问戴笠，可否向杜月笙自告奋勇，讨这个差使做，以使上海工作统一委员会这个重要机构不致形同虚设，渐趋瓦解。当时戴笠对杜月笙难有把握，他迟疑不决的说：
「恐怕杜先生不肯给你做啊，他手底下陆京士、朱学范，……都是这个秘书长的候补人选。」
其实王新衡早已心有成竹，他当时便说：
「试试看嘛。」
其结果，是杜月笙欣然应允，请王新衡担任上海统一工作委员会的秘书长，有此因缘，王新衡和东南方面普遍建立关系，因而膺选胜利后在上海权倾一时，职责无比重大的新职。
王新衡往见杜月笙，杜月笙十分之喜，寒暄过后，第一句话便问：
「新衡兄，你准备住在那里？」
「我刚刚到。」王新衡坦然回答：「先来拜望杜先生，住的地方还不曾安排好。」
于是，杜月笙便请王新衡住到杜美路，早年金廷荪为他建造的那一幢华丽宅第，五开间的门面，三层楼。杜月笙告诉王新衡说：他原打算五幢三层楼房子分三幢给他的三位太太，子女占两幢。那五幢华厦美仑美奂，每一间房都是套房，内里的卫生设备尤且五彩缤纷，各间不同。房子是金廷荪替他造的，设备则由美国成套的买来，抗战前固属华贵无比，抗战后还是精美绝伦。
但是，王新衡只需要几间房子，还包括办公室在内，不久后戴笠戴老板也到上海，急切间找不到合适的办公住宿场合，这是因为戴笠以身作则，避免物议，敌伪财产他有处理之权，却是沾也不沾。