杜月笙对胡叙五渐形疏远，胡叙五便在杜公馆投闲置散，一日，他忽走访杜维藩，邀杜维藩一道做生意。
提起做生意，杜维藩倒是很有兴趣，当时他在建华街自立门户，一家六囗，开销不而收入缺缺，青黄不接时，积蓄用光，还得变卖手饰。
杜月笙每次谈到他几个儿子的生活问题，常常鼓励杜维藩他们兄弟三个说：
「你们应该去跟张云葆学学，就在香港做做生意，赚点铜钿。
否则的话，在香港天长日久的蹲下去，那能个维持法？」
张云葆是杜月笙的小朋友，在上海和到香港后，都做进出口贸易，尤其香港时期，他长袖善舞，获利倍蓰，沪上旅港商界中人，就数他春风得意，能够大赚钞票。
杜月笙叫他的儿子跟张云葆学，其实各人环境不同，运道殊异，发财的事不是投门拜师所可以学得来的，他无非希望他的儿子，能与张云葆看齐而已。
因此，当杜维藩听胡叙五说有生意可做，他不觉心中一喜，顿卽便问：
「叙五兄，你说要做什么生意？
」
但当胡叙五透露他心中的如意算盘，杜维藩不但兴趣全部消失，而且，他不惜兜头泼胡叙五一盆冷水，正色的告诫他道：
「叙五兄，现在时代不同了，这种生意，不要说做，连碰都碰不得。
从前老板做这个。人人认为将本求利，理所当然。但是此刻除了**，到处都把这个悬为厉禁，谁做谁就犯法，万一出个差池，准定会搅得身败名裂！
」
胡叙五一听话不投机，颇不开心，悻悻然的去了。后来杜维藩听说，他跟别人合伙做了一票，结果却被人家骗了一笔钱去
王新衡首次返台行
三十九年五月，王新衡奉召返台，行前，他去向杜月笙辞行，问杜月笙有什么事情交代？
杜月笙则郑重其事的答道：
「我已经写好了一封信，请你转呈。
」
他把那封上最高当局书取出，请王新衡先看一遍。杜月笙在信中备述他听说最高当局身体健康，精神奕奕，心中非常之高兴，他并且力陈自己决以「民国十六年时之**及効忠领袖态度」，继续努力，以求贯澈，他又说**虽已占据上海，但是他自己仍在上海留有若干关系，尤且随时可以派人潜往工作。
杜月笙十分热烈恳切的自动请缨，他说，不论最高当局有任何任务交办，他一定竭尽力量，设法达成。
王新衡赴台未几，旋又返港，他带来一份最高当局发给杜月笙的密电码本同时告诉杜月笙，他晋谒最高当局的经过。
最高当局起先有意留王新衡在台湾工作，但在看过杜明笙的信，并且听了王新衡的补充说明后，遂又决定派遣王新衡常驻香港，担当香港方面的重任。
得到如此圆满的复示，杜月笙矍然而起，抖擞精神，他实有无限的感奋。
杜月笙决心离开上海，赴港避乱之前，曾经扶疾往访黄老板，力劝他的金荣哥预早为计，也跟他一样，作避难香江的打算。
当时，黄老板推心置腹，向杜月笙吐露自己不得而已的苦衷，黄金荣说：
「月笙，我老了，这些年来，我跟你的境遇不同，我是能不出门便不出门，能不动顶好不动。
你算算，我今年已经八十岁，俗话说得好『人生七十古来稀』，我活到了八十一，就已经多活了十一年，今日死或者明日死，对我并无多大的关系。
」
黄金荣接下去娓娓细诉的说，自从他六十岁那年正式宣告不问世事，安享余年，他生活的目标，就祇剩下每天抽几筒大烟，上一趟混堂淴一个浴凑几位牌搭子碰几副铜旗。
除此三者以外，无复他求，也非有此三项享受而不欢。因此他堆满一脸苦笑诉与杜月笙：
「月笙，你替我想想，假使我去了香港，头一桩，羞馆里发现我抽大烟要捉。
第二桩，你叫我到那里去找碰铜旗的搭子？第三桩，香港有没有混堂，能否容我这八十多岁的人每天去淴趟浴，也是问题。
何况，树高十丈，叶落归根，我已风烛残年，能有几年好活？**来了，哪怕他们是狼心狗肺，三头六臂，充其量，叫我死吧，好歹我也死在家乡。
」
杜月笙听他金荣哥说得如此剀切透澈，心知其意已决，也就不再劝了，却是辞出来时，意味得出这便是最后的诀别，他忍不住洒了两行热泪。
到香港坚尼地台十八号定居，第一次听到金荣哥的消息，为上海来人说得绘声绘影，言之凿凿。
上海沦陷前夕，黄金荣唯恐炮火殃及，自曹河泾黄家花园迁居钧培里老宅，逐日淴浴、碰铜旗、吞云吐雾如故。
**进了上海，起先倒还安然无事，但是数月以后，忽有一日，足有一百多人气势汹汹的直扑钧培里，围在黄金荣公馆的大门口，大呼小叫，齐同咆哮，扬言要把黄老板家中打得稀烂这时候，八十一岁的黄板匕鬯不惊，从容镇定，他精神矍铄，大踏步抢出门外，面对着那一百多攮臂掳袖，疯狂暴跳的强徒，黄老板拉开嗓门便是声声怒吼：
「我就是黄金荣，你们各位今朝来，阿是要把我黄金荣的家里打烂！
」
多一半人被这白发皤皤老者的虎虎生气震慑，也有人杂在人丛中喊：
「是的！
今天一定要打烂黄家！」
「好！」斩钉截铁的一答：「要打烂，我会得自家来！
现在我把大门关上，我自家来打给你们看，等歇你们进来查，有一件物事勿曾打烂，你们尽管把我的房子拆了！
」
言讫，便命手底下人关大门，童颜鹤发的黄金荣，掳起衣袖，抄根门闩，就此要自己打烂自己的家。
这时侯，偏生又有不知从何而来的「调解者」，隔扇大门之外，作好作歹，高声排解，在说什么：
「好啦，好啦，黄金荣已经知错，看在他一大把年纪的份上，饶他一次」从八岁写到八十岁
紧接着，便又有人来拍门，黄金荣气喘咻咻的，亲自把门打开，外面有几个毛头小伙子，张牙舞爪，指手画脚，好生教训了黄金荣一顿。
一场毁家的纠纷，方告有惊无险，化弭于无形，百把个穷凶极恶的人，逐渐散去。
黄金荣八十多年来从不曾受过这大的侮辱，回到客厅，气呼呼的一坐，足有半晌说不出话，他老泪纵横，徒呼负负，那几个毛头小伙子教训了他些什么，也是一个字都不曾听见。
隔不了几天，又有**的干部上门来，他们满脸奸笑，却是态度强硬，逼牢黄老板，叫他「向人民大众坦白」，黄老板双手一摊的问：
「叫我坦白啥末事？
」
「你这一生的事，」**干部字字着力的说：「从你八岁起，到八十岁为止，请你详详细细写份自白书。
」
黄金荣有意反抗，但是家中各人苦苦劝他忍耐，「人为刀俎，我为鱼肉」，反抗是没有用处的。
迫于无奈，请位朋友写了厚厚一迭的自白书呈上去，从此以后便坐立不安，提心吊胆的等候判决。
其结果，是**派人来抄家，妙的是，毛病还并不出在黄金荣的自白书上。
黄金荣的二儿子黄源焘，十足的少爷、小开，抗战胜利后，上海治安欠佳，铤而走险的歹徒甚多，上海好白相的大少爷，普遍存在一种风气，那便是别一支手枪防身，并且跟治安、情报工作人员攀攀交情拉拉关系，图一个安全保障，黄源焘不会开手枪，可是也并不例外。
他有一支自备手枪，又跟一位姓戚的谍报人员很要好，上海撤退，姓戚的有一大捆步枪存放在黄源焘住处，这件事黄金荣确实并不知情。
倘若是在黄老板当权得势的那些年，钧培里黄公馆，长短枪支经常也有个五七十杆，这一大捆步枪，实在无啥稀奇，不过**来了，情形大不相同。
因此，当共党干部破门而入，从黄源焘的那一支手枪抄到了一大捆步枪时连经过多少惊风骇浪大场面的黄老板，居然也给吓得目瞪口呆，面如死灰。
当时，**仅祇把枪支没收，黄源焘则被带了去问话，**对他倒也并不为难，招出来枪支来源就此作罢。
然而，正当祖、叔、孙三代，黄金荣、黄源焘和黄启予之弟黄启明衷心庆幸，逃过一场大祸。
又数日，**来了一份通知，黄金荣的自白书看过了，「上级」认为他「有罪」，所给他的处罚是，每天早晨到黄老板自家开的「大世界游乐场」门口扫街。
「处在矮檐下，不得不低头」，老迈龙钟的黄金荣，八十一岁的白发老翁，由**干部押解，开始在大马路大世界门口手执长帚扫街了。
消息传出，全上海人为之震动，当日，也不知有多少人麕集街头，亲眼目覩**凌辱黄老板。
有人欷歔，有人愤慨，黄金荣则面部毫无表情，一步一步的在扫地矮胖身躯，彷佛一具笨重的机械。
于是**为扩大宣传，派了记者来采访，来拍照，许多「干部」围在黄老板的四周任意谑笑。
这张黄老板大世界扫街的照片，刊登在上海各报显着地位，不久报纸传到香港，一日，杜月笙心血来潮，忽然问起上海报纸为何多日不见？
他很关切上海方面的消息，家中各人则因为时值上海清算鬪争期间，唯恐杜月笙看到老朋友如何受到屠戮迫害，心中难过会得妨碍病体，所以有时候便藏过几张，不给他看。
齐巧这一日杜月笙一定要看新到的上海新闻报家人无奈，祇好再找出来，交到他的手上。
杜月笙一眼便看到「黄老板扫街」的那张照片，他的表情始则惊骇，继而切齿，然后便是深切的痛苦与悲哀。
他脸色灰败，身子摇摇晃晃，勉强的将那一段新闻读完，自此便坐在沙发里咻咻的气喘。