光绪十九年，杜月笙六岁，张太夫人为他束发受书，备下束修，进了一家私垫，垫师是一位瞿老太太，多年后她还记得起杜月笙这个孩子来，她对由她启蒙的杜月笙，总是嫟爱而欢然的赞誉：
「月生小时候读书，聪明是聪明格，就是相当的顽皮！
」
这一年，三月，上海忽自西北来台风，水雹随之急降，大者如拳，小者如豆。
猛一阵风雹，使得全上海的麦苗尽摧。
光绪二十年，甲午，朝鲜东学党乱起，清廷追兵敉平，遂与日本开战，而海陆两路均败，启日人觊觎我国土之贪念。
同年，孙中山先生创立兴中会，于美国之檀香山，国民革命，于焉有所契机。
上海方面，平静无事，人海中的一泓小小漪涟，张太夫人无法撑持杨树浦那片小米店，被迫关门歇业，她带着七岁的杜月笙回高桥。
房子是有得住的，生活费用全无着落。她基于对月笙的一片爱心，咬紧牙关，也去帮人家洗衣服，赚几文钱，还不移两母子的伙食。
境遇是如此的困苦，张太夫人仍还殷殷的以杜月笙前途为念，她深知杜月笙天赋聪明，像他这样的孩子应该好好读书，她利用洗衣工资，节衣缩食，每月凑五角钱，送杜月笙到一家私塾读书。
一连读了四个月，到第五个月开始必须缴费时，她实在拿不出钱来，她和杜月笙抱头痛哭，杜月笙自此辍学。
光绪二十一年，杜月笙八岁，虽说是髻龄童子，但他八年之间失恃失怙又失却了弱妹，幼小心灵实已饱经磨折，偏在这时他又受到更深钜的刺激，张太夫人因为没有人给她衣服洗，无法生活，竟然被迫脱离杜氏门庭，一去杳如黄鹤。
那年正月廿二日，戌时，上海大地震，房舍人畜，损失无算，秋季又有瘟疫盛行，患吐泻症死者甚多，俨然是霍乱重演。
当时浦东一带，盛行一种流氓地痞同流合污的组织，名曰：「蚁媒党」，声势浩大，从者甚多。
他们的行径卑劣，等于人口贩子，但凡见了蓬门弱质，青年寡妇，必定千方百计，威逼利诱，以堕其节，以遂其欲。
或则逼她们改嫁字人，或则迫她们卖身青楼，种种罪恶，罄竹难书。因此上海士绅痛针协时弊，纷纷组织保节会以谋对抗，旌扬节妇，助以衣食之需，三林乡、陈行乡俱由上海邑绅秦荣光倡呼设立，唯高桥尚未纳入范围。
而张太夫人究系怎样坠入奸计，流落何方？以当时杜月笙年幼，始终无法查究。
继母神秘失踪，杜月笙不但乏人照料，而且连饭都没有得吃。
对面住的堂兄杜金龙，学徒出身，在上海做烟纸店生意，一年到头，难得回家几天。
所谓烟纸店，是一种摆在马路旁边的钱币兑换摊，因为上海五方杂处，币值繁复，一两银子换多少制钱？
几千铜钱折几块鹰洋？零数凑整笔，整笔化零数，成为人们的日常需要，于是这一类小型兑换店应运而生，街头巷尾，所在多有。
业者整天守住摊子，换得的是蝇头小利，养家活口都很困难。
堂兄常年不在家，堂嫂那边常时缺米缺油，杜月笙不便在他们家就食。
八岁的小孩全无生活能力，饿了些时；他只好哭哭啼啼，找上外婆家，外婆是他生母朱太夫人的母亲，对这个孤苦伶仃、饥寒交迫的外孙，相当钟爱。
可是外家境况一样的苦，一家大小；都靠杜月笙的老娘舅朱阳声，做泥水匠渡日。
多一口入吃饭，那怕是个小孩子，也形成了他们沉重的负担。
江南有句俗谚：「冷粥冷饭好吃，冷言冷语难受！
」站起来只有饭桌高的杜月笙已经懂得察言观色，见机知趣。娘舅一家，除了老外婆，很少有人给他好脸色看，为了争取老娘舅和舅母的好感，杜月笙整天沉默寡言，埋头工作，一看到家里有事，便自动的掳起袖子干。
他去拾草、打柴、背那足足有他半人高的箩筐、柴夹；后园里浇粪，种菜，帮外婆舅母煮饭，带领小孩，替老娘舅跑街，采买。
他以为咬紧牙关，拼命的做，可以得到舅父舅母的欢心，让他在外家存得住身。
没想到舅父舅母照样对他施以白眼，偶然犯了点小错，不是厉声叱骂，便是大巴掌，爆栗子，打得他晕头转向，凿得他金星四迸。
上十岁的小孩子懂得什么呢？辛勤努力全归无效，讨好卖乖无人置理，他几乎对整个人世失望，他永远没法讨人家欢喜，他是外家的累赘，厌嫌物，眼中钉。
不管他每天要做多少事，娘舅舅母始终认定他是各吃闲饭的，拋不掉的包袱。
过三年忍气吞声，泪洒心田得日子，坏运到又来了。光绪二十四年，杜月笙十一岁，浦东的农夫犁地，在烂泥巴里掘出了黑米；于是谣诼纷纭，人心惊惶，说是又将有天灾**降临。
果不其然，当年的五月二十，乎起大风，呼啸过境时，伤损了无数稼穑。
从此米价大涨，早晚行市不同，最贵的时候，每石涨到七千二百文，老娘舅自顾不暇，三餐不继，对这个多余的累赘，供应难免匮乏，杜月笙常时饿得头昏眼花，坐在路边晒太阳。
出身寒微先世难考
中华民国二十年六月十日，筹建经年的「杜氏家祠」落成；时值杜月生笙先生四十四岁，事业绚烂之极，声誉如日中天，以他个人的心情来说，「衣锦荣归，踌躇满志」，约略可以当之。
因为他出身一个小商人的家庭，三岁失恃，五岁失怙，八岁那年，爱他如同己出的继母，以生活所迫，脱离杜氏门庭。
杜月笙依食外祖母家，三餐不继，衣履难周，更历尽了人情寒暖，世态炎凉，诚所谓「寒日饮冰；点滴心头」。
十五岁时他想出外谋生，苦无资斧，脑筋动到祖传的半幢破房子上，被他舅父饱打一顿，又受了姑丈的严词呵责，他一怒而离开家乡赤手空拳，渡江到上海求生存，打天下。
外祖母送他到半途之中的八字桥，相对泣别，当时他泪眼望着高桥，立了个誓：
「来日我若不能荣宗耀祖，誓不言归」
十九年后杜月笙「奉主入祠」，众庶腾欢，百朋宠锡，盛况堪称空前，时至今日，仍然有人津津乐道，许为民国开元以后，太平盛世的无上豪举。
今总统蒋公颁赠匾额，再赐祝词，此外题赠匾额的还有三位退职总统暨执政，徐世昌、曹锟、段祺瑞；以及吴佩孚、章太炎、于右任、李烈钧、张学良、张宗昌、马福祥、班禅等，致翰章祝词的有胡汉民、汪精卫、郑孝胥、杨度、何成浚、谷正伦、杨杰、邓锡侯等。
全国各省各埠，均派代表专程致贺。在杜月笙与其家人之后列队行进的亲友，多达五六千人。
上海市民，几于空城而出，麕集街道两侧参观。曾有人说，当时盛况，较诸伦敦英皇加冕，亦无逊色。
然而无可否认，杜月笙在这一派花团锦簇，雍容华贵之中，他的内心仍有几许悲酸，一缕惆怅。
除了回首当年的艰辛，他还有一腔憾恨；由于父母死得早，近支族人丁口单薄，杜月笙不但对他的先世茫无所知，甚至连他祖父的名讳也说不上来。
幸有一代朴学大师，古文泰斗章炳麟（太炎）先生，根据杜月笙儿时听闻杜家是由浙江海宁迁来这一点，详征博引，考校杜氏世系，确定江南之杜，以山阴杜衍始着。
章太炎先生为此特地写了一篇「高桥杜氏祠堂记」，为传诵一时的皇皇之作，同时也是为杜月笙写传记，最重要的一篇文献
「杜之先出帝尧。
夏时有刘累，及周封于杜，为杜伯。其子湿叔，违难于周，适晋而为范氏，范氏支子在秦者复为刘，以启汉家。
故杜也、范也、刘也，皆同出也。杜氏在汉也，有御史大夫周，始自南阳徙茂陵。
自是至唐世为先望。其八皆祖御史大夫。惟在濮阳者祖七国时杜赫，自江以南无闻焉。
宋世有祁国公衍实家山阴，江南之杜自是始着也。高桥者，上海浦东之乡也。
杜氏宅其地，盖不知几何世？其署郡曰京兆。末孙镛自寒微起为任侠，以讨妖寇，有安集上海功，江南北豪杰皆宗之。
始就高桥祠堂祀其父祖以上，同堂异室之制，近世虽至尊犹然。故诸子庶不立别庙，独为一堂，以昭穆叙群主，盖通制然也。
凡祠堂为址八亩，其壖地以诗设塾及图书馆，所以流世泽帅后昆也。余处上海，久与镛习识。
祠成而镛请之为记。夫祠堂者，上以具岁时之享，下使子孙瞻焉，以捆致其室家者也。
杜氏在汉唐，其为卿相在以十数，盛矣。上推至帝尧，又弥盛矣。虽然，自尧之盛，尚不能覆露其子，使袭大宝，其余虽登公辅，赐汤沐之邑，曾微百年，后之人至不能指其先世里居所在，此镛所知也。
为子孙者，岂不在于自振拔乎哉？和以处宗族，勤以长地材，福倍汉唐盛世可也。
其兄弟不辑其居处，日偷祸倍，矜寡无告可也。抑闻之，古之训言，保姓受氏，以守宗祊，世不绝祀，不可谓不朽。
称不朽者，惟立德立功立言，宜追视杜氏之先，立德莫如大司空林，立功莫如当阳侯预，立言莫如岐公佑，其取法非远也。
镛既以讨贼有功，其当益崇明德，为后世程法。然后课以道蓻，使其就文质，化为畔，以跂于古之立言者。
有是三者，而济以和宗族，勤地材，则于守其宗祊也何有。不然，昔之九望，奄然泯没于今者七八矣。
虽有丹楹之座，穷九州美味之飨，其足以传嗣者几何？吁，可畏也，乃记之云尔。
」
章文中所称的：「宋世有祁国公衍实家山阴，江南之杜自是始着也。
」以及：「自尧之盛，尚不能覆露其子，使袭大宝，其余虽登公辅，赐汤沐之邑，曾微百年，后之人至不能指其先世里居所在，此镛所知也。
为子孙者，岂不在于自振拔乎哉？