在1920年代的上海,陈绍常(石挥饰)是一位受人尊敬的小学校长。他独自抚养着两个儿子建中和建平和一个女儿建英。他的大姐劝他续弦,但陈绍常因为目睹挚友的爱女刘敏华备受后母虐待而决定不娶。
后来,敏华(朱嘉琛饰)辞别陈绍常并迁居外地生活了十年。两人再见面时,敏华已经成长为独立自强的新女性,她不愿再受后母摆布,于是拜托陈绍常介绍一份工作给她。随后,她成为了陈绍常的同事。
成年后的建中(韩非饰)如愿以偿地成为了某家银行的职员,并结识了其女冯丽君(李浣青饰)。他们很快变得亲密无间,社会地位也日益提高。建中夫妇认为陈绍常卑微的小学校长身份丢了他们的脸,劝他退休在家做老太爷。虽然陈绍常一百个不情愿,但也乖乖听从了他们的建议。
然而,赋闲在家的日子并不好过。每日时间都像那块坏掉的老怀表般静止不动。而将无聊心情讲给家人听时,家人或埋怨他有福不知享、或自顾不暇无暇顾及他,他的失落一日比一日多,与建中夫妇的矛盾也越来越严重。
又到了一年清明时节,陈绍常在拜祭亡妻时遇见前来祭母的敏华。她认为中年的陈绍常正处于事业的黄金期,劝他再回学校教书。然而,当他偷偷瞒着建中再回学校教书的事情泄露后,建中对他的态度更加冷淡。但他已经铁了心。
“天意怜幽草,人间爱晚晴”,之后,他无意间发现自己与敏华早已两情相悦,决定与她结婚。此事更令建中夫妇大为恼火。