十多年后，黄生俄然病倒。他的儿子闻讯赶来，非常哀伤。黄生笑着说：“这是我的生期，又不是我的死期，有甚么可悲伤的呢？”又对羽士说：“今后牡丹花下会生出红色花芽，长五瓣叶子，那就是我。”随后，他就不再开口了。黄生被儿子抬回家，不久就死了。
以后，连续几天绛雪都没有来。黄生思念香玉，展转不眠。一天，冷雨敲窗，黄生披衣而起，在灯下吟诵了一首诗。
及期，卧病不起。源为之迎医，女不欲，曰：“曩固已与君言矣，人缘之契，佳耦之情，尽于此矣。”即以手握源臂，而与之诀曰：“儿以幽阴之质，得事君子，荷蒙不弃，周旋许时。往者一念之私，俱陷不测之祸，但是海枯石烂，此恨难消，地老天荒，此情不泯！今幸得续宿世之好，践往世之盟，三载于兹，志愿已足，请今后辞，毋更觉得念也！”言讫，面壁而卧，呼之不该矣。源大伤恸，为治棺榇而殓之。将葬，怪其柩甚轻，启而视之，唯衣衾钗珥在耳。乃虚葬于北山之麓。源感其情，不复另娶，投灵隐寺削发为僧，终其身云。
在黄生的经心庇护下，那花芽儿日渐茁壮。到了春末，那牡丹已有二尺多高了。黄生回家时，送给羽士一些银子，嘱托他每天给花儿浇水。
一天早晨，香玉神采惨淡，仓促走出去对黄生说：“我们就要长别了。”黄生忙问启事，她只是用衣袖拭泪，说这是定命，不能说出。她哭泣了整夜，天刚亮就走了。黄生非常不解。
第二天，黄生去看土穴，牡丹已抽芽了。黄生便遵循香玉的话去做了，每天都用心灌溉，又在牡丹四周做了雕栏来庇护。香玉来了，非常感激。黄生筹算要将她移到家里去，香玉说：“我身材衰弱，再也经不起伤害了。何况万物发展各有必然的处所，我本不是生在你家，硬要违犯反而折寿。只要你我相爱，重聚的日子就快了。”
今后，每当黄生寥寂时，绛雪老是前来。来了二人便宴饮作诗，偶然绛雪并不过夜，黄生也不禁止。黄生常感慨：“香玉是我爱妻，绛雪是我良朋啊。”每次黄生都问她：“你是院中第几株？但愿你早奉告我，我好移到家中，免得你像香玉一样被恶人夺去，遗恨百年。”绛雪说：“故乡难移，奉告你也无益。你的老婆尚且不能从终，何况朋友呢？”黄生不听她的，强拉着绛雪到院子里，每到一棵牡丹旁就问：“这是你吗？”绛雪不答，只是掩口而笑。
黄生上前拉住她的手说：“你秀外慧中，真叫人喜好得要死。请你此后有空就来，不要比及早晨。”
黄生读了，泪如雨下，并抱怨她来的次数太少了。绛雪说：“我不能像香玉那样给你暖和，只能给你一点欣喜罢了。”黄生想与她欢好，绛雪答复道：“相见的欢乐，何必在此？”
绛雪说：“我原觉得幼年墨客，十个有九个是轻浮后辈，没想到你竟是个至情之人。不过我与你来往，只论友情。假定想日夜密切，我是不能做的。”说完就要出门。黄生挽留说：“香玉长离，令人寝食俱废。如果你能伴随我一会儿，也可使我略微感到欣喜，你如何如此断交无情呢？”绛雪只得伴他消愁，天明才分开。
牡丹也多情
这时，黄生又抱怨绛雪不来。香玉说：“假定你必然要她来，我有体例。”二人挑灯来到耐冬树下，香玉折了一根草茎做尺码，自树下而上量到四尺六寸之处，按在那边，让黄生用两手搔挠。一会儿，绛雪就从背后现身了，笑骂说：“你这个丫头，就会助纣为虐。”三人拉动手进屋，香玉说：“姐姐不要怪我，你就临时陪陪郎君吧，一年后就不会滋扰你了。”绛雪只好应允。