本书讲述年轻的赫斯特·普林与丈夫罗杰·奇林沃思婚后并无感情，她先于丈夫来到新英格兰，在异国他乡独自生活，丈夫则杳无音信。赫斯特与牧师阿瑟·丁梅斯代尔相恋，生下女儿珀尔。赫斯特被治安官判处通奸罪(adultery)，她的胸前须佩戴猩红色字母A以示惩罚，但她始终没有说出孩子生父的名字，而是与孩子一起过着离群索居的生活。奇林沃思来到波士顿后成为医生，与丁梅斯代尔成为好友，并发现了他的秘密，于是日复一日对牧师进行精神折磨，因复仇而变得残忍凶狠。随着珀尔一天天长大，懦弱的丁梅斯代尔愈加自责与痛苦，他决定与赫斯特离开新英格兰，开始新的生活。不料奇林沃思阴魂不散，最终牧师站出来将真相公之于众，死在赫斯特怀中。