海絲特正站在舞臺上，突然她看到多年未見的丈夫混在人群中，但她沒有認出他來。
當地政要坐在教堂建築的陽臺上。州長在這裏主持了她的審判。丁梅斯代爾牧師勸她說出她的同夥，但她拒絕了。神父暗暗驚嘆她驚人的力量和寬廣的胸懷。
海絲特再次被投入監獄。她的丈夫齊靈渥斯作為壹名醫生前來探望她。齊靈渥斯認為醜陋蒼老的自己和年輕美麗的海絲特結合本身就是壹個錯誤，因此沒有對她進行通奸調查。但他發誓要找出共犯，並要求海絲特對他們的關系保密。
出獄後，海絲特帶著女兒住進了遠離人群的小屋，以縫紉為生。盡管生活艱難，她沒有忘記幫助別人。胸前的紅字打開了她的新視野，她覺得自己能透過人們表面的貞潔看到黑暗的真相。
總督聽信謠言，考慮取消海絲特教育女兒珠兒的權利。海絲特愛這個野女兒勝過愛自己的生命。在丁梅斯代爾牧師的勸說下，海絲特得以把女兒追回來。
自從海絲特被公開懲罰後，丁梅斯代爾壹直情緒低落，無法從久病中恢復過來。齊靈渥斯以醫生的身份陪伴著他，但他那些看似無意的話語和句子卻對丁梅斯代爾構成了精神折磨，丁梅斯代爾的病情越來越嚴重。
壹天晚上，牧師跑到公共舞臺上。海絲特碰巧帶著她的孩子們經過這裏。牧師叫他們壹起站在恥辱臺上。並表示自己那天缺乏站出來的勇氣，現在要彌補。這壹幕在黑暗中被齊靈渥斯看得清清楚楚。
海絲特知道齊靈渥斯不時地折磨著丁梅斯代爾。她尋找機會懇求他停止糾纏牧師。齊靈渥斯醫生拒絕了，他想將復仇進行到底。仇恨和邪惡的靈魂扭曲了他的臉。
為了寬慰牧師備受折磨的心，海絲特告訴了他她與齊靈渥斯在森林裏的真實關系。她說她和牧師的關系是神聖的，齊靈渥斯侵犯了心靈的神聖安寧，是更大的罪犯。丁梅斯代爾牧師被海絲特說服了，決定帶著她和她的孩子們逃到壹個沒有白人蹤跡的地方，自由自在地生活。在離開之前，牧師必須在選舉日做壹次重要的布道，所以海絲特安排了車票。
選舉日那天，海絲特在街上遇到了她第二天要乘坐的那艘船的船長，船長無意中透露齊靈渥斯也將乘坐這艘船。海絲特完全絕望了。
傳教士的布道非常成功，但布道結束後，他臉色變得蒼白。他來到公眾臺前，與海絲特和珠兒壹起站了起來。他像壹個垂死的人壹樣，用莊嚴而可怕的聲音當眾承認了自己的罪行。他撕開胸前的聖環，露出法衣上佩戴的紅字。牧師很快就去世了。
齊靈渥斯不久後也去世了，他把財產留給了珠兒。海絲特帶著珠兒離開了這裏。幾年後，珠兒在大洋彼岸建立了幸福的家庭，海絲特獨自回到了波士頓。她仍然胸前戴著紅字，到處行善。這時，恥辱的紅字已經逐漸成為能力和美德的象征。在她去世之前，海絲特吩咐在她的墓碑上只能刻壹個“A”字。