1642年6月,在波士頓中以清教徒為主的小鎮裡,眾人齊聚一團的觀看一位女孩海斯特·白蘭因通姦罪而受到處罰。
她需在胸前配戴一個象徵「通姦」的紅字「A」,讓她覺得丟臉、羞愧,此外她還需站在斷頭台上三小時,讓眾人羞辱。在海斯特走向絞刑台時,台下的女性群眾對於海斯特的美貌和那高尚的樣子相當生氣。不論牧師們怎麼強迫甚至是誘騙海斯特,要她說出孩子的父親是誰,她都堅決不說出口。
海斯特從看台上俯瞰人群,她發現了一位個子不高、畸形的男子,那是她失蹤已久的丈夫。她以為丈夫已經在航海的時候失蹤死了。當她的丈夫看見海斯特站在台上時,他向身邊的一位圍觀的男士詢問發生了什麼事,而得知他的老婆海斯特犯了通姦罪。知情後,他便相當氣憤的呼喊且發誓,定要將孩子的父親,通姦的另一方,給揪出來並讓他受到懲罰。他自己選了一個新的名字,羅格·齊靈渥斯以便進行他的復仇計畫。
約翰·威爾遜牧師和亞瑟·丁梅斯代爾牧師不管怎麼盤問海斯特的姦夫是何人,海斯特都堅決不說出他的名字。她回到監獄中後,獄卒帶著醫生羅格·齊靈渥斯用草藥前來幫海斯特和她的小孩鎮靜下來。接著,羅格·齊靈渥斯與海斯特便攤開來說話,討論他們的婚姻和彼此所犯的錯。
羅格·齊靈渥斯還查問海斯特誰是她的情夫,但是海斯特仍不肯透漏任何訊息。羅格·齊靈渥斯不再追問,但他堅信有天自己終能找出情夫,還威脅海斯特最好把她的情夫藏好,免得被他揪出來。除此之外,他還警告海斯特假如她敢透露齊靈渥斯的真實身分,他定會毀了孩子的父親。海斯特答應了不說出兩人的關係,但她覺得自己有天將會後悔這個決定。
出獄後,海斯特居住在城鎮邊緣的一個農舍。靠著自己的繡工,賺微薄的錢,她與她的孩子珠兒過著既幽靜又樸實生活。但海斯特常因珠兒感到困擾,因為珠兒對於她胸前的紅字相當迷戀。隨著年齡的增長,珠兒越大越任性且越發不受控制,她的行為更是引發傳言傳到教會裡,教徒們因而建言,珠兒不應再由海斯特扶養。
當謠言傳至海斯特耳中時,海斯特去找貝林漢市長,威爾遜牧師和丁梅斯戴爾牧師正好在旁。海斯特在情急之下要求牧師亞瑟·丁梅斯代爾幫她說話,丁梅斯代爾說服了州長讓珠兒留在海斯特身邊。
由於丁梅斯代爾牧師的健康開始走下坡,所以市民們相當關心新來的齊靈渥斯醫師願意在丁梅斯戴爾家裡租一間房間,順道能醫治他們所愛戴的牧師。然而,兩人在近距離的接觸下,齊靈渥斯開始懷疑牧師的病原是因一些不能見人的罪而導致,並懷疑珠兒的父親就是牧師,因而用心理學施壓於牧師身上來試探。有次傍晚,齊靈渥斯趁丁梅斯代爾在休息時,拉開了丁梅斯代爾的牧師袍,他看見了丁梅斯代爾的蒼白胸前也有一個羞恥的象徵。
因內疚而痛苦的丁梅斯代爾,走到了當初海斯特被處罰的台子。他爬上台,在上面承認自己所犯的罪;但是,他卻無法在眾人面前承認。海斯特被丁梅斯代爾健康走下坡的情況給嚇到了,她決定不再遵守與齊靈渥斯的約定了。
幾天之後,海斯特在森林中遇見了丁梅斯代爾。海斯特告訴丁梅斯代爾她丈夫報復的心態,同時,也說服丁梅斯代爾偷渡離開波士頓到歐洲,他們可以重新開始新的生活。因為這個新計劃,讓牧師似乎又再次活了過來有了新能量。
選舉日,丁梅斯代爾做了一場最鼓舞人的佈道。但是,在教友們魚貫地離開教堂時,丁梅斯代爾竟爬上了絞刑台,承認自己所犯的罪,而後死於海斯特的懷中。當下很多目擊者說他們看見了恥辱的紅字在牧師的胸前,然而有些人卻否認這件事。而齊靈渥斯也因少了復仇的動力,繼而過世。他死後,把全部的豐厚遺產全留給了珠兒。
幾年之後,海斯特回到了當年住的農舍並繼續配帶著紅字。在她死後,她與牧師丁梅斯代爾葬在一起,共用一個簡單的墓碑。墓碑上深深地刻著一個銘牌,銘牌背景為黑色,並刻有字母 A。
艾瑪·甘迺迪-安德魯斯對霍桑在故事中用「海關大樓」埋下伏筆做一個評論,讓讀者知道這是一篇浪漫小說,因為霍桑在「紅字」的副標題中已經是這樣寫道。
在簡介中,霍桑描述唯物主義和夢幻狀態之間為「中立地帶」,這意指在真實世界與童話世界間,而現實可能與想像相遇,並互相自然的引響滲透彼此。這種由夢幻狀態和寫實主義的結合,給予作者空間去探索發展主題。