Die Handlung des Romans spielt in einer strenggläubigen Siedlung in Neuengland zu Zeiten des amerikanischen Puritanismus, also gegen Ende des 17. Jahrhunderts. Hawthorne erzählt die Geschichte der Ehebrecherin Hester Prynne, die trotz öffentlicher Anprangerung den Vater ihres illegitimen Kindes nicht nennen will (ihr Ehemann gilt zunächst als auf See verschollen). Zur Strafe muss sie jederzeit ein scharlachrotes 'A' auf ihrer Brust tragen. Der Leser erfährt bald, dass es sich beim Vater des Kindes, einer Tochter namens Pearl, um Arthur Dimmesdale, den Pfarrer des Dorfes, handelt.