Sylvia Compson richtte enkele jaren geleden samen met Sarah McClure de quiltclub op. Haar familielandgoed Elm Creek Manor is sindsdien de thuisbasis van de quilters. Wanneer Sylvia op een dag de vliering opruimt, vindt ze drie prachtige oude quilts en het dagboek van een van haar oudtantes. Aarzelend begint Sylvia te lezen in haar familiegeschiedenis; haar voorouders blijken in de vroege jaren van Elm Creek Manor gevluchte slaven in veiligheid te hebben gebracht door ze onderdak te bieden. Elke pagina van het dagboek leidt weer tot nieuwe vragen, en uiteindelijk besluit Sylvia om haar vriendinnen van de quiltclub te vragen haar te helpen de familiegeschiedenis in kaart te brengen. Dan pas kan ze het verleden van haar familie onder ogen zien.