Sy Baumgartners leven is getekend door zijn diepe, blijvende liefde voor zijn vrouw Anna, die negen jaar eerder bij een zwemongeluk om het leven is gekomen. Baumgartner is inmiddels eenenzeventig jaar oud en gaat binnenkort met pensioen, na een roemruchte carrière als fenomenoloog en hoogleraar in de filosofie. Hij
raakt in toenemende mate verstrikt in spiralen van herinneringen. Die strekken zich uit van 1968, wanneer Sy en Anna elkaar ontmoeten als studenten in New York, naar hun gepassioneerde relatie in de daaropvolgende veertig jaar, en gaat terug naar Baumgartners jeugd in Newark en het leven van zijn in Polen geboren vader, een mislukte revolutionair en eigenaar van een kledingwinkel.
In Baumgartner, geschreven met Paul Austers kenmerkende scherpe oog voor schoonheid in de meest vergankelijke ogenblikken van het dagelijks leven, wordt de vraag gesteld: waarom onthouden we bepaalde momenten en vergeten we andere?