Roman autobiographique, c’est l'histoire d'un adolescent (l’auteur, Philippe Grimbert) dont les parents sont des athlètes. Il s’est inventé un frère imaginaire avec lequel il lutte toutes les nuits.

Ayant un corps malingre et chétif, ce garçon est complexé parce qu’il se compare à ses parents. De ce fait, ce garçon est obsédé par tous les corps qu’il voit et juge les personnes en fonction de leur apparence physique. Du côté paternel ses origines sont roumaines, et du côté maternel, elles sont lituaniennes. Le grand-père maternel était un violoniste violent qui a abandonné sa famille, et la grand-mère maternelle une modiste qui travaillait très dur. Une vieille masseuse prénommée Louise, considérée comme un membre de la famille,  impressionne le narrateur à cause de ses mains énergiques qui contrastent fortement avec sa physionomie molle. 

La famille a survécu à la deuxième guerre mondiale en s’enfuyant, et le narrateur entre au collège. Le narrateur imagine que ses parents se sont rencontrés au gymnase car le sport est leur passion commune, mais il apprendra plus tard que ça ne s’est pas du tout passé comme il l’imagine. Il fréquente Louise, une vieille femme juive. En classe, il visionne un reportage sur les camps d’extermination et se bat avec le capitaine de l’équipe de football qui vient de faire une blague antisémite, ce qui lui vaut de gagner l’estime de ses camarades. Le narrateur découvre qu’avant de se marier, ses parents étaient beau-frère et belle-soeur, et que son père avait eu un fils prénommé Simon avec sa tante qui était alors la femme de son père. Il découvre aussi que son frère Simon et sa tante Hannah (la maman de Simon) sont morts en Pologne dans un camp d’extermination. Le narrateur est déçu de constater que sa famille ne lui a jamais parlé de Simon par amour pour lui (pour le narrateur), pour ne pas qu’il soit tenté de se comparer à son frère qui avait comme son père un corps d’athlète. Le narrateur est de plus en plus jaloux de son frère qui, parce qu’il est mort, est parfait pour toujours. Le narrateur se rend compte que le frère imaginaire qu’il s’était inventé n’était pas le fruit de son imagination mais de son inconscient qui avait dû capter des signaux de l’existence de ce frère décédé et recomposer le puzzle. Cependant c’était si insupportable pour le narrateur qu’il a refoulé l’évidence jusqu’à la découverte de la peluche de Simon et les révélations de Louise.

On apprend ensuite que Maxime est tombé amoureux de Tania le jour où il a épousé Hannah. Tania était alors mariée à Robert, le frère d’Hannah. La guerre est ensuite déclarée, et les Juifs d’Europe sont persécutés. La famille pense à fuir dans l’Indre. Robert est mobilisé. Maxime est obsédé par Tania et Tania tente de refouler son désir pour Maxime en dessinant son corps nu. Maxime et Georges arrivent à rejoindre l’Indre grâce à un passeur. Hannah, Thérèse et Louise sont toujours à Paris lors des rafles. Les parents d’Hannah sont raflés et déportés. Hannah est terriblement jalouse de Tania qui a rejoint Maxime et Georges en zone libre à Saint-Gaultier. Désespérée, Hannah fait exprès de se faire rafler avec Simon.

Tania arrive à la ferme où Maxime est heureux de l’accueillir, mais l’absence de Hannah et Simon rend l’atmosphère pesante et tous sont angoissés par leur sort.

Maxime est fortement attiré par la beauté du corps de Tania mais par la suite un véritable sentiment d’amour naît de ce désir car il ne peut plus se passer de sa présence.

Le soir, il la rejoint dans son lit pour la serrer dans ses bras, puis, cédant à son désir, il s’autorise à faire l’amour avec elle. Esther et Louise sont scandalisées par l’attitude de Maxime mais elles voient aussi que son attirance pour Tania est plus forte que tout et Louise finit par y voir un signe du destin. Robert meurt dans un stalag mais Tania le pleure à peine car elle est trop amoureuse de Maxime. Hannah et Simon ne reviennent pas des camps de la mort. Au bout de quelques temps, Maxime se met officiellement en ménage avec Tania et le narrateur vient au monde. La famille cesse de parler de la guerre et des disparus, et Maxime change l’orthographe de son nom de famille pour en effacer la consonance juive, ce qui lui est reproché par Georges et Esther.

Le narrateur décide de faire des recherches et retrouve la trace d’Hannah et de Simon, déportés à Pithiviers puis à Auschwitz, et gazés le lendemain de leur arrivée.

Il trouve le courage de le dire à son père, puis à sa mère. Celle-ci, affaiblie par un AVC, n’est plus que l’ombre de la femme qu’elle était. Ne supportant pas sa déchéance, Maxime se suicide avec Tania pour mettre fin à son calvaire et en finir avec son sentiment de culpabilité.