Xavier Macary était célèbre en 1973 pour son rôle de l'amant de Jean-Pierre Aumont dans la Nuit américaine de François Truffaut. Durant la même année il joue le rôle du Comte de Guiche aux côtes de Louise de La Vallière alias Claude Jade dans le Château perdu.

En 1979 il est Martin dans Martin et Léa d'Alain Cavalier et il retrouve François Truffaut en 1983 pour Vivement dimanche dans le rôle de Bertrand Fabre, l'ex de Fanny Ardant. Le réalisateur Patrice Leconte lui donne le rôle de Philippe aux côtés de Michel Blanc et d'Anémone dans Ma femme s'appelle reviens (1982).

Il joue son dernier rôle en 1988 de Paul dans Quelques jours avec moi de Claude Sautet.