Drittes von fünf überlebenden Kindern des Ehepaars Brion, einer Pfarrersfamilie. 1760 nahm der Vater Jakob Brion eine Stelle als Dorfpfarrer in Sesenheim an, wo Johann Wolfgang von Goethe der Familie, und insbesondere der Tochter, während seines Aufenthalts in Straßburg im April 1770 begegnete.