Er wurde in Schwiebus in Niederschlesien als Sohn eines reichen Bauern geboren. Von 1524 bis zu seinem Tode lebte der musikalische Autodidakt in Magdeburg, wo er als Kantor an der evangelischen Schule arbeitete. Der Stadtrat und Musikverleger Georg Rhau aus Wittenberg war ein enger Freund Agricolas. Er veröffentlichte dessen theoretische Arbeiten, die wertvolle Beiträge zum Wechsel vom alten zum neuen System der Notation enthalten.

Unter Agricolas anderen theoretischen Arbeiten ragt "Musica instrumentalis deudsch" (1529), eine Forschungsarbeit über Musikinstrumente und eines der wichtigsten Werke der frühen Orgelkunde, heraus.

Agricola war außerdem der erste, der vier Teile von Martin Luthers Choral "Ein' feste Burg" vertonte.