À l'époque préislamique, la ville s'appelait Yatrib. C'était un groupe de hameaux situés dans une oasis fertile. Deux tribus, les Aws et les Hazragh, venues d'Arabie du Sud, y exerçaient la prépondérance sur trois tribus juives établies avant elles dans l'oasis. Les deux tribus arabes passaient leur temps à se quereller, et la venue de Mahomet joua un rôle pacificateur. Ce dernier était arrivé à Yatrib en 622 (c'est l'Hégire, point de départ du calendrier musulman), après avoir quitté discrètement La Mecque.

Après être reparti combattre les Mecquois, qu'il vainquit en 629, le Prophète revint vivre à Médine, où il mourut et fut enterré (632). La ville conserve toujours son tombeau, ainsi que celui de sa fille Fatima, morte également en 632, et ceux des premiers califes.

Le pèlerinage de Médine attire de nombreux fidèles mais, contrairement à celui de La Mecque, il n'est pas obligatoire.