Vogel legte 1943 in Gießen die Abiturprüfungen ab und wurde folgend in die Wehrmacht eingezogen. Bis Kriegsende war er Soldat. 1946 begann Vogel zunächst in Marburg und dann in München ein Studium der Rechtswissenschaft, welches er 1948 mit dem ersten und 1952 mit dem zweiten juristischen Staatsexamen. Schon 1950 erfolgte seine Promotion zum Dr. jur. 1952 beginnt Vogel zunächst als Assessor später als Regierungsrat eine Tätigkeit im Bayerischen Justizministerium. Zwei Jahre später wird er Amtsgerichtsrat in Traunstein. Ab 1958 leitet Vogel als Stadtrat das Rechtsdezernat der Stadt München. Zwei Jahre später wird er Oberbürgermeister der Stadt München. Bis 1972 übt er dieses Amt aus. Zum Ende hin darf er München als Gastgeberin der Olympischen Spiele 1972 repräsentieren, auch wenn diese von dem Attentat auf die israelische Mannschaft überschattet werden.

Seit 1950 ist Vogel Mitglied der SPD, seit 1970 im Bundesvorstand. Von 1972 bis 1977 ist Vogel zugleich bayerischer Landesvorsitzender der SPD.

Mit dem Kanzlerwechsel übernimmt Vogel 1974 das Justizressort unter Helmut Schmidt. Bis 1981 bleibt er Justizminister. In dieser Zeit (1972-1981) ist Vogel Mitglied des deutschen Bundestages. Zwischenzeitlich (Jan. bis Juni 1981) wird er Regierender Bürgermeister von Berlin. Daraufhin stellt ihn die Partei als Spitzenkandidat für die folgende Bundestagswahl auf. Vogel unterliegt als Kanzlerkandidat 1983 Helmut Kohl. Als Abgeordneter Berlins wird Vogel 1983 wieder Mitglied des Bundestages und wird Fraktionsvorsitzender der SPD, nachdem Herbert Wehner verzichtet hatte.

Bis 1994 bleibt Vogel Mitglied des Bundestages. In der Zeit von 1987 bis 1991 ist Vogel Parteivorsitzender der SPD. Dann gibt er seine Ämter an Björn Engholm aufgrund innerer Grabenkämpfe der Partei ab.

Ab 1996 engagiert sich Vogel für die deutsch-israelische Aussöhnung und wird 1998 mit dem Galinski-Preis ausgezeichnet.