Goppel studierte von 1925 bis 1929 Rechtswissenschaften in München. Seine politische Karriere beginnt 1930 mit dem Eintritt in die Bayerische Volkspartei.

Nach dem zweiten Weltkrieg schließt Goppel sich der neu gegründeten Christsozialen Union an. Er wird 1947 Landrat von Aschaffenburg. Bereits 1954 rückt er in den bayerischen Landtag auf, in dem er bis 1978 verbleibt. Von 1958 bis 1962 bekleidetet er unter Hans Ehard das Amt des Innenministers. 1962 folgt er diesem im Amt nach. Goppel kann seine Stellung als Landesvater sechzehn Jahre lang behaupten, bis er schließlich 1978 von Franz-Josef Strauß abgelöst wird. Ab 1979 verbringt Goppel die letzten Jahre seines politischen Lebens im Europaparlament.

Mit seiner Frau Gertrud hat er fünf Söhne, u.a. den bayerischen Politiker Thomas Goppel.