Bereits als Jugendlicher engagierte sich Weber politisch in der Zentrumspartei wurde bereits 1924 in Koblenz Rechtsanwalt.

Nach dem Zweiten Weltkrieg trat er in die CDU ein und gründete 1945 mit anderen Parteimitgliedern die CDU in Koblenz. Am 6. Februar 1947 wurde er zum ersten Präsidenten der Koblenzer Rechtsanwaltskammer gewählt; dieses Amt bekleidete er bis 1975. Ab 1949 ging er in den Deutschen Bundestag, dem er bis 1965 angehörte.

In diese Periode fällt mit dem 8. Mai 1965 der zwanzigste Jahrestag des Endes des Zweiten Weltkriegs; dieses Datum hatte sowohl politische wie auch strafrechtliche Konsequenzen: Nach dem deutschen Strafrecht verjähren Verbrechen wie Mord, Mordversuch und Beihilfe zum Mord nach dieser Zeitspanne. Das Bundeskabinett hatte sich bereits am 5. November 1964 mit dieser Problematik beschäftigt und entschieden, dass eine rückwirkende Verlängerung der Verjährungsfrist nicht möglich sei.

Im In- und Ausland entfachte diese Haltung der deutsche Bundesregierung eine Debatte um die Verjährung nationalsozialistischer Gewaltverbrechen; die DDR-Volkskammer hatte bereits am 1. September 1964 beschlossen, dass Kriegsverbrechen nicht verjähren könnten. Eine verunglückte Stellungsnahme im März 1965 von Webers Amtsvorgänger im Justizministerium, Ewald Bucher (FDP), heizte die ausserparlamentarische Diskussion weiter an und führte zu Reaktionen wie Karl Jaspers Essay "Wohin treibt die Bundesrepublik?" (München 1966).

Eine parteiübergreifende Gesetzesinitiative forderte aus politisch-moralischen Gründen eine vollständige Aufhebung oder zumindest Verlängerung der Verjährungsfrist; das Gesetz – ein Kompromiss, der die Verjährungsfrist bis zum 1. Januar 1950 verlängerte – wurde am 25. März 1965 mit grosser Mehrheit (344:96, 4 Enthaltungen) vom Bundestag angenommen.

Bundesjustizminister Bucher weigerte sich, das Gesetz zu unterzeichnen und erklärte seinen Rücktritt. Nachfolger bis zum Ende des 1. Kabinetts von Bundeskanzler Ludwig Erhard wurde Karl Weber, der vom 1. April bis zum 26. Oktober 1965 das Amt des Bundesjustizminister bekleidete, in dieser Funktion jedoch kaum auffällig wurde.

Von 1967-1974 leitete Weber daneben auch die Bundesrechtsanwaltskammer als Präsident. 1949 wurde Weber zum Justizrat ernannt.

Neben seiner juristischen und politischen Tätigkeit engagierte sich Weber im Kulturleben; so leitete er das 1808 gegründete Koblenzer Musik-Institut von 1947 bis zum 31. März 1969 als Intendant.

Auszeichnungen und Ehrungen: Großes Bundesverdienstkreuz mit Stern und Schulterband.

In seiner Heimatstadt Arenberg bei Koblenz wurde ihm zu Ehren das "Karl-Weber-Haus" benannt (Eröffnung: 26. Februar 2000).