Nachdem er zum Senator gewählt worden war, trat der zu den Demokraten gehörende Politiker am 28. Dezember 1832 im Zuge der Nullifikationskrise von seinem Amt zurück. Dies war der erste von nur zwei Vizepräsidenten-Rücktritten; der zweite war der von Spiro Theodore Agnew.

Bedeutung erlangte er weniger als Vizepräsident denn als Wortführer im Senat, wobei er politisch den weiten Weg vom Nationalisten und Einpeitscher des Krieges von 1812 zum Wortführer der Südstaaten und ihrer Sezessionsbestrebungen zurücklegte.

Im Interesse der Südstaaten formulierte er die Nullifikationsdoktrin, die besagte, dass Einzelstaaten das Recht hätten, solche Bundesgesetze, die ihnen schädlich seien nicht umzusetzen. In der Krise von 1832, bei der es um ein umstrittenes Zollgesetz ging, wurden sogar Bundestruppen in South Carolina eingesetzt, als es erstmals mit Sezession gedroht hatte. In dieser Krise handelte Calhoun als Wortführer der südstaatlichen Pflanzeraristokratie und bei der Sezession von 1861 berief man sich nicht zuletzt auf ihn.