Er besuchte das Berthold-Gymnasium in Freiburg. Nach dem Abitur studierte er in seiner Heimatstadt und absolvierte sein Referendariat wiederum am Berthold-Gymnasium, wo er von 1920 bis 1930 als Professor tätig war. Von 1931 bis 1934 wirkte Leo Wohleb als Ministerialreferent beim Kultusministerium. Nach Auseinandersetzungen mit Vertretern der Nationalsozialisten wurde er an das Baden-Badener Gymnasium Hohenbaden versetzt. Dort war er bis 1945 als Schulleiter tätig. Als Vorsitzender der neu gegründeten Badischen Christlich-Sozialen Volkspartei wurde Wohleb 1947 zum badischen Staatspräsidenten gewählt.