Seine Eltern waren Kurfürst Friedrich III (1515-1576) und Marie von Brandenburg-Kulmbach (1519-1567). Im Gegensatz zu Friedrich III. hing er nicht dem calvinistischem Protestantismus an, sondern bevorzugte den Lutheranischen. Dies setzte er auch an der Universität Heidelberg durch, indem er einige Säuberungsmaßnahmen vornahm. Die calvinistischen Theologen fanden bei Fürst Johann Casimir, ein Bruder von Ludwig, in Neustadt an der Weinstraße Schutz und errichteten das "Collegium Casimirianum".