Nach dem Bericht des Irenäus war er ein Schüler des Apostels Johannes. Ebenfalls erwähnt wird er in den Schriften von Ignatius von Antiochia, insbesondere im Brief des Ignatius an Polykarp, aber auch kurz in den Briefen des Ignatius an die Magnesier und dem an die Epheser.

Von Polycarp selbst ist ein Brief an die Philipper erhalten (in englischer Sprache Epistle of Polycarp to the Philippians.)

Zusätzlich existiert noch ein Martyrium des Polykarp, welches von der Kirchengemeinde in Smyrna an die in Philomelium adressiert ist.