Polykarp se narodil mezi lety 75 a 82. Jako dítě byl odložen. Ujala se ho zbožná vdova, která ho vychovala a přivedla k víře.
O jeho životě víme především ze spisů svatého Ireneje z Lyonu, jeho žáka. Polykarp byl učedníkem apoštola Jana a zřejmě se znal i s jinými apoštoly. Byl patrně posledním žijícím svědkem apoštolské doby.
Polykarp působil jako biskup ve Smyrně v Malé Asii (dnešní Izmir v Turecku). Biskupem byl podle tradice ustanoven samotným apoštolem Janem. To bylo v době, kdy bylo Polykarpovi pouhých třicet let. Na biskupském stolci pak vydržel více jak padesát let, což je vzhledem k tomu, že Polykarp žil v době pronásledování křesťanů, téměř neuvěřitelné.
Ve své křesťanské obci měl problémy jednak s pohany, ale také s kacíři. Proto se vypravil do Říma k papeži Aniketovi, aby projednal otázky církevní praxe a stanovení termínu Velikonoc, protože mezi Východem a Západem nebyla v tomto datu jednota. Svatý Polykarp sice nenašel v tomto shodu s papežem, nicméně se rozešli v bratrské lásce.
Po návratu z Říma se uchýlil na svůj venkovský statek, protože mu hrozilo nebezpečí z řad vládní moci. Zradou jednoho z otroků se však Římané dozvěděli o místě Polykarpova pobytu a přišli si pro něj. Polykarp podle legendy už nechtěl víc utíkat a když pro něj vojáci dorazili řekl: “Ať se stane vůle Boží“ a dokonce celou vojenskou kohortu pohostil a modlil se za ně.
Vojáci Polykarpa odvedli do Smyrny, kde ho soudil samotný prokonzul Statius Quadratus. Po Polykarpovi žádal, aby zapřel Krista. Ten mu odpověděl : “Sloužím mu osmdesát šest let a nikdy mi neublížil, ale zahrnoval mě dobrodiním. Jak bych se mohl rouhat svému Králi a Spasiteli.“
Prokonzul odsoudil Polykarpa k smrti. Nejprve měl být hozen lvům. Protože však byly hry ukončeny, nebylo toto možné. Proto měl být Polykarp upálen. Plameny se však světce nedotkly. Nakonec Polykarpa probodl dýkou kat. Toto se událo ve Smyrně roku 155.
Ostatky svatého Polykarpa jsou uchovány v římském kostele S. Ambrogio della Massima.
Polykarp je řazen mezi církevní otce, jeho svátek slavíme 23. února.
Mezi jeho atributy patří hranice, meč a koruna, zobrazován bývá nejčastěji jako biskup.
Je uctíván jako ochránce před ušními nemocemi. Toto se odvozuje od legendy, která vypráví, že než aby musel svatý Polykarp naslouchat gnostickým učením, raději si zacpával uši.