São Celestino foi o primeiro Papa a determinar que os bispos não deveriam nunca negar a absolvição a alguém que estivesse morrendo.
Combateu as heresias, ajudou a esclarecer dúvidas doutrinais e combateu os abusos que se instalavam nas sedes episcopais.
Oração a São Celestino
Bendito seja Deus, que deu as chaves do céu a São Pedro e todos os seus sucessores, na figura dos Papas. Concedei-nos, ó Deus Altíssimo, pela intercessão de São Celestino, Papa e firme defensor da Verdade e da fé, a graça de sermos sempre firmes na defesa da fé católica e do papado. Por Cristo Senhor Nosso. Amém.