Nascido no dia 1o de setembro de 1835, em Vilna, capital da Lituânia, São Rafael de São José era filho do casal André e Josefina, ambos de famílias nobres. Foi batizado com o nome de José e educado pelos pais dentro da religião cristã. Aos oito anos, ingressou no Instituto para os Nobres, da sua cidade natal, onde seu pai era professor e diretor.
Na juventude, pensando em cursar estudos superiores, o pai sugeriu-lhe que freqüentasse a universidade de agronomia, mas ele preferiu estudar engenharia civil. Em 1852, foi para a Rússia, onde ficou durante dois anos, mas não conseguiu vaga na Universidade de Petersburgo, Então, matriculou-se na Escola Militar de Engenharia.
A sua fé durante a vida juvenil decorreu à sombra do Santuário de Nossa Senhora do Carmo. Era um aluno brilhante, mas estudando perdeu a fé. Em 1855, terminado o curso básico, foi admitido para a Academia Militar Superior. Seus dotes morais e sua inteligência realmente eram muito evidenciados Atingiu altos postos na carreira militar, apesar de que não era essa vida que pretendia, mas a Providência Divina o guiava nessa direção.
Em janeiro de 1863, apesar de ter renunciado, foi convidado para o cargo de ministro da Guerra da Lituânia. Assumiu, porque havia estourado a guerra contra a Polônia, para lutar pela liberdade do seu povo e nação. Mas, ao mesmo tempo, também se reconciliou com a fé. Nesse mesmo ano se confessou, comungou e iniciou uma vida de intensa espiritualidade e devoção a Jesus, José e Maria.
Os lituanos foram os perdedores e ele acabou prisioneiro. Foi deportado para a Sibéria, levando consigo apenas o Evangelho, o livro “Imitação de Cristo” e um crucifixo bento, presente de uma de suas irmãs. Foram dez anos no campo de concentração passados nos trabalhos forçados e rezando com seus companheiros.
Libertado e repatriado, entrou na Ordem dos Carmelitas Descalços de Graz, aos quarenta e dois anos de idade, em 1877. Vestiu o hábito dos carmelitas e tomou o nome de Rafael de São José, em 1882, quando recebeu a ordenação sacerdotal.
Distinguiu-se no zelo pela unidade da Igreja e no apostolado infatigável do sacramento da reconciliação. Foi trabalhar no Convento de Cezerna, na Polônia, país em que fundou diversas comunidades.
O grande restaurador da Ordem dos Carmelitas na Polônia morreu no dia 15 de novembro de 1907, em Vadovice, cidade natal do papa João Paulo II, que o canonizou em 1991. A festa em memória a são Rafael de São José foi indicada para o dia 19 de novembro.