Nasceu no dia 1º de setembro de 1835, em Vilna, antiga Lituânia, atual Polônia, era filho do casal André e Josefina, de famílias pertencentes a nobreza. Foi batizado com o nome de José e educado pelos pais dentro da religião cristã. Aos oito anos, entrou no Instituto para os Nobres, da sua cidade natal, onde seu pai era professor e diretor.
Quando Jovem, pensando em cursar estudos superiores, o pai sugeriu-lhe que freqüentasse a universidade de agronomia, mas ele preferiu estudar engenharia civil. Em 1852, mudou-se para a Rússia, onde ficou durante dois anos, mas não conseguiu vaga na Universidade de Petersburgo, Então, matriculou-se na Escola Militar de Engenharia.
A sua fé e religiosidade da vida cristã na vida juvenil decorreu à luz do Santuário de Nossa Senhora do Carmo. Era um aluno brilhante, mas estudando diminuiu a fé. Em 1855, terminado o curso básico, foi admitido para a Academia Militar Superior. Suas capacidades morais e sua inteligência realmente eram muito proeminentes, atingiu altos postos na carreira militar, apesar de que não era essa vida que gostaria, mas a Providência Divina o guiava nessa direção.
Em janeiro de 1863, apesar de ter renunciado, foi intimado para o cargo de ministro da Guerra da Lituânia. Assumiu, porque havia guerra contra a Polônia, e para lutar pela liberdade de seu povo e nação. Mas, também se reacendeu sua fé. Nesse mesmo ano fez sua confissão de arrependimento, comungou e iniciou uma vida de intensa espiritualidade e devoção a Jesus, José e Maria.
A Lituânia perdeu a guerra e ele acabou prisioneiro. Foi deportado para a Sibéria, levando consigo apenas o Evangelho e o livro "Imitação de Cristo" e um crucifixo bento, presente de uma de suas irmãs. Foram dez anos no campo de concentração nos trabalhos forçados e rezando com seus companheiros.
Libertado voltou a sua pátria, entrou na Ordem dos Carmelitas Descalços de Graz, aos quarenta e dois anos de idade, em 1877. Vestiu o hábito dos carmelitas e tomou o nome de Rafael de São José, em 1882, recebendo a ordenação sacerdotal.
Distinguiu-se no zelo pela unidade da Igreja e no apostolado incansável do sacramento da reconciliação. Foi trabalhar no Convento de Cezerna, na Polônia, país em que fundou diversas comunidades.
O grande reconstrutor da Ordem dos Carmelitas na Polônia subiu a pátria celeste no dia 15 de novembro de 1907, em Vadovice, cidade natal do papa João Paulo II que o canonizou em 1991.
A festa em memória a são Rafael de São José foi indicada para o dia 19 de novembro.