Nascido de uma família grega de Rossano, ele foi casado (ou viveu junto) por um tempo e teve uma filha. Ele se converteu por causa de uma doença e, daí em diante, se tornou um monge e um propagador da regra de São Basílio na Itália.
Ele era conhecido por sua vida asceta, por suas virtudes e por sua erudição teológica. Por um tempo, ele viveu como um eremita e, posteriormente, passou algum tempo em diversos mosteiros que ele ou fundou ou reformou. Ele esteve também por um tempo em Monte Cassino e no Mosteiro de Alexius, em Roma.
Quando o papa Gregório V (r. 996 - 999) foi expulso de Roma, Nilo se opôs ao usurpador Filogato de Piacenza, o antipapa eleito como João XVI. Posteriormente, quando Filogato foi torturado e mutilado, ele repreendeu tanto Gregório quanto o imparador do Ocidente Otão III pelo crime.
A principal obra de Nilo foi a fundação, em 1004 d.C., do famoso mosteiro grego de Grottaferrata, perto de Frascati, em terras doadas por Gregório, conde de Tusculum, do qual ele se tornou o primeiro abade. A abadia continua até hoje seguindo o rito bizantino.
Nilo passou os anos finais de sua vida no Mosteiro de Santa Ágata, em Tusculum, e também em Valleluce, perto de Gaeta, como eremita.
Ele morreu no mosteiro de Santa Ágata em 1005. Sua festa é celebrada no dia 26 de setembro, tanto no calendário bizantino quanto no martirológico romano.
Abadia de Santa Maria de Grottaferrata, Itália