Urodził się 28 lutego 1854 w Żytomierzu. Pierwszych lekcji gry na fortepianie udzielała mu matka. Już od 10 roku życia Juliusz Zarębski koncertował w żytomierskich salonach. W 1870 ukończył z odznaczeniem gimnazjum i wyjechał do Wiednia, gdzie w Konserwatorium Towarzystwa Przyjaciół Muzyki studiował kompozycję u Franza Krenna oraz grę na fortepianie w klasie Josefa Dachsa.