12 yaşında klasik piyano ve blues çalarak piyanoya başlayan Balke, 18 yaşında Aril Andersen Quartet'e katıldı. 80'li yılların ortalarından itibaren tek başına çalışmaya başlayan Jon Balke, Norveç'in en önde gelen bestecilerinden biri oldu.
İlk solo albümünü 1998'de yayımlayan Balke, daha sonra ünlü ECM Firması için 2004'te "Diverted Travels", 2007'de "Book of Velocities", 2009'da "Siwan" ve 2011'de "Say and Play"albümlerini yayımladı. JØKLEBA (Audun Kleive ve Per Jørgensen ile), Magnetic North Orchestra (Oda Topluluğu), Batagraf (Vurmalı Sazlar Topluluğu), SIWAN (Amina Aaloui ve Jon Hasell ve daha sonra Kamilya Jubran ile) sanatçının kendi oluşturduğu ve özgün besteler yaptığı projeler oldu.
1993'te Norveç'te "Yılın Caz Müzisyeni" seçilen Balke, 2000'de Edvard Ödülü'nü, 2008'de Gammleg Ödülü'nü kazandı. Balke'nin eşlik ettiği bazı ünlü müzisyenler şunlardır: Radka Toneff, Sidsel Endresen, Anne Li Drecker, Karin Krogh, and Trine Lise Vaering, Archie Shepp, John Surman, Airto Moreira / Flora Purim, Michael Urbaniak, Enrico Rava, George Russel, Paolo Fresu, Nguyen Le, Marilyn Mazur, Jon Hassell.
