1966'da Ordu'da doğan, ilk ve orta öğrenimini aynı kentte tamamlayan sanatçı, müzik eğitimine TRT İstanbul Radyosu Gençlik Korosu'nda başladı. 1984'te Mimar Sinan Üniversitesi Devlet Konservatuarı Şan Öğretmeni Saadet İkesus Altan ile çalışmaya başlayan Yılmaz, ertesi yıl Hacettepe Üniversitesi Ankara Devlet Konservatuarı'nda Prof. Yalçın Davran'ın öğrencisi olarak eğitimini devam ettirdi. 1988 yılında Kültür Bakanlığı Devlet Çok Sesli Korosu'na katılan Yılmaz, 1989 yılında Devlet Opera ve Balesi Genel Müdürlüğü'ne sanatçı olarak atandı. Mersin Devlet Opera ve Balesi´nin kurucu sanatçılarından oldu. İstanbul, Ankara, İzmir, Antalya operalarında sahnelen pek çok eserde rol aldı. Yurtiçi ve yurtdışında konserler verdi.Samsun Devlet Opera ve Balesi Müdürlüğügü'nde Ali Baba &40; operasını sahneye koyan sanatçı birçok çocuk oyunu da sahelemiştir.Önemli rejisörlerle de çeşitli eserlerde çalışmalar yaptı. Mehmet Yılmaz hâlen Samsun Devlet Opera ve Balesi'nde solist sanatçı ve Başrejisörlük görevini sürdürmektedir.