1951 yılında Samsun'un Çarşamba ilçesinde doğan Yılmaz, ilk orta ve ve lise öğrenimini Samsun'da tamamladıktan sonra, üniversiteyi o zamanki adı İstanbul Devlet Mühendislik ve Mimarlık Akademisi olan Yıldız Teknik Üniversitesi'nde bitirdi
Yusuf Ziya Yılmaz, Karayolları 17. Bölge Müdürlüğü görevini sürdürürken, 1999 Türkiye yerel seçimleri için Mesut Yılmaz tarafından 1 Şubat 1999'da Anavatan Partisi Samsun belediye başkan adayı olarak gösterildi.[2] 18 Nisan 1999'da yapılan seçimlerde %28.00 oy alarak CHP'li Muzaffer Önder'den başkanlığı devraldı.[3] Belediye başkanlığındaki ilk döneminde Samsunspor'a 1,5 yıl başkanlık da yapan Yılmaz, 2004 seçimleri öncesinde partisinden istifa etti[4] ve 18 Kasım 2003'te Adalet ve Kalkınma Partisi'ne katıldı.[5] 14 Şubat 2004 tarihinde Başbakan Recep Tayyip Erdoğan tarafından bir kez daha Samsun belediye başkanlığına aday gösterilen Yılmaz,[6] bu seçimde oylarını bir önceki seçime oranla yaklaşık 20 puan artırarak, %46.30 oy aldı ve ikinci kez başkanlığa seçildi.[7] Böylece bir iktidar partisi 1980 sonrası Samsun'da ilk kez yerel seçim kazandı.[8]
Yılmaz, 12 Ocak 2009'da üçüncü kez Tayyip Erdoğan tarafından 2009 yerel seçimlerinde aday gösterildi.[9] Bu seçimlerde ise %48.45 oy alarak üst üste üçüncü kez belediye başkanı seçildi.[10]
Yusuf Ziya Yılmaz, eski bir tarih öğretmeni olan Semiha Yılmaz'la evlidir.