Cevdet Yılmaz, Bingöl'de 1 Nisan 1967 tarihinde dünyaya geldi. Kemal ve Fatma Yılmaz'ın oğlu olarak doğan Cevdet Yılmaz, ailesinin Zaza kökenlerine sahip. Bingöl'deki lise eğitiminin ardından ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümü'ne girdi ve bu bölümden 1988 yılında birincilikle mezun oldu.
Kariyerine Devlet Planlama Teşkilatı'nda başlayan Yılmaz, 1992-1994 yılları arasında ABD'ye giderek Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde yüksek lisans eğitimini tamamladı. Ardından Bilkent Üniversitesi'nde Siyaset Bilimi ve Kamu Yönetimi Bölümü'nde doktora eğitimine başladı ve 2003 yılında doktora tezini başarıyla tamamladı.
Siyasal yaşamına AK Parti'de adım atan Yılmaz, 2007 Türkiye genel seçimlerinde AK Parti Bingöl milletvekili olarak Türkiye Büyük Millet Meclisi'ne (TBMM) girdi. Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı olarak görev yaptı. 2009 yılında gerçekleşen 60. Türkiye Hükûmeti kabine değişikliğiyle GAP-DAP Projesi ve Kalkınmadan Sorumlu Devlet Bakanlığı görevine geldi.
2011 genel seçimlerinde tekrar AK Parti Bingöl milletvekili olarak meclise giren Yılmaz, ardından Kalkınma Bakanı olarak görev aldı. 2015 Türkiye genel seçimlerinde Diyarbakır milletvekili olarak meclise girdi ve başbakan yardımcısı olarak görevlendirildi. Aynı yıl içinde Bingöl milletvekili olarak tekrar seçildi.
Haziran 2023'te Cumhurbaşkanı Recep Tayyip Erdoğan tarafından Türkiye cumhurbaşkanı yardımcısı olarak atanan Yılmaz, evli ve iki çocuk babası. Ana dili Zazaca olan Yılmaz, İngilizce, Kürtçe ve Türkçe dillerini de biliyor.
