1971 yılında Rize’nin Güneysu ilçesinde doğdu. 1993 yılında İstanbul Üniversitesi Hukuk Fakültesi’nden mezun oldu. 1996 yılından bu yana kendisine ait hukuk bürosunda serbest avukatlık yapmaya devam eden Haydar Ali Yıldız sırasıyla; Ak Parti Beyoğlu Kurucu İlçe Yönetim Kurulu Üyeliği, Seçim İşleri Birim Başkanlığı, Teşkilat Birim Başkanlığı görevlerinde bulundu. 3 Kasım 2002 ve 28 Mart 2004 seçimlerinde Beyoğlu Seçim Koordinasyon Merkezi (SKM) Başkanlığı görevini ifa etti. Temmuz 2004 yılından itibaren Ak Parti Beyoğlu İlçe Başkanlığı görevinde bulundu. 26 Haziran 2009 tarihinde AK Parti İstanbul İl Yönetim Kurulu Üyesi olarak seçildi ve İl Başkan Yardımcılığı- İl Seçim İşleri Başkanlığı görevine getirildi.
27 Mayıs 2012 İl Kongresi sonrasında Siyasi ve Hukuki İşler Başkanı olarak atandı. 29 Mayıs 2013’de Kurucu Mütevelli Heyeti Başkanı olarak Okçular Vakfı’nın kuruluşunda yer aldı. Halen Vakfın Mütevelli Heyeti ve Yönetim Kurulu Başkanlığı görevini sürdürmektedir.
12 Eylül 2010 Referandum, 12 Haziran 2011 Genel Seçimleri, 30 Mart 2014 Yerel Seçimleri ve 10 Ağustos 2014 Cumhurbaşkanlığı seçiminde AK Parti İstanbul İl Seçim Koordinasyon Merkezi Başkanlığı görevlerinde de bulunan Av.Haydar Ali Yıldız, 7 Haziran 2015 Genel Seçimlerinde AK Parti İstanbul 2. Bölge Milletvekili olarak seçildi. 26. Dönem AK Parti İstanbul Milletvekili görevinde bulundu. 6 Ağustos 2018 tarihinde Cumhurbaşkanı Başdanışmanı olarak görevde bulundu.
31 Mart Mahalli İdareler Genel Seçimleri’nde Beyoğlu Belediye Başkanı seçilen Haydar Ali Yıldız, mazbatasını alarak göreve başladı.