Ali Yıldırım Koç, 2 Nisan 1967 tarihinde İstanbul’da doğdu. Koç ailesinin en küçük oğul olan Ali Yıldırım Koç'un abileri Ömer Koç ve Mustafa Koç’tur. Eğitim hayatına 1980 yılında Londra'daki Harrow School’da başlayan Koç, 1985 yılında mezuniyetini tamamladı. Ardından, 1989 yılında ABD’nin Houston, Teksas kentindeki Rice Üniversitesi'nden lisans diploması aldı. Yüksek lisansını ise 1995-1997 yılları arasında Harvard Üniversitesi’nde gerçekleştirdi.
Kariyerine 1986 yılında Otosan A.Ş.’de Ford Motor Company'nin otomobil montaj hattında başlayan Koç, 1987-1988 yıllarında Koç Holding'in Otomotiv Grubu’nda çeşitli görevlerde bulundu. 1990 yazında J.P. Morgan'da stajyer olarak çalıştı. American Express Bank’ta Yönetici Yetiştirme Programı’na katılan Koç, daha sonra Ramerica International ve Morgan Stanley Yatırım Bankası'nda analist olarak görev yaptı.
1997-2000 yılları arasında Koç Holding'de Stratejik Planlama Grubu Başkanlığı’na bağlı Yeni İş Geliştirme Koordinatörü olarak görev alan Koç, 2000 yılından itibaren Koç Topluluğu Bilgi Grubu Yürütme Komitesi Başkanı ve Yeni İş Geliştirme Koordinatörü olarak görev yaptı. 2006 yılında Koç Holding Kurumsal İletişim ve Bilgi Grubu Başkanlığı görevine getirilen Koç, 2008 yılında Koç Holding Yönetim Kurulu Üyesi oldu ve 2009 yılından itibaren Tüpraş Yönetim Kurulu Üyesi olarak görev yaptı.
1992 yılında askerlik hizmetini tamamlayan Koç, Fenerbahçe Spor Kulübü’nde iki dönem yöneticilik yaptı.
Ali Yıldırım Koç, ABD’de eğitim aldığı yıllarda Nevbahar Demirağ ile tanıştı ve 21 Ekim 2005 tarihinde evlendi. Çiftin Sadberk Leyla Koç (d. 2006) ve Kerim Rahmi Koç (d. 2008) adında iki çocuğu bulunmaktadır.