1935 yılında, Ankara’da, Hamamönü’nde doğdu. Babası Haşim Bey, 1910’lu yıllarda Piriştine’den Türkiye’ye göç etmiş bir ailenin çocuğudur. Aile İstanbul, Adana gibi vilayetlerde bir süre kaldıktan sonra Ankara’ya yerleşmiş ve aile mesleği olacak fırıncılık ve değirmencilik yapmaya başlamıştır. İlhan Cavcav, babası Haşim Bey’in ikinci eşi, Kayseri eşrafından Lütfiye Hanım’dan ilk çocuğudur. Aile, İlhan Cavcav beş yaşındayken Mamak, Boğzaiçi Mahallesi’na taşınır ve burada mahallenin ismiyle anılan değirmeni işletmeye başlar.
Eğitim yaşamına Ankara 10. Yıl İlkokulu’nda başlayan İlhan Cavcav bütün öğrencilik yılları boyunca bir yandan da babasının yanında çalışır. Bazen değirmende un çuvalı taşır, bazen arabalara ekmek yükler. İlkokul’dan sonra Ankara’nın önemli eğitim kurumlarından ve Gençlerbirliği’nin kurulduğu Ankara Atatürk Lisesi’nde eğitimine devam eden Cavcav ailenin artan işleri nedeniyle ortaokuldan sonra eğitimine son verip, aile şirketinin veznesinde çalışmaya başlar. Buradaki işleyişi kısa sürede öğrenen İlhan Cavcav şirketin muhasebesini tutmaya başlar.
Ailesinde Tayyar Cavcav, Cevat Muratal gibi bir çok profesyonel futbolcu bulunan İlhan Cavcav’ın futbol yaşamı da bu yıllarda başlar. Mahalle arasındaki eğimli arsalarda futbol oynarken o yıllar Mamak Maskespor için çalışan Cici Necdet’in dikkatini çeken genç İlhan Cavcav, adı geçen takımın kadrosuna katılır ve santraf (stoper) mevkinde oynamaya başlar. Aynı yıllarda Ankara sahalarında top koşturan ve yıllar sonra beraber Gençlerbirliği için çalışacakları Oktay Arıca (Paçoz Oktay)ın deyişiyle iyi bir kesici olan İlhan Cavcav, Maskespor’dan önce PTT’ye sonra da Bahçeli Gençlik’e transfer olur. Ancak son takımının ilk maçında, söz konusu karşılaşmanın eski takımıyla yapılmasından dolayı kadroya alınmadığını öğrenince futbolu bırakmaya karar verir.
Futbolu bıraktığı 1950’li yıllardan 1970’lere kadar iş yaşamında yoğun bir çalışma hayatı olan İlhan Cavcav 1960 yılında, aile şirketinden ayrılarak tek başına ticaret hayatına atılır. İlk önce Maltepe’de, sonra Balgat’ta çalıştırdığı un fabrikasıyla Ankara’da önemli sanayiciler arasına girer. Bu senelerde iş yaşamındaki becerisi ve futbola olan sevgisi nedeniyle Ankara kulüplerinin yönetici adaylarından biri olur. Nihayet 1975 senesinde, ailesinin eski mahallesi olan Hacettepe’nin efsane takımının başkanı olur. Ancak camianın tıpkı mahallenin kendisinin Ankara coğrafyasından silinmesi gibi futbolumuzda yitip gitmesine engel olamaz. Daha sonra ismi Ankaragücü yöneticiliği için de geçen İlhan Cavcav bu kez 1977 yılında Gençlerbirliği yönetim kuruluna girerek başkan olur. Dönemin yöneticileriyle prensipler konusunda anlaşmazlığa düşen Cavcav kırmızı-siyah camia için çalışmaya bir süre ara verir. 1981 yılında başkan olduğunda Gençlerbirliği amatörlüğün kapısındadır.
İlhan Cavcav sorumluluk alarak Gençlerbirliği’ne gönül vermiş isimlerle birlikte ikinci ve üçüncü liglerin birleştirilmesini futbol yöneticilerine kabul ettirir. Böylece 2 lige dönen takımını ise bir sene bu statüde oynadıktan sonra birinci lige çıkarma başarısına erişir. 1988 yılından beri Gençlerbirliği, Türkiye Birinci Ligi’nin sürekliliği açısından en başarılı 5. Takımıdır. Bu sürede 2 kez Türkiye Kupası’nı kazanma başarısı gösteren Gençlerbirliği Cavcav yönetiminde adeta çağ atlamıştır.
İlhan Cavcav döneminde Maltepe-Beştepe arasındaki gerçek rakım farkının çok üzerinde bir merhale kaydeden Gençlerbirliği 1990’lı yıllarda adeta diğer Türk kulüplerine örnek olarak ilk kez modern tesislere sahip olan bir futbol kulübü haline gelmiştir. İlhan Cavcav’dan önce Ankara’daki toprak sahalarda antrenman yapan futbol takımı bir süre şehir çevresindeki çim zemine sahip sahalarda çalışmış, takım oyuncuları da Beştepe’deki tesisler yapılana dek İlhan Cavcav’ın Bahçelievler’deki evinde konaklamıştır. Beştepe’deki tesislerin tamamlanmasıyla bir başkent takımına yakışır kulüp binalarına, altyapısıyla beraber kullandığı çim sahalara kavuşan Gençlerbirliği, Cavcav’ın başkanlığı süresince “herhangi bir kurum veya kişiye tek kuruş borcu olmayan” bir spor kulübü haline gelmiştir.