1936 yılında Karaman’da doğmuştur... İlk okulu bitirdikten sonra babası Osman Bey’le birlikte kabzımallık yaparak çocuk denecek yaşlarda iş hayatına başlamıştır. Ülkemizin kalkınma hamlesini başlatmış olduğu 1960’lı yıllarda çok ortaklı olarak kurulan Bifa Bisküvi Fabrikası’na ortak olarak girmiştir. İlerleyen yıllarda işin başına yönetici ortak olarak geçen Yılmaz Babaoğlu akılcı ve cesur girişimleriyle kara tavalarda bisküvi üretimi yapan küçük bir işletmeyi modern ve çağdaş bir fabrika haline getirmiştir.
Yaşam felsefesinde Karaman’a yatırım yapmayı ilke edinen Yılmaz Babaoğlu, Bifa Bisküvi ve Gıda San. A.Ş.’den başka Bifa Oluklu Mukavva San. A.Ş., Bifa Un ve Gıda San. A.Ş. ve Babaoğlu Yem ve Tavukçuluk Tic. A.Ş. yi kurarak yaklaşık 1500 kişiye iş istihdamı sağlamıştır.
Ekonomisi, coğrafi uygunluk nedeniyle tarıma dayanan Karaman’a, örnek teşkil edecek zirai yatırımlarda da bulunarak ziraatın gelişmesine öncülük etmiştir. Bünyesinde çalışan işçiler için sosyal konutlar, gelecek nesiller için de 3 tane ilköğretim okulu ve birde özel okul yaptırarak eğitim ve öğretime destek vermiştir.
Ayrıca üniversitelerde okuyan ihtiyacı olan öğrencilere de karşılıksız burslar vermektedir. Manevi alanda da camiler yaptırarak halka açan Yılmaz Babaoğlu tanındığı tüm çevrelerde sevilen ve sayılan duayen bir iş adamı olmuştur.
Başarının sırrını “sonsuz mesuliyet duygusu ile çalışmak insana huzur verir” sözünde bulmaktadır.
