श्री साईबाबा के माता-पिता, कौन थे? वे कहाँ से आये? यह जानने की बहुत कोशिश की गई थी. बहुत से लोगों से उनके जन्म स्थान व माता पिता के बारे में खोजबीन की गई है परन्तु आज तक कोई भी इस रहस्य को नही जान पाया है और आज भी लोग इस विषय पर अनभिज्ञय ही हैं. जिस प्रकार नामदेव और कबीरदास जी बाल रुप में प्रकृति की गोद में पाये गये हैं ऐसा ही साई बाबा के सम्बन्ध माना गया है.
माना जाता है साई बाबा शिरडी में एक नीम वृक्ष के नीचे सोलह वर्ष की तरुणावस्था में, स्वयं भक्तों के कल्याणार्थ प्रकट हुये थे. उनके मुख पर एक अद्भुत तेज था. उस समय भी वे पूर्ण ब्रह्मज्ञानी प्रतीत होते थे. स्वप्न में भी उनको किसी लौकिक पदार्थ की इच्छा नही थी. माया को उन्होनें ठुकरा दिया था और मुक्ति उनके चरणों में लोटती थी. शिरडी ग्राम की एक वृद्ध स्त्री ने उनके व्यक्तित्व का इस प्रकार वर्णन किया है - एक तरुण, स्वस्थ, फ़ुर्तीला तथा अति रुपवान बालक सर्वप्रथम नीम वृक्ष के नीचे समाधि में लीन दिखाई पड़ा. सर्दी व गर्मी की उन्हें बिल्कुल भी चिंता न थी. उन्हें इतनी अल्प आयु में इस प्रकार कठिन तपस्या करते देखकर लोगों को महान आश्चर्य हुआ. बाबा दिन में किसी से भेंट नही करते थे और रात्रि में निर्भय होकर एकांत में घूमते थे. लोग आश्चर्यचकित होकर पूछते फ़िरते थे कि इस युवक का कहाँ से आगमन हुआ है. उनकी बनावट तथा आकृति इतनी सुन्दर थी कि एक बार देखने मात्र से लोग आकर्षित हो जाते थे. वे सदा नीम वृक्ष के नीचे बैठे रहते थे. और किसी के द्वार पर न जाते थे यद्यपि वे देखने में युवक प्रतीत होते थे परन्तु उनका आचरण महात्माओं के समान था. वे त्याग और वैराग्य की साक्षात् प्रतिमा थे.
स्थानीय लोगों के अनुसार उनके ग्राम में एक आश्चर्यजनक घटना हुई. एक भक्त को भगवान खंडोबा का संचार हुआ. सभी लोग हाथ जोड़कर उनके सन्मुख खड़े हो गये और अपनी शंका निवारणार्थ उनसे पूछने लगे कि- ''हे देव ! कृप्या बताईये कि ये किस भाग्यशाली पिता की संतान हैं. और इनका कहाँ से आगमन हुआ है? भगवान खंडोबा ने एक कुदाली मंगवाई और एक निर्दिष्ट स्थान पर खोदने का संकेत किया. जब वह स्थान पूरी तरह से खोदा गया तो वहाँ एक पत्थर के नीचे ईंट पाई गई. पत्थर को हटाते ही एक द्वार दिखा, जहाँ चार दीप जल रहे थे. उन दरवाजों का का मार्ग एक गुफ़ा को जाता था, जहाँ गौमुखी आकार की इमारत, लकड़ी के तख्ते, मालायें आदि दिखाई पड़ी. भगवान खंड़ोबा कहने लगे कि इस युवक ने इस स्थान पर बारह वर्ष तपस्या की है. तब सभी ग्रामवासी युवक से प्रश्न करने लगे, परन्तु उसने यह बात कहकर टाल दी कि यह मेरे श्री गुरुदेव की पवित्र भूमि है. इसीलिये यह मेरा पूज्य स्थान है. तब उन लोगों ने उस स्थान को पहले की ही भांति बन्द कर दिया. जिस प्रकार अश्वत्थ तथा औदुम्बर वृक्ष पवित्र माने जाते हैं उसी प्रकार बाबा ने भी इस नीम वृक्ष को उतना ही पवित्र माना और प्रेम किया. उस स्थान को पवित्र मान, शिरड़ी वासी और अन्य भक्त भी इस स्थान को बाबा के गुरु समाधि-स्थान मानकर सदैव नमन किया करते थे.