આ સમય હતો, એ કસોટીમાંથી એ કેવા પાર ઉતર્યા તે મહિપતિ કવિના ‘ભક્તવિજય’ ગ્રંથ ઉપરથી જણાય છે. એ લખે છે કે, “જનનિંદાનું પૂર આવતાં વિઠ્ઠલપંતે ઉદરમાં પૂર્ણ શાંતિ ભરી દીધી અને કામક્રોધનું શમન કર્યું. દ્વિજોએ અને આપ્તોએ તેમનો પરિત્યાગ કર્યો અને તેઓ અરણ્યમાં પર્ણકુટી બાંધીને પોતાની ભાર્યા સહિત રહેવા લાગ્યા. કુટુંબપોષણાર્થે તેઓ ભિક્ષા માગી લાવતા અને રાતદિવસ અખંડ ઈષ્ટચિંતન કરતા, ગીતા ભાગવતાદિ ગ્રંથોનું શ્રવણમનન કરતા અને ચિત્તમાં સદાસર્વદા પ્રસન્ન રહેતા.” લોકવિરુદ્ધ કામ કર્યાથી સમાજ તરફથી એમને જે કષ્ટ સહન કરવું પડ્યું તેનો કાંઈક ભાસ નિરંજનમાધવના નીચેના શબ્દો ઉપરથી થાય છે: “ચૈતન્યાશ્રમે ગૃહસ્થાશ્રમનો સ્વીકાર કર્યો છે એ વાત સાંભળીને સર્વ બ્રાહ્મણોએ તેમનો પરિત્યાગ કર્યો. કોઈ તેમનું મુખ પણ જોતું નહિ. લોકો પુષ્કળ નિંદા કરતા. ધીમે ધીમે તેમને ભિક્ષા મળતી પણ બંધ થઈ. કોઈ વખત તેમને ઝાડનાં પાંદડાં ખાઈને રહેવું પડતું, તો કોઈ કોઈ વખત તેમને માત્ર એકજ વાર અન્ન મળતું અને કદી કદી વાયુભક્ષણ કરીને જ નિર્વાહ કરવો પડતો. આમ બાર વર્ષ ચાલ્યાં ગયાં, પરંતુ વિઠ્ઠલપંતને માયાનો સ્પર્શ સુદ્ધાં થયો નહિ.”
આ બધાં સંકટમાં રુકિમણીએ પતિની સાથે રહીને હર્ષપૂર્વક ભાગ પડાવ્યો. પિતાના ઘેર સુખમાં ઉછરેલી એ સન્નારીએ પોતાના મુખ ઉપર કદી શોકની છાચા ન આવવા દીધી. આ આપત્તિકાળમાં સુશીલ પત્ની એજ એક આશ્વાસન વિઠ્ઠલપંતને હતું. એ એકાંતવાસના સમયમાં રુકિમણીએ ચાર સંતાનને જન્મ આપ્યો. એમનાં નામ અનુક્રમે નિવૃત્તિનાથ, જ્ઞાનદેવ, સોપાનદેવ અને મુક્તાબાઈ હતાં. ચારે સંતાન પૂર્વજન્મના સિદ્ધાત્માઓ હતાં. કેટલાક તો કહે છે કે, એ બ્રહ્મા, વિષ્ણુ, મહેશ તથા લક્ષ્મીના અવતારરૂપ હતાં. ગમે તેમ હો, પણ એ ચાર સંતાનોના પાછલા જીવને સાબિત કરી આપ્યું કે, એ ઉચ્ચ કોટિના જીવ હતા અને માતાપિતા તરફથી એમને સારૂં શિક્ષણ મળ્યું હતું. ન્યાતબહાર હોવાથી બહાર આવવા જવાનું થોડું થતું, એટલે વિઠ્ઠલપંત તથા રુખમાબાઈએ પોતાનો બધો સમય બાળકોને કેળવવામાંજ ગાળ્યો. નિવૃત્તિનાથ જ્યારે સાત વર્ષનો થયો, ત્યારે એને જનોઈ દેવાનો વિચાર એમને સૂઝ્યો; પણ
