بِیلی کوچکترین فرزند در بین چهار برادر و دو خواهرش است. خواهر بزرگتر او، کیتلین رایلی، نیز بازیگر است. او همچنین به عنوان سخنگوی ملی جوانان در موسسه خیریه بنیاد لیموناد ایست آلکس که یک موسسه خیریه سرطان برای کودکان است فعالیت می کند.

مدیسون اولین بار در سال 2006 در فیلم «قلب های تنها» به عنوان بازیگر جلوی دوربین رفت. او در این فیلم نقش دختربچه ای را بازی می کرد که از سوی دنیایی پر از جرم و جنایت احاطه شده و کودکی اش در حال نابود شدن است. او سپس نقش کوتاهی را در فصل اول سریال «نابودگر: ماجراهای سارا کانر» بازی کرد. بیلی در سال 2011 در فیلم «فقط ادامه بده» در کنار آدام سندلر و جنیفر انیستون نقش دخترِ انیستون را بازی کرد و در همان سال در فیلم ترسناک «از تاریکی نترس» در نقش دختر گای پیرس و کیتی هولمز ظاهر شد که گرفتار اشباحی مرموز از دوران گذشته می شود.