پدر او لوئیس استون یک دلال سهام موفق وال استریت بود. او پس از دوران دبیرستان در دانشگاه ییل حضور یافت اما تحصیل را به منظور پیوستن به ارتش رها کرد و در ویتنام، جایی که در آن با خشونت وحشیانه و مواد مخدر روبرو شد، به خدمت مشغول شد. هر چند به الیور یک مدال برنز برای دلاوری ها و یک «قلب بنفش» برای تلاش هایش در جنگ اهدا شد، اما او به جای سیاست به هنر و فرهنگ روی آورد.

پس از جنگ، استون به سمت فیلم و نوشتن فیلمنامه جذب شد و با حضور در دانشگاه نیویورک، به عنوان شاگرد مارتین اسکورسیزی به تحصیل پرداخت. استون در این مدت نویسندگی فیلم های «قطار سریع‌السیر نیمه‌شب» (1978)، «کونان بربر» (1982) و «صورت زخمی» (1983) را در کارنامه اش به ثبت رساند. او اولین پروژه خود را که یک فیلم کوتاه دانشجویی بود، «سال گذشته در ویتنام» (1971) جلوی دوربین برد. وی پس از آن پروژه یک فیلم ترسناک کم بودجه با عنوان «تشنج» (1974) را به اتمام رساند. استون در طول این زمان با کار کردن به عنوان یک راننده تاکسی در نیویورک امرار معاش می کرد. وی پدر شان علی استون بازیگر هالیوود است.