آشنایی و علاقه او به موسیقی تحت تأثیر پدرش که نوازنده سازهای ضربی در ارکستر رادیو سی بی اس و گروه پنج نفره ریموند اسکات بود، در او قوت گرفت. در سال 1948 او به همراه خانواده‌اش به لوس آنجلس نقل مکان کرده و در آنجا بعد از اتمام دبیرستان، همزمان در دانشگاه کالیفرنیا در لوس آنجلس و کالج شهر لوس آنجلس به تحصیل مشغول شد و همچنین زیر نظر آهنگساز "ماریو کاستل نوو تدسکو" به صورت خصوصی به فراگیری موسیقی پرداخت.
پس از پایان سه سال خدمت ضروری در نیروی هوایی ایالات متحده، ویلیامز به نیویورک رفته و در آموزشگاه موسیقی جولیارد، یکی از معروف ترین آموزشگاه‌های موسیقی در آمریکا ثبت نام کرد و درس های مربوط به پیانو را آنجا توسط رُزینا لوین فرا گرفت و همزمان به عنوان پیانیست جاز با نوازندگی در کلوپ‌های نیویورک، امرار معاش می‌نمود. ویلیامز در اواخر دهه پنجاه میلادی و اوایل دهه شصت به همراه هنری مانچینی به نواختن و ضبط موسیقی متن سه فیلم پرداخت، در چند سریال تلویزیونی ساز زد و رهبری باند موسیقی خواننده آمریکایی "فرانکی لین" را برای چند سری از آلبوم‌هایش متقبل شد.
ویلیامز پس از اتمام تحصیلاتش در آموزشگاه جولیارد به لوس‌آنجلس بازگشته و فعالیت حرفه‌ای خود را در زمینه صنعت فیلم، توسط همکاری با آهنگسازانی چون فرانتس وکسمن، برنارد هرمان و آلفرد نیومن آغاز کرد و به خاطر چیره دستی‌اش در تصنیف موسیقی برای جاز، پیانو و سمفونی، توجه هالیوود را به خود جلب نمود. او پس از سه بار نامزد شدن برای دریافت جایزه اسکار، نهایتا در سال ۱1971 به خاطر عنوان بهترین تنظیم برای موسیقی فیلم «ویولون‌زن روی بام» برای نخستین بار موفق به دریافت این جایزه شد.
در 1974 استیون اسپیلبرگ، ساخت موسیقی متن فیلمش با نام «شوگرلند اکسپرس» را که یکی از اولین تجربه های وی در زمینه کارگردانی بود، به جان ویلیامز پیشنهاد کرد. کارگردان جوان که تحت تأثیر موسیقی ویلیامز برای فیلم «غارتگران» قرار گرفته بود، اطمینان داشت که این آهنگساز می‌تواند آوای مورد نظرش را برای فیلم های او خلق کند؛ و این آغاز یک دوستی و همکاری طولانی بود که تا به امروز ادامه دارد.
علیرغم مهارت خاص ویلیامز در به کار بردن اسلوب‌ها و روش های مختلف قرن بیستم در آهنگسازی، شاید بتوان سبک کاری شناخته شده و شاخص او را قالبی از نئورومانتیسیم دانست که تحت تأثیر اجراهای ارکستری گسترده اواخر سده نوزدهم میلادی به ویژه موسیقی واگنری و ایده لحن معرف به کار برده شده در آن به وجود آمد و تأثیر به‌سزایی هم بر آهنگسازان فیلم‌های سینمایی پیش از او نهاد. در تصنیف‌های حماسی و پر هیایوی «جنگ ستارگان» و «سوپرمن» که از علامت های مشخصه موسیقی او به شمار می‌روند، رد پای تأثیر واگنر به خوبی مشهود است. هرچند در موسیقی فیلم‌های حادثه‌ای مثل «تنها در خانه» و «هوک» (به خوبی لحظات امیدوارانهٔ «آرواره‌ها» و «هری پاتر») وی سبک و اسلوبش را از آهنگسازان باله همچون چایکوفسکی و استراوینسکی به عاریت می‌گیرد و همزمان تجلی کارهای الگار و کوپلند در تصنیف‌های دراماتیک و جدی‌ترش نمایان می‌شود.