مادرش مری رُز، آرایشگر، و پدرش لارنس روفالو جونیور، یک نقاش ساختمان، بودند. پدرش دارای اصالتی ایتالیایی بود و مادرش نیز فرانسوی-کانادایی و ایتالیایی. روفالو در نوجوانی در ویجینیا بیچ، جایی که پدرش کار می کرد، بزرگ شد. روفالو پس از اول دبیرستان به همراه خانواده ابتدا به سن دیگوی کالیفرنیا و سپس به لوس آنجلس نقل مکان کردند. در لوس آنجلس در هنرستان استدلا آدلر ثبت نام کرد و پس از آن شروع به همکاری با گروه تئاتر اُرفئوس کرد. در آنجا به مدت یک دهه از زندگی اش را صرف به روی صحنه بردن نمایش های در مقام بازیگر، کارگردان و نمایشنامه نویس کرد.

روفالو 1996 با ایفای نقشی کوتاه در فیلم «دندانپزشک» کار بازیگری در سینما تجربه کرد. دو سال بعد یکی از نقش های اصلی کمدی «مردان» را بر عهده گرفت و در 1999 به گروه بازیگران «شیطان» آنگ لی پیوست که داستان آن درباره جنگ های داخلی آمریکا بود. او در ملاقات کاملا اتفاقی با کنت لورگانِ فیلمنامه نویس آشنا شد. این آشنایی منجر به بازی او در نقش برادر لورا لینی در «می تونی روی من حساب کنی» شد. اغلب منتقدان بازی او را با مارلون براندوی جوان در ابتدای شروع کارش مقایسه کردند و جایزه منتقدان فیلم لوس آنجلس و جشنواره مونترال دستاورد روفالو از بازی در اولین فیلم مهم زندگی اش بود.