مادرش قبل از ازدواج در یک روزنامهٔ محلی به نام «آکرون بیکن ژورنال» به عنوان شرح‌نویس فیلم و تئاتر کار می‌کرد و به گفتهٔ خود جیم، برای این که شنبه بعدازظهرها از شر او خلاص شود، او را به سالن سینمایی به نام «استیت رود» که روزی دو یا سه تا فیلم نشان می‌داد، می‌فرستاد. پدرش حقوق خوانده بود اما بیشتر از این که کارهای حقوقی انجام دهد به کارهای تجاری کوچک مشغول بود. جیم اولین فرزند خانوادهٔ جارموش، خواهر و برداری کوچک‌تر از خود داشت. شهری که جارموش در آن زندگی می‌کرد یک شهر کارگری بود و او برای پرداخت هزینه‌های تحصیلی خود مجبور بود در کارخانه‌های مختلف از جمله لاستیک‌سازی کارکند. آرزوی پدرش همواره این بود که او نیز در رشتهٔ حقوق تحصیل کند. این مسئله با افکار جیم جارموش در تناقض بود؛ او سرانجام توانست با ساخت چند فیلم رضایت پدر را به دست آورد.

او در 18 سالگی وارد دانشگاه نورث‌وسترن شد تا روزنامه نگاری بخواند با اين همه 3 سال بعد به دانشگاه كلمبيا رفت تا رشته زبان و ادبيات انگليسی را تمام كند.بين سالهای 1974 تا 76 جيم جارموش درس دانشگاهی را تمام كرد اما عمدتا به دنبال علاقه‌اش يعنی ديدن فيلم ها و خواندن تاريخ‌ سينما و تحليل فيلم‌ها می رفت. در دانشگاه کلمبیا، ادبیات انگلیسی و آمریکایی را تحت نظر استادان مدرسه نیویورک خواند و شروع به نوشتن قطعه‌های نیمه روایتی کوتاه کرد. همچنین مجله «کلمبیا ریویو» مجله ادبی دوره کارشناسی را ویرایش می‌کرد. ترم آخر دانشگاه، برای تحصیل در رشتهٔ ادبیات فرانسه به شعبه دانشگاه کلمبیا در پاریس رفت اما این موضوع به جای یک ترم، نزدیک به یک سال طول کشید.

جارموش که برای پایان تحصیلات خود به پاریس آمده بود، به عنوان یک راننده کامیون هم برای یک گالری نقاشی آمریکایی کار می‌کرد. بیشتر کار او در پاریس به جای رفتن به کلاس و درس خواندن، دیدن فیلم در سینما تک فرانسه بود و در همان جا بود که با انواع و اقسام فیلم‌های اروپایی و آسیایی آشنا شد. این باعث شد که نوشته‌های ادبی او بیشتر به سمت نوشته‌های سینمایی سوق پیدا کنند؛ نوشته‌هایی مشابه یک فیلمنامه.

سرانجام جارموش در سال 1976 از دانشگاه کلمبیا فارغ‌التحصیل شد و در همان سال به نیویورک بازگشت. مدتی به عنوان موزیسین فعالیت کرد اما از هم پاشیده شدن گروه و علاقه او به سینما باعث شد که در مدرسهٔ فیلمسازی دانشگاه نیویورک ثبت نام کند. مدرسه عالی فیلمسازی جایی بود که شرط ورود به آن، داشتن تجربه بازیگری یا ساخت فیلم بود، چیزی که جارموش آن را تجربه نکرده بود اما در کمال ناباوری به جهت نوشته‌هایی که دربارهٔ فیلم داشت در این مدرسه پذیرفته شد. او 4 سال در آنجا درس خواند و با دانشجویان و همکاران آینده خود چون: سارا درایور، هاوارد بروکنر و اسپایک لی آشنا شد. در سال آخر، جارموش به عنوان دستیار کارگردان معروف سینمای نوآر، نیکلاس ری انتخاب شد و با او در آخرین فیلمش «آذرخش روی آب» همکاری کرد.

نیکلاس ری در تابستان 1979 بعد از یک مبارزه طولانی با سرطان درگذشت. درست چند روز پس از این که توسط ری و آموس پو فیلمساز زیرزمینی نیویورک مورد تشویق قرار گرفته و بورس تحصیلی که باید به دانشگاه نیویورک داده می‌شد را دریافت کرده بود. جارموش فیلم پروژهٔ تحصیلی خود را با نام «تعطیلات همیشگی» با استفاده از بورس تحصیلی ساخت. عاملی که باعث شد تا دانشگاه نیویورک هیچگاه به او مدرک پایان دوره را ندهد. فیلم «تعطیلات همیشگی» به عنوان اولین فیلم جارموش موفق به کسب جایزه جشنواره فیلم «انهایم هایدلبرگ» آلمان شد.