پدرش مهندس برق و مادرش معلم بود. تام تنها پسر از چهار فرزند خانواده كولی السفر بود. خانواده آنها در اصل ریشه‌ای آلمانی، انگلیسی و ولزی دارند. كودكی اش را با رویاي كشيش شدن سپری کرد. خانواده اش دايما در حال سفر و نقل مكان از شهری به شهر ديگر بودند و همين موضوع سبب شد كه تام از دوران كودكي خود تصوير واضح و روشنی نداشته باشد. خودش در مصاحبه ای گفته: "تا رسيدن به سن چهارده سالگی پانزده بار مجبور شدم مدرسه ام را در دو كشور امريكا و كانادا تغيير دهم." پدر و مادرش هم نهايتا از هم جدا شدند و هريك به راه خود رفتند. مادرش پس از مدتی با مرد ديگری ازدواج كرد و به همراه فرزندانش در نيوجرسی ساكن شد. پدر نيز مدتی پس از مدتی در اثر ابتلا به سرطان درگذشت.

وی و خواهرش تحت سرپرستی مادرشان قرار گرفتند و در سال‌های بعد در شهرهای گوناگونی ساکن شدند. تام مدتی آموزش مذهبی دید و قصد داشت کشیش شود اما از این کار رویگردان شد و در نهایت در سال 1980 از دبیرستانی در نیوجرسی فارغ التحصیل شد. در سال‌های دبیرستان در فیلم موزیکالی از سوی مدرسه شرکت کرد و مورد تحسین قرار گرفت. همین مساله باعث شد تا به بازیگری به طور جدی علاقه مند شود. نخستین بازی جدی وی، تنها یک سال پس از به پایان بردن دوره دبیرستان، در فیلم «عشق بی پایان» (1981) اتفاق افتاد. تا سال 1986 در چندین فیلم بازی کرد که چندان شهرتی برایش نداشت تا اینکه در فيلم «دور و دورتر» تام با نيكول كيدمن همبازی شد و سرانجام در 24 دسامبر 1990 با هم ازدواج كردند و يكي از جنجالی ترين زوج های هاليوودی را تشكيل دادند. اين دو تا سال 2001 به طور مشترک با هم زندگی كردند و در پايان اين سال از هم جدا شدند.

او از سال 2006 تا کنون به همکاری با پائولا واگنر، صاحب شرکت فیلمسازی یونایتد آرتیستز پرداخته است.