پدر او یک معمار دانمارکی به نام کارستن یوهانسون بود که در اصل از کپنهاگ دانمارک به آمریکا آمده بود. مادرش ملانی اسلون نیز یک یهودی اشکنازی از اهالی محله برانکس نیویورک بود. خانواده مادری او نسل‌ها قبل از بلاروس به اآمریکا مهاجرت کرده بودند. او علاوه بر یک خواهر و برادر بزرگتر از خودش، یک برادر دوقلو به اسم هانتر، و یک برادر ناتنی به نام کریستیان دارد که حاصل ازدواج اول پدرش است. خانواده یوهانسون خانواده نسبتا فقیری بودند. مادر خانواده عاشق فیلم و سینما رفتن بود. اسکارلت تمرینات تئاتری خود را با رفتن به مدرسهٔ حرفه‌ای کودکان در منهتن آغاز کرد. وی در سال ۲۰۰۲ از این مدرسه فارغ التحصیل شد.
مادر اسکارلت او را به تست های بازیگری می‌برد و مشوق او به بازیگری بود. یوهانسون اولین نقش اش را در نُه سالگی و در فیلم فانتزی «شمال» در نقش دختر جان ریتر بر عهده گرفت، و نخستین نقش‌ بزرگسالی اش را در سال ۲۰۰۳ و با بازی در نقش شارلوت در فیلم «گمشده در ترجمه» به کارگردانی سوفیا کاپولا آغاز کرد.