Народився майбутній князь у 978 або у 979 році. Його мамою була княгиня Рогніда – дочка правителів Полоцька, який завоював його батько – майбутній хреститель Русі князь Володимир Великий. Перший політичний досвід Ярослав почав отримувати дуже рано. У десятирічному віці Володимир призначив його керівником Суздальської землі. У 1010 році батько поставив його правити Новгородом – основним торговим і військовим центром північної частини Київської Русі. Такий крок свідчив про те, що Володимир побачив у молодого сина риси жорсткого, але справедливого правителя.
На Новгородському престолі Ярослав втримувався спокійно, незважаючи на войовничий та волелюбний характер жителів міста і сусідніх племен. У 1014 році князь не захотів віддавати данину у розмірі 2 000 гривень до Києва. За це батько наступного літа хотів піти на нього війною, але несподівано помер.
Дізнавшись про смерть батька, Ярослав вирішив взяти київський престол для себе. У листопаді 1015 дружина правителя Новгорода зустрілась з військом київського князя Ярополка неподалік міста Любеч і перемогла його. Ярослав ввійшов у столицю Русі, але менше ніж через рік мусив звідти втікати – Ярополк підійшов до города з армією свого тестя – короля Польщі Болеслава Хороброго. Отримавши підтримку в Новгороді, Ярослав розбив брата на території нинішньої Київської області і отримав владу майже над усією Руссю, за виключенням Тмутаракані, де правив його брат Мстислав.
