Ранні роки Карл був сином герцога Бургундського Філіпа I Габсбурга, короля-консорта Кастилії, що був останнім носієм титулу герцога Бургундії під ім'ям Філіпа IV Вродливий, та іспанської інфанти Хуани. Він народився у володіннях батька, в місті Генті.
