Самые далекие предки Стивенсона со стороны отца были мелкими фермерами, менее далекие — мельниками, солодоварами, дед, Роберт Стивенсон, стал видным гражданским инженером, строителем маяков, мостов и волнорезов. Примечательно, что этот дед Стивенсонав свое время дружил с Вальтером Скоттом.
