можно проще... tgA Вы нашли верно = 3V10/20
по определению тангенс ---это отношение противолежащего катета к прилежащему катету
tgA = CB/CA = 3/CA
отсюда СА = 3/tgA = 3 : 3V10/20 = 3 * 20 / 3V10 = 20/V10
по т.Пифагора AB^2 = AC^2 + BC^2
AB^2 = 20*20/10 + 3*3 = (400 + 90)/10 = 490/10 = 49
AB = 7
У меня так.
tg a = BC/AC Отсюда 
По теореме Пифагора АВ=7