X-5√x=-6 x-5√x+6=0 |^2 x^2+25x+36=0 дальше не могу но знаю что больший из ответов будет 9

Ну сначала одз x>=0
и начиная отсюда ошибка
x-5√x+6=0 |^2
во - первых  не надо возводить в квадрат во - вторых как возвел - это полная ерунда. Учись возводить
делаем замену 
t=√x t>=0
t²-5t+6=0
D=25-4*6=1
t12=(5+-1)/2 = 2 3
t1=2   x=4
t2=3  x=9
ответ 4 и 9

ОДЗ: х>0
X-5√x=-6
(X+6)^2=(5√x)^2
х^2+12x+36=25x
х^2+12x+36-25x=0
x^2-13х+36=0
D=169-144=√25=5
x1=13+5/2=9
x2=13-5/2=4
ответ:  х=9;4