16ху(3/4у^2-ху)(ху+3/4у^2)
представить в виде многочлена стандартного вида

Это очень просто. Если в отбрасываемой части самая левая цифра 5 или больше, то к округленному числу прибавляем 1 к правому разряду.
Если цифра от 0 до 4, то округляемая часть не меняется.
Например, у нас есть число Пи=3,141592653589..., которое надо округлить до десятитысячных, то есть до 4-го знака после запятой.
Смотрим 5-ый знак, самый левый в отбрасываемой части. Это 9.
Значит, надо к 4-ому знаку 5 прибавить 1. Получится 3,1416.
А если надо округлить до сотых (до 2-го знака), то смотрим 3-ий знак. 
Это 1. Значит, вся правая часть отбрасывается и остается 3,14.
Вот и всё.

Во первых, a ≠ 1, т.к. при этом значении уравнение сврдится к линейному и два корня мы не получим.

D/4 = (a + 3)² - 2a(a - 1) = a² + 6a + 9 - 2a² + 2a = -a² + 8a + 9 > 0
a² - 8a - 9 < 0
a² - 9a + a - 9 < 0
a(a - 9) + (a - 9) < 0
(a - 9)(a + 1) < 0
a∈(-1 ; 9)

По теореме Виета
{ x₁ + x₂ = 2(a+3)/(a-1)
{ x₁ * x₂ = 2a/(a - 1)

т.к. x₁ и x₂ > 0, то их сумма и произведение тоже больше нуля.

2(a + 3)/(a - 1) > 0
a∈(-∞; -3)∪(1 ; ∞)

2a/(a - 1) > 0
a∈(-∞;0)∪(1; ∞)

Пересечем множества полученных значений, откуда
a∈(1;9)