Если x1 и x2-корни уравнения x^2-bx+2b-3=0,то при каком b величина y1^2+y2^2 будет наименьшой?

Кажется, вы (или учебник) опечатались, и вопрос должен быть таким:
При каком b величина x1^2 + x2^2 будет наименьшей?
По теореме Виета
{ x1 + x2 = b
{ x1*x2 = 2b - 3
Найдем сумму квадратов
x1^2 + x2^2 = x1^2 + 2x1*x2 + x2^2 - 2x1*x2 = (x1 + x2)^2 - 2x1*x2
Подставляем
x1^2 + x2^2 = b^2 - 2(2b - 3) = b^2 - 4b + 6 = b^2 - 4b + 4 + 2 = (b - 2)^2 + 2
ответ: при b = 2 сумма x1^2 + x2^2 будет минимальной и равна 2.