Кто может объяснить как это решается ?
в тексте параграфа один метод , photomath совсем по-другому решает ​

Во-первых, не указан какой правильный многоугольник в основании призмы. Пусть это будет правильный n-угольник.
Во-вторых, не сказано наклонная или прямая призма имеется в виду. Если призма наклонная, то из исходных данных её высоту не определить. Если призма прямая, то по теореме Пифагора определяем высоту призмы. Пусть а - сторона основания, L - диагональ боковой грани, которая является прямоугольником, h - высота пирамиды.
h = √(L^2 - a^2) = √(5^2 - 3^2) = 4
Площадь полной поверхности правильной призмы ищем по формуле:
S = (n/2) * a^2 * ctg(π/n) + n * a * h = 4,5 * n * ctg(π/n) + 12 * n
Если известно число сторон, то площадь вычисляется до конца.

Функция от двух переменных.
z(x, y) = x^2 + 3(y-1)^2 + 2(x-3)(y+2)

Необходимое условие экстремума. Обе частные производные равны 0.
dz/dx = 2x + 2(y+2) = 2x + 2y + 4 = 0
dz/dy = 6(y-1) + 2(x-3) = 6y - 6 + 2x - 6 = 2x + 6y - 12 = 0
Решаем систему. Делим оба уравнения на 2
{ x + y + 2 = 0
{ x + 3y - 6 = 0
Из 2 уравнения вычитаем 1 уравнение
2y - 8 = 0; y = 4; x = -y - 2 = -4 - 2 = -6
z(-6; 4) = (-6)^2 + 3(4-1)^2 + 2(-6-3)(4+2) = 36 + 3*9 + 2(-9)*6 = -45

Достаточное условие экстремума.
A = d2z/dx^2 = 2 > 0; B = d2z/(dxdy) = 2; C = d2z/dy^2 = 6
D = A*C - B^2 = 2*6 - 2^2 = 12 - 4 = 8 > 0
Так как D > 0 и A > 0 - это точка минимума.
Если бы было D > 0 и A < 0 - был бы максимум.
Если бы было D < 0 - экстремума вообще не было в этой точке.
Наибольшее значение функции будет равно +oo при x -> +oo и y -> +oo.