
так как эти три числа образуют геометрическую прогрессию и их сумма равна 21,мы можем составить такое уравнение

далее, мы знаем, что для членов арифметической прогрессии верно утверждение

Запишем подряд члены получившеся арифметической прогрессии и применим для них это утверждение

тогда

получилась система из 2х уравнений с двумя неизвестными
решение очень громоздкое, но думаю, что с ним реально справиться.
Я выражал из первого b1 и подставлял во второе, в итоге получил 2 варианта
1 4 16 q=4
16 4 1 q=0,25
y = - 33
Берем производную, она равна 2 - 242/x^2, приравуниваем ее к нулю и находим х:
x1 = - 11, x2 = 11.
В данный нам отрезок попадает лишь х = 11.
Считаем значение функции в каждой из этих точек:
- 16 (нижняя граница отрезка) y = - 36,125
- 11 (найденная нами точка) y = - 33
- 0,5 (верхняя граница отрезка) y = - 111
И затем выбираем наибольшее из полученных значений.