Я плохо в Геометрии разбираюсь.

В принципе решение очевидно:

Площадь описанного круга πR²=49π; R=7
площадь вписанного круга πr²=9π; r=3
Так как ΔABC прямоугольный (a,b - катеты, c - гипотенуза), центр описанного круга совпадает с серединой гипотенузы. c=2R=14

1) SΔABC=(a+b+c)*r/2=a*b/2;  (a+b+14)*3/2=a*b/2; 3a+3b-a*b+42=0; a*(b-3)=3b+42; a=3*(b+14)/(b-3);

2) a²+b²=c²; a²+b²=14²; 9*(b+14)²/(b-3)²+(b+14)*(b-14)=0;
9*(b+14)²+(b+14)*(b-14)*(b-3)²=0;  b+14 != 0;
9*(b+14)+(b-14)*(b-3)²=0;
9b+126+(b-14)(b²-6b+9)=0;  9b+126+(b³-14b²-6b²+84b+9b-126)=0;
9b+b³-14b²-6b²+84b+9b=0;  b!=0;
9+b²-14b-6b+84+9=0;
b²-20b+102=0;

Однако последнее уравнение не имеет действительных корней. Нет ли ошибки в условии?

PΔ=36, треугольник правильный, значит сторона треугольника равна :
36:3=12.
Опустим высоту в треугольнике до пересечения с окружностью. Соединим полученную точку с одной из оставших вершин заданного треугольника. Получим прямоугольный треугольник, гипотенуза которого является диаметром окружности. Угол между высотой треугольника и его стороной равен 30°. Высота в правильном треугольнике является и биссектрисой и медианой. 60°:2=30°.
Вычислим диаметр окружности:
d=12:cos30°=12:(√3/2)=24/√3=24·√3/√3·√3=24√3/3=8√3.
Диагональю квадрата является диаметр окружности. Обозачим сторону квадрата через а.
По теореме Пифагора: a²+a²=d², 2a²=(8√3)².
                                       2a²=64·3,
                                       a²=32·3=16·2·3,
                                       a=√16·6=4√6.
a=4√6.