Одной из вершин квадрата будет вершина сектора, а вершины лежащие на окружности - это точки касания окружности и сторон сектора. Получаем, что сторона квадрата равна радиусу вписанной окружности. Осталось найти радиус. Воспользуемся тем, что точка касания вписанной окружности будет лежать посередине дуги сектора. Получаем уравнение:
r*sqrt(2) + r = 1
r = 1/(1+sqrt(2)
