объясните, как решить задачу

Так как искомая окружность должна касаться хорды АВ данной нам окружности радиуса R=15 и самой этой окружности, ясно, что искомая окружность расположена внутри кругового сегмента, стягиваемого хордой АВ. Поскольку хорда АВ делит круг на два круговых сегмента, существует и два варианта решения.
На рисунке представлены оба варианта расположения искомой окружности.
Точка касания "С" этой окружности с хордой АВ определена.
Проведем радиус  r=O1C искомой окружности  в точку касания. Этот радиус О1С перпендикулярен хорде АВ. Проведем радиус R=ОР данной нам окружности к хорде АВ . Он также перпендикулярен хорде АВ и, кроме того, делит ее пополам в точке М. Тогда АМ=0,5АВ=12, АС=АВ/3=8. СМ=12-8=4.
Опустим из центра искомой окружности перпендикуляр на диаметр КР, включающий в себя радиус R. О1М1=СМ=4. Из прямоугольного треугольника ОАМ по Пифагору найдем отрезок ОМ.
ОМ=√(АО²-АМ²)=√(15²-12²)=9.
В прямоугольнике М1О1СМ сторона ММ1=r, где r - радиус искомой окружности.  
Тогда для первого варианта (окружность расположена в большем секторе):
ОМ1=ММ1-ОМ = r-9. ОО1=R-r. (Так как оба радиуса лежат на одной прямой - радиуса в точку касания Т обеих окружностей). И из прямоугольного треугольника М1О1О по Пифагору имеем:
ОО1²=О1М1²+М1О² или (15-r)²=4²+(r-9)² или
225-30r+r²=16+r²-18r+81. Отсюда r=32/3.
Для второго варианта (окружность расположена в меньшем секторе):
ОМ1=ММ1+ОМ = r+9. И ОО1²=(15-r)²=4²+(r+9)² или 225-30r+r²=16+r²+18r+81. Отсюда r=8/3.

Начнем с самого простого:
Сторона правильного шестиугольника равна радиусу описанной около него окружности (свойство). Но можно и так: диагонали правильного шестиугольника разбивают описанную окружность на 6 равных равносторонних треугольника (см. рисунок). Поэтому сторона этого шестиугольника равна радиусу описанной окружности.
Rш=10см.
Диагональ правильного четырехугольника (квадрата) равна диаметру описанной около него окружности (свойство). D=20см.
Тогда его сторона равна Rк= 10√2см.
Сторона правильного треугольника равна  R*√3 (формула). Или в нашем случае 10√3.
Но можно и без формулы: по теореме косинусов.
a² = 2*R²-2R²*Cos120° или a²=200*(1+1/2) = 100*3. a=√300 = 10√3см.
ответ: сторона треугольника равна 10√3см, четырехугольника10√2см и шестиугольника 10см.