Составьте обратную функцию y=(1/x-4)+2

Тут, конечно, лучше решить графическим построив в одной координатной плоскости гиперболу и окружность и найти координаты точек их пересечения.

Но можно решить и подстановки.

Выражаем из первого уравнения х через у (х=-12/у) и подставляем это значение во второе уравнение.
(-12/у)² + у² = 25
144/у² + у² = 25

Умножаем обе части уравнения на у² (у≠0), чтобы избавиться от знаменателя.
144 + у⁴ = 25у²

Получили биквадратное уравнение.
у⁴-25у²+144=0

Вводим замену у²=t
t²-25t+144=0
D=625-576=49
t₁=(25+7)/2=16
t₂=(25-7)/2=9

Ищем у.
у²=16                         у²=9
у₁=-4                         у₃=-3
у₂=4                          у₄=3

Находим соответствующие значения х.
х₁ = -12/(-4) = 3
х₂ = -12/4 = -3
х₃ = -12/(-3) = 4
х₄ = -12/3 = -4

ответ. (3;-4), (-3;4), (4;-3), (-4;3)

{х=12/у
{2x+2y-xy=2                                               2*(12/у) + 2у -(12/у)*у - 2 = 0 
                                                                    (24 + 2у^2)/y -14 = 0
                                                                    2y^2 - 14y + 24 = 0
 x1=12/4 =3                                               D = (-14)² - 4 * 2 *24 = 196 -192 = 4
 x2 = 12/3 = 4                                                y1 = (-(-14) + 2)/2*2 = 4
                                                                       y2 = (-(-14) - 2)/2*2 = 3