Проверить что четырехугольник с координатами а (4; 4), в (5; 7), с (10; 10), д(12; 4) является выпуклым

Все очень просто, если бы не арифметика
Четырехугольник задан координатами его вершин, значит имеем дело с векторами. Выпуклый многоугольник - многоугольник, все углы которого меньше 180°.
Косинус угла между векторами равен скалярному произведению векторов, поделенному на произведение модулей векторов.
Для нахождения угла А: 
 1) находим координаты векторов АВ и АD (угол А между ними) :
     АВ={Xb-Xa;Yb-Ya} = {5-4;7-4} = {1;3}
     AD={12-4;4-4} = {8;0}
 2) Находим скалярное произведение векторов АВ и АD:
    AB*AD= Xab*Xad + Yab*Yad = 8+0=8
 3) Находим модули векторов АВ и АС:
    |AB| = √(X²+Y²) = √(1+9) = √10
    |AD| = √(64+0) = 8
CosA= AB*AD/(|AB|*|AD|) = 8/8√10 ≈ 0,316   Угол А ≈ 72°.
Для нахождения угла В:
 1) находим координаты векторов ВА и BС (угол В между ними) :
     BA={Xa-Xb;Ya-Yb} = {4-5;4-7} = {-1;-3}
     BC={10-5;10-7} = {5;3}
 2) Находим скалярное произведение векторов BA и BС:
    BA*BC= Xba*Xbc + Yba*Ybc = (-5)+(-9)= -14
 3) Находим модули векторов BA и BС:
    |BA| = √(X²+Y²) = √(1+9) = √10
    |BC| = √(25+9) = √34
CosВ= ВА*ВС/(|ВА|*|ВС|) = -14/√340 ≈ -0,759  Угол В ≈ 139°.
Для нахождения угла C:
 1) находим координаты векторов CB и CD (угол C между ними) :
         CB={5-10;7-10} = {-5;-3}
         CD={12-10;4-10} ={2;-6}
 2) Находим скалярное произведение векторов CB и CD:
    CB*CD= Xcb*Xcd + Ycb*Ycd = (-10)+(18)= 8
 3) Находим модули векторов CB и CD:
    |CB| = √(X²+Y²) = √(25+9) = √34
    |CD| = √(4+36) = √40
CosC= CB*CD/(|CB|*|CD|) = 8/36,88 ≈0,217  Угол C ≈ 77°.
 Для нахождения угла D:
 1) находим координаты векторов DC и DA (угол D между ними) :
         DC={10-12;10-4} = {-2;6}
         DA={4-12;4-4} ={-8;0}
 2) Находим скалярное произведение векторов DC и DA:
    DC*DA= Xdc*Xda + Ydc*Yda = (16)+(0)= 16
 3) Находим модули векторов DC и DA:
    |DC| = √(X²+Y²) = √(4+36) = √40
    |DA| = √(64+0) = 8
CosD= DC*DA/(|DC|*|DA|) = 16/16√10 ≈0,316  Угол D ≈ 72°.
 Все углы четырехугольника меньше 180°, значит он  выпуклый, что и надо было проверить.
Проверим арифметику: сумма углов нашего четырехугольника равна:
 72°+139°+77°+72° = 360°. На удивление, совпало.