скалярное произведение векторов a и b равно:
|вектор a| * |вектор b|* cos (угла между векторами)
a * b = 5 * 6 * cos (120°) = 30 * (- ½) = - 15
