смотри в учебнике (или интернете) производная сложной функции (композиции функций).
(3*cos²(x))' = 3*(cos²(x))' = 3*2*cos(x)*(cos(x))' = 6*cos(x)*(-sin(x)) =
= -6*sin(x)*cos(x)
