La risposta è immediata:
Sappiamo che un'equazione di secondo grado non ammette soluzioni reali quando \Delta <0. Basterà allora vedere quando si verifica questo, e abbiamo la soluzione! L'equazione è questa: x^2-4x \cos \alpha +1 = 0 dobbiamo soddisfare quindi \Delta <0 cioè: b^2-4ac<0 \to 16 \cos^2 \alpha -4<0 bisogna risolvere questa disequazione trigonometrica:16 \cos^2 \alpha -4<0 \to \cos^2 \alpha < \frac{4}{16} \to \cos^2 \alpha < \frac{1}{4} ovvero: -\frac{1}{2}<\cos \alpha < \frac{1}{2} e da qui la ricerca delle soluzioni dovrebbe essere immediata.
Nel caso non lo fosse, ciò che devi fare è risolvere le due disequazioni singolarmente, e prendere le soluzioni comuni a entrambe, nel nostro caso abbiamo:\left\{\begin{matrix}
\cos \alpha < \frac{1}{2} \\
\cos \alpha>-\frac{1}{2}
\end{matrix}\right.\rightarrow
\left\{\begin{matrix}
\alpha > \frac{\pi}{3} \cup \alpha < \frac{5\pi}{3} \\
0<\alpha < \frac{2\pi}{3} \cup \frac{4\pi}{3}<\alpha < 2\pi
\end{matrix}\right. e se provi a mettere sull'asse reale le due soluzioni, e ti cerchi quelle comuni avrai:

La soluzione addirittura, potrebbe essere ancora più semplificata (se osservi la mia soluzione è periodica di periodo \pi e non 2\pi ma va benissimo lo stesso, rimane sempre una soluzione 🙂)
Se ti è tutto chiaro, o hai dubbi o domande al riguardo, fammelo sapere sempre in questa discussione 👍