已知函数 $f(x)=\cos ^{2} x+2 \sqrt{3} \sin x \cos x-\sin ^{2} x, x \in \mathbf{R}$.

(1) 求函数 $f(x)$ 的单调增区间;

(2) 求方程 $f(x)=0$ 在 $(0, \pi]$ 内的所有解.
$f(x)=\cos ^{2} x+2 \sqrt{3} \sin x \cos x-\sin ^{2} x=\sqrt{3} \sin 2 x+\cos 2 x=2 \sin \left(2 x+\frac{\pi}{6}\right)$

(1) 由 $-\frac{\pi}{2}+2 k \pi \leq 2 x+\frac{\pi}{6} \leq \frac{\pi}{2}+2 k \pi, k \in Z$, 解得: $-\frac{\pi}{3}+k \pi \leq x \leq \frac{\pi}{6}+k \pi, k \in Z$.

$\therefore$ 函数 $f(x)$ 的单调增区间为 $\left[-\frac{\pi}{3}+k \pi, \frac{\pi}{6}+k \pi\right], k \in Z$

(2) 由 $f(x)=0$ 得 $2 \sin \left(2 x+\frac{\pi}{6}\right)=0$, 解得: $2 x+\frac{\pi}{6}=k \pi$, 即 $x=-\frac{\pi}{12}+\frac{k \pi}{2}, k \in Z$

$\because x \in(0, \pi], \therefore x=\frac{5 \pi}{12}$ 或 $x=\frac{11 \pi}{12}$.