If $\underset{x\to 0}{\lim }\frac{x(1+a\cos x)-b\sin x}{x^3}=1$ then 

$\underset{x\to 0}{\lim }\frac{x(1+a\cos x)-b\sin x}{x^3}=1$

$$\begin{gathered} \sin x=x-\frac{x^3}{3!}+\cdots \\ \cos x=1-\frac{x^2}{2!}+\cdots \\ L=\underset{x\to 0}{\lim }\frac{x\left[1+a\left(1-\frac{x^2}{2}\right)\right]-b\left(x-\frac{x^3}{6}\right)}{x^3}=1 \\ L=\underset{x\to 0}{\lim }\frac{x^3\left(-\frac{a}{2}+\frac{b}{6}\right)+x(1+a-b)}{x^3}=1 \end{gathered}$$

So, $\frac{-a}{2}+\frac{b}{6}=1$ and $a-b+1=0$

Solving these, we get $\Rightarrow a=-5/2,b=-3/2$