Let  $\mathrm{\lambda }\in \mathrm{Z},\overline{\mathrm{a}}=\mathrm{\lambda }\overline{\mathrm{i}}+\overline{\mathrm{j}}-\overline{\mathrm{k}}$ and $\overline{\mathrm{b}}=3\overline{\mathrm{j}}-\overline{\mathrm{j}}+2\overline{\mathrm{k}}$ . Let  $\overline{\mathrm{c}}$  be a vector such that  $(\overline{\mathrm{a}}+\overline{\mathrm{b}}+\overline{\mathrm{c}})\times \overline{\mathrm{c}}=\overline{0},\overline{\mathrm{a}}.\overline{\mathrm{c}}=-17$ and  $\overline{\mathrm{b}}.\overline{\mathrm{c}}=-20$  then  $|\overline{\mathrm{c}}\times (\mathrm{\lambda }\overline{\mathrm{i}}+\overline{\mathrm{j}}+\overline{\mathrm{k}}){|}^2$  is equal to

$(\overline{\mathrm{a}}+\overline{\mathrm{b}}+\overline{\mathrm{c}})\times \overline{\mathrm{c}}=\overline{0}\Rightarrow \overline{\mathrm{c}}=\mathrm{t}(\overline{\mathrm{a}}+\overline{\mathrm{b}})$

$\overline{\mathrm{c}}=\mathrm{t}(\mathrm{\lambda }\overline{\mathrm{i}}+\overline{\mathrm{j}}-\overline{\mathrm{k}}+3\overline{\mathrm{i}}-\overline{\mathrm{j}}+2\overline{\mathrm{k}})$$\Rightarrow \overline{\mathrm{c}}=\mathrm{t}(\mathrm{\lambda }+3)\overline{\mathrm{i}}+\overline{\mathrm{k}})$

$\overline{\mathrm{a}}.\overline{\mathrm{c}}=-17$$\Rightarrow \mathrm{t}({\mathrm{\lambda }}^2+3\mathrm{\lambda }-1)=17$          …..(1)

$\overline{\mathrm{b}}\cdot \overline{\mathrm{c}}=-20\Rightarrow \mathrm{t}(3\mathrm{\lambda }+9+2)=-20$        …..(2)

$\frac{\left(1\right)}{\left(2\right)}\Rightarrow \frac{{\mathrm{\lambda }}^2+3\mathrm{\lambda }-1}{3\mathrm{\lambda }+11}=\frac{17}{20}$$\Rightarrow 20{\mathrm{\lambda }}^2+9\mathrm{\lambda }-207=0\Rightarrow \mathrm{\lambda }=3,\frac{-69}{20}\Rightarrow \mathrm{\lambda }=3$

From (2) $\Rightarrow \mathrm{t}(9+9-1)=-17\mathrm{t}=\frac{-17}{17}=-1$

$\therefore {\left|\overline{c}\times \lambda \overline{i}+\overline{j}+\overline{k}\right|}^2={\left|\begin{array}{ccc}i& j& k\\ -6& 0& -1\\ 3& 1& 1\end{array}\right|}^2$$={\left|\overline{\mathrm{i}}-3\overline{\mathrm{j}}-6\overline{\mathrm{k}}\right|}^2$= 1 + 9 + 36 = 46