Hướng dẫn giải:

a) Khi \( m=-4 \), phương trình (1) trở thành: \( {{x}^{2}}+6x+2=0 \).

Ta có:  \( {\Delta }’={{3}^{2}}-2.1.2=5>0 \).

 \( \Rightarrow  \) Phương trình có hai nghiệm phân biệt  \( {{x}_{1}}=-3+\sqrt{5};\text{ }{{x}_{2}}=-3-\sqrt{5} \).

Vậy với  \( m=-4 \) thì phương trình có tập nghiệm là  \( S=\left\{ -3+\sqrt{5};-3-\sqrt{5} \right\} \).

b) Xét phương trình (1) có:

 \({\Delta }’={{\left[ -(m+1) \right]}^{2}}-1.(2m+10)={{m}^{2}}+2m+1-2m-10={{m}^{2}}-9\).

Phương trình (1) có nghiệm  \( \Leftrightarrow {\Delta }’\ge 0\Leftrightarrow {{m}^{2}}\ge 9\Leftrightarrow \left[ \begin{align} & m\ge 3 \\  & m\le -3 \\ \end{align} \right. \).

Vậy (1) có nghiệm khi  \( \left[ \begin{align}  & m\ge 3 \\  & m\le -3 \\ \end{align} \right. \).

c) Với \( \left[ \begin{align} & m\ge 3 \\ & m\le -3 \\ \end{align} \right. \) thì phương trình (1) có nghiệm \( {{x}_{1}},{{x}_{2}} \).

Hệ thức Viet:  \( \left\{ \begin{align}  & {{x}_{1}}+{{x}_{2}}=2(m+1) \\  & {{x}_{1}}.{{x}_{2}}=2m+10 \\ \end{align} \right. \).

Ta có:  \( P=x_{1}^{2}+x_{2}^{2}+8{{x}_{1}}{{x}_{2}}={{({{x}_{1}}+{{x}_{2}})}^{2}}+6{{x}_{1}}{{x}_{2}} \).

 \( \Rightarrow P={{\left[ 2(m+1) \right]}^{2}}+6(2m+10)=4{{m}^{2}}+20m+64={{(2m+5)}^{2}}+39 \).

Sai lầm mắc phải:

Vì  \( {{(2m+5)}^{2}}\ge 0\Rightarrow P\ge 39 \).

Do đó:  \( {{P}_{\min }}=39\Leftrightarrow {{(2m+5)}^{2}}=0\Leftrightarrow m=-\frac{5}{2} \) (không thỏa mãn).

Vậy không có giá trị của m để P nhỏ nhất.

Lời giải đúng:

Khi  \( m\le -3\Rightarrow 2m+5\le -1\Rightarrow {{(2m+5)}^{2}}\ge 1\Rightarrow P={{(2m+5)}^{2}}+39\ge 40 \).

Khi  \( m\ge 3\Rightarrow 2m+5\ge 11\Rightarrow {{(2m+5)}^{2}}\ge 121\Rightarrow P={{(2m+5)}^{2}}+39\ge 160 \).

Như vậy với mọi m thỏa mãn điều kiện, ta có:  \( P\ge 40 \)

 \( \Rightarrow {{P}_{\min }}=40 \) khi  \( m=-3 \).