Hướng dẫn giải:

Đáp án C.

Cách 1:

Tập xác định của hàm số:  \( D=\mathbb{R}\backslash \left\{ 1 \right\} \) \( \Rightarrow \left[ 0;2 \right]\subset D \)

Ta có:  \( y=\frac{{{x}^{3}}+{{x}^{2}}-m}{x+1} \) \( \Rightarrow {y}’=\frac{2{{x}^{3}}+4{{x}^{2}}+2x+m}{{{\left( x+1 \right)}^{2}}} \)

 \( {y}’=0\Leftrightarrow 2{{x}^{3}}+4{{x}^{2}}+2x+m=0 \) \( \Leftrightarrow -\left( 2{{x}^{3}}+4{{x}^{2}}+2x \right)=m \)  (1).

Ta có:  \( y(0)=-m  \);  \( y(2)=4-\frac{m}{3} \)

Đặt  \( g(x)=-\left( 2{{x}^{3}}+4{{x}^{2}}+2x \right) \) \( \Rightarrow {g}'(x)=-\left( 6{{x}^{2}}+8x+2 \right)=0 \) \( \Leftrightarrow x=-1\vee x=-\frac{1}{3} \)

Trên  \( \left[ 0;2 \right] \) ta có bảng biến thiên:

Từ bảng biến thiên, ta có:  \( g(x)\in \left[ -36;0 \right],\forall x\in \left[ 0;2 \right] \)

Trường hợp 1: m > 0  \( \Rightarrow  \) phương trình (1) vô nghiệm  \( \Leftrightarrow  \)phương trình  \( {y}’=0 \) vô nghiệm.

Dễ thấy  \( y(0)=-m<y(2)=4-\frac{m}{3} \) khi  \( m>0 \).

Khi đó:  \( \underset{[0;2]}{\mathop{Max}}\,y=y(2)=4-\frac{m}{3}=5\Leftrightarrow m=-3 \) loại do  \( m>0 \) .

Trường hợp 2:  \( m<-36\Rightarrow  \)phương trình (1) vô nghiệm  \( \Leftrightarrow  \) phương trình  \( {y}’=0 \) vô nghiệm.

Dễ thấy  \( y(0)=-m>y(2)=4-\frac{m}{3} \) khi  \( m<-36 \).

Khi đó  \( \underset{[0;2]}{\mathop{Max}}\,y=y(0)=-m=5\Leftrightarrow m=-5 \) loại do  \( m<-36 \).

Trường hợp 3:  \( m\in \left[ -36;0 \right]\Rightarrow  \)phương trình  \( {y}’=0 \) có nghiệm duy nhất (giả sử  \( x={{x}_{0}} \)).

Trên  \( \left[ 0;2 \right] \) ta có bảng biến thiên:

Nhìn vào bảng biến thiên, ta có:

+  \( x={{x}_{0}}:g(x)=m\Leftrightarrow -\left( 2{{x}^{3}}+4{{x}^{2}}+2x \right)=m  \) \( \Leftrightarrow 2{{x}^{3}}+4{{x}^{2}}+2x+m=0\Leftrightarrow {y}’=0 \).

+  \( x\in \left( 0;{{x}_{0}} \right):g(x)>m\Leftrightarrow -\left( 2{{x}^{3}}+4{{x}^{2}}+2x \right)>m  \) \( \Leftrightarrow 2{{x}^{3}}+4{{x}^{2}}+2x+m<0\Leftrightarrow {y}'<0 \)

+  \( x\in \left( {{x}_{0}};0 \right):g(x)<m\Leftrightarrow -\left( 2{{x}^{3}}+4{{x}^{2}}+2x \right)0\Leftrightarrow {y}’>0 \)

Ta có bảng biến thiên sau:

Từ bảng biến thiên ta thấy:  \( \underset{[0;2]}{\mathop{Max}}\,y\in \left\{ y(2);y(0) \right\} \).

Nếu  \( m\in \left[ -36;-6 \right]\Rightarrow y(0)\ge y(2) \) \( \Rightarrow \underset{[0;2]}{\mathop{Max}}\,y=y(0)=-m=5\Leftrightarrow m=-5 \) (loại)

Nếu  \( m\in \left[ -6;0 \right]\Rightarrow y(0)\le y(2) \) \( \Rightarrow \underset{[0;2]}{\mathop{Max}}\,y=y(2)=4-\frac{m}{3}=5\Leftrightarrow m=-3 \) (nhận).

Vậy  \( m=-3 \) thỏa đề.

Cách 2:

Tập xác định của hàm số:  \( D=\mathbb{R}\backslash \{1\}\Rightarrow \left[ 0;2 \right]\subset D  \)

Ta có:  \( y=\frac{{{x}^{3}}+{{x}^{2}}-m}{x+1}={{x}^{2}}-\frac{m}{x+1} \) \( \Rightarrow {y}’=2x+\frac{m}{{{\left( x+1 \right)}^{2}}} \).

Trường hợp 1: \( m\ge 0\Rightarrow {y}’\ge 0,\forall x\in \left[ 0;2 \right] \) \( \Rightarrow \) Hàm số đồng biến trên  \( \left[ 0;2 \right] \).

 \( \Rightarrow \underset{[0;2]}{\mathop{Max}}\,y=y(2)=4-\frac{m}{3}=5\Leftrightarrow m=-3 \) loại do  \( m>0 \).

Trường hợp 2:  \( m<0 \), giả sử  \( \Rightarrow \underset{[0;2]}{\mathop{Max}}\,y=y({{x}_{0}}) \) với  \( {{x}_{0}}\in \left( 0;2 \right) \). Do hàm số liên tục trên  \( \left[ 0;2 \right] \)

\( \Rightarrow \left\{ \begin{align}  & {y}'({{x}_{0}})=0 \\ & y({{x}_{0}})=5 \\ \end{align} \right. \) \( \Leftrightarrow \left\{ \begin{align}  & m=-2{{x}_{0}}{{\left( {{x}_{0}}+1 \right)}^{2}} \\  & \frac{x_{0}^{3}+x_{0}^{2}-m}{{{x}_{0}}+1}=5 \\ \end{align} \right. \)

 \( \Rightarrow x_{0}^{3}+x_{0}^{2}+2{{x}_{0}}{{\left( {{x}_{0}}+1 \right)}^{2}}=5\left( {{x}_{0}}+1 \right) \) \( \Leftrightarrow {{x}_{0}}=-\frac{5}{3}\vee {{x}_{0}}=1(n) \) \( \Rightarrow m=-8 \)

Khi đó:  \( {y}’=2x+\frac{-8}{{{(x+1)}^{2}}}=\frac{2{{x}^{3}}+4{{x}^{2}}+2x-8}{{{(x+1)}^{2}}} \) \( \Rightarrow {y}’=0\Leftrightarrow x=1 \)

Ta có bảng biến thiên:

 \( \Rightarrow m=-8 \) không thỏa yêu cầu đề.

Nên không tồn tại \({{x}_{0}}\in \left( 0;2 \right)\) để \(\underset{[0;2]}{\mathop{Max}}\,y=y({{x}_{0}})\).

\( \Rightarrow \left[ \begin{align} & \underset{[0;2]}{\mathop{Max}}\,y=y(2)\Rightarrow m=-5 \\  & \underset{[0;2]}{\mathop{Max}}\,y=y(0)\Rightarrow m=-3 \\ \end{align} \right. \)

Nếu  \( m=-5\Rightarrow y(0)=5;y(2)=\frac{17}{3} \) \( \Rightarrow \underset{[0;2]}{\mathop{Max}}\,y=y(2)=\frac{17}{3}\ne 5\Rightarrow m=-5 \) (loại)

Nếu  \( m=-3\Rightarrow y(0)=3;y(2)=5 \) \( \Rightarrow \underset{[0;2]}{\mathop{Max}}\,y=y(2)=5\Rightarrow m=-3 \) (nhận).

Vậy  \( m=-3 \) thỏa đề.