「そちらに行く」ではなく「別の場所に行く」であれば矛盾しない

うっかり地雷を踏んだ人に対して「だめだよ(動くな、今こっちから助けに)行くよ」
踏んだ人「いいよ(気をつけて)来いよ」

…矛盾は無いな。