是大臣之中最了解刘皇帝的人之一了，也从近些年，尤其是北伐期间，刘皇帝对武德司的颇多指谪不满中，察觉到了风险。
那怕也不是针对武德司，而是因为他这个武德使，与其坐在这座火炉上饱受煎熬，莫若请退，以全其身，这就是李崇矩的选择。
事实上，在武德司的人，寻到漠北远征军，确认两名皇子安全之后，李崇矩就做好隐退辞官的打算了。
但他仍旧按捺着，一直到自己病情渐重，一直到西域战事有个了结，方才进宫陈情。当然，李崇矩是想回潞州老家去，从此远离是非，但从刘皇帝的安排来看，仍要将自己在置于京中，处在监视之下，这一点，就无法强求了，刘皇帝那番话，也着实骇人，令其惶恐。