可以通过在addTextChangedListener的回调方法中进行判断，并对空格或退格等特殊字符进行处理。以下是一个示例代码：

EditText editText = findViewById(R.id.editText);

editText.addTextChangedListener(new TextWatcher() {
    @Override
    public void beforeTextChanged(CharSequence s, int start, int count, int after) {
        // 在文本改变之前调用
    }

    @Override
    public void onTextChanged(CharSequence s, int start, int before, int count) {
        // 在文本改变时调用
        if (count > 0) {
            char lastChar = s.charAt(start + count - 1);
            if (lastChar == ' ' || lastChar == '\b') {
                // 处理空格或退格等特殊字符
                editText.setText(s.subSequence(0, start + count - 1));
                editText.setSelection(start + count - 1);
            }
        }
    }

    @Override
    public void afterTextChanged(Editable s) {
        // 在文本改变之后调用
    }
});

在上面的示例代码中，我们在onTextChanged方法中判断最后输入的字符是否为空格或退格等特殊字符。如果是特殊字符，我们将文本框的内容重新设置为去掉该特殊字符的内容，并将光标移动到正确的位置。这样就实现了不让空格或退格等特殊字符显示在文本框中的效果。