这个问题可能和你的代码实现有关。如果你在代码中多次调用alert.show()方法，那么就会导致多次显示alert框。为了在用户点击dismiss按钮时关闭alert框，你需要在代码中添加监听器。以下是一个使用AlertDialog.Builder的示例代码：

AlertDialog.Builder alertDialogBuilder = new AlertDialog.Builder(context)
    .setTitle("Alert Title")
    .setMessage("Alert Message")
    .setPositiveButton("OK", new DialogInterface.OnClickListener() {
        public void onClick(DialogInterface dialog, int which) {
            // do something
        }
    })
    .setNegativeButton("Cancel", new DialogInterface.OnClickListener() {
        public void onClick(DialogInterface dialog, int which) {
            // do something
        }
    });

AlertDialog alertDialog = alertDialogBuilder.create();
alertDialog.show();

在这个代码示例中，我们定义了一个AlertDialog.Builder实例并设置标题、消息和两个按钮（确认和取消）。同时，我们添加了确认和取消按钮的监听器，以便在用户点击相应按钮时执行特定的操作。最后，我们创建AlertDialog并调用show方法来显示它。这样，我们就能保证只有一个AlertDialog对象被创建并正确响应用户操作。