问题的原因是在启动AWS EMR v5.32.0时安装了Numpy,但是Numpy似乎不向后兼容。解决此问题的方法是通过添加一个bootstrap action脚本,并在启动AWS EMR时运行该脚本来指定使用早期版本的Numpy。以下是一个示例bootstrap action脚本:
#!/bin/bash
sudo pip uninstall -y numpy
sudo pip install numpy==1.16.4
将此脚本保存在S3上,将其作为bootstrap action添加到AWS EMR启动中。此脚本将卸载当前安装的Numpy,并将Numpy版本更改为1.16.4。
在运行此脚本之后,您应该能够成功运行AWS EMR v5.32.0。