ApacheBeam和Dataflow致命的Python错误:XXX堆栈操作下溢
创始人
2024-09-05 11:31:45
0

这个错误是由于Python解释器无法正确跟踪包含本地C扩展的堆栈。解决此问题的一个简单方法是在Dataflow任务的启动脚本中添加一个环境变量PYTHONUNBUFFERED=1。这将禁用Python的输出缓冲,以便错误能够立即输出并显示在控制台上,而不是在脚本结束时输出。以下是示例代码:

import apache_beam as beam

with beam.Pipeline() as p:
  pcoll = p | beam.Create([1, 2, 3])
  _ = pcoll | 'ThrowError' >> beam.Map(lambda x: 1 / (x - 3))

在运行以下命令时,您将看到错误消息并且程序将在这里停止:

python -m apache_beam.examples.wordcount --input gs://dataflow-samples/shakespeare/kinglear.txt --output gs://YOUR_OUTPUT_BUCKET/wordcount/outputs

该命令将返回以下错误消息:

“实际结果”。 ValueError:“堆栈下溢”

要解决此错误,需要将PYTHONUNBUFFERED变量添加到命令中,如下所示:

PYTHONUNBUFFERED=1 python -m apache_beam.examples.wordcount --input gs://dataflow-samples/shakespeare/kinglear.txt --output gs://YOUR_OUTPUT_BUCKET/wordcount/outputs

这表明,如果Python出现问题,错误消息将立即输出到控制台,从而使您能够识别和解决错误。

相关内容

热门资讯

安装了Anaconda之后找不... 在安装Anaconda后,如果找不到Jupyter Notebook,可以尝试以下解决方法:检查环境...
避免在粘贴双引号时向VS 20... 在粘贴双引号时向VS 2022添加反斜杠的问题通常是由于编辑器的自动转义功能引起的。为了避免这个问题...
安装apache-beam==... 出现此错误可能是因为用户的Python版本太低,而apache-beam==2.34.0需要更高的P...
安装安卓应用时出现“Play ... 在安装安卓应用时出现“Play Protect 警告弹窗”的原因是Google Play Prote...
Android Recycle... 要在Android RecyclerView中实现滑动卡片效果,可以按照以下步骤进行操作:首先,在项...
安卓系统怎么连不上carlif... 安卓系统无法连接CarLife的原因及解决方法随着智能手机的普及,CarLife这一车载互联功能为驾...
本地化字符串和默认值 本地化字符串是指将应用程序中的文本内容根据不同的语言和地区进行翻译和适配的过程。当应用程序需要显示不...
iqoo安卓14系统怎么升级系... 亲爱的iQOO手机用户们,是不是觉得你的手机系统有点儿落伍了呢?别急,今天就来手把手教你如何升级到最...
iwatch怎么连接安卓系统,... 你有没有想过,那款时尚又实用的iWatch,竟然只能和iPhone好上好?别急,今天就来给你揭秘,怎...
windows安装系统退不出来... Windows安装系统退不出来的解决方法详解在电脑使用过程中,有时会遇到在安装Windows系统时无...