'Assembly line reader”翻译为'流水线读取器”。使用Python实现流水线读取器的代码示例如下:
import queue
import threading
class AssemblyLineReader:
def __init__(self, input_file, num_workers):
self.input_file = input_file
self.queue = queue.Queue()
self.num_workers = num_workers
def start(self):
for i in range(self.num_workers):
worker = threading.Thread(target=self.worker)
worker.daemon = True
worker.start()
def worker(self):
with open(self.input_file) as f:
for line in f:
self.queue.put(line)
self.queue.put(None)
def get_line(self):
line = self.queue.get()
if line is None:
return None
return line.strip()
这个类从文件中读取行并将其放入队列中。一旦队列已填满,多个工作线程可以从队列中获取行并处理它们。工作线程是使用多线程创建的。 start方法启动了所有work方法。 get_line方法获取队列中的下一行。 如果队列为空,则get_line方法阻塞,直到有新行添加到队列中。 如果队列已被worker标记为完成,则get_line方法返回None,表示读取完了整个文件。