triton-server中的python backend

imoldpan · 2023 年4 月 24 日 14:28

很多时候，我们需要搭建一些简单的服务供其他人使用。

python后端

Python解释器使用全局锁，称为GIL。由于GIL的存在，在同一Python解释器中同时运行多个线程是不可能的，因为每个线程在访问Python对象时都需要获取GIL，这将序列化所有操作。为了解决这个问题，Python后端为每个模型实例生成一个单独的进程。这与其他Triton后端（如ONNXRuntime、TensorFlow和PyTorch）处理多个实例的方式不同（增加这些后端的实例计数将创建额外的线程而不是生成单独的进程）。

使用注意点

Python backend占用内存要大一些，提前预留好（Python通常会比C++占用更多的内存，因为Python是一种高级语言，有更多的抽象层。Python对象通常会存储更多的元数据，并且Python还有一个垃圾收集机制来管理内存，这也会增加内存的使用）
Python backend相比C++肯定要慢，这个慢在不同模型上体现的不一样，如果你的模型很慢，那么python的消耗可以忽略不计，如果模型很快，python的耗时慢就会很明显

代码分析

多个ModelInstance在初始化的时候，会执行LaunchStubProcess，应该是每启动一个instance就会启动一个StubProcess

根据您提供的代码，共享内存主要用于高效地传输和处理推理请求和响应的数据。以下是共享内存的具体用法：

1. 请求数据的传输:

当客户端发送推理请求到 Triton 服务器时，输入数据（如模型的输入张量）可以被放置在共享内存中。这样，Python 后端可以直接从共享内存中访问这些数据，而无需进行额外的数据拷贝或传输，从而提高数据传输的效率。

2. 推理结果的传输:

推理完成后，推理结果（如模型的输出张量）也可以被放置在共享内存中。客户端可以直接从共享内存中读取这些结果，再次减少了数据拷贝和传输的开销。

3. 共享内存的管理:

SharedMemoryManager 类负责管理共享内存的分配和释放。它提供了 GrowIfNeeded 和 FreeMemory 等方法来动态管理共享内存，确保内存的有效利用，并在不需要时及时释放内存。

总结:

共享内存在数据传入（请求数据）和数据传出（响应数据）的过程中都被使用。通过使用共享内存，可以减少数据在客户端、服务器和 Python 后端之间传输的开销，提高推理服务的整体性能。

需要注意的是，具体的数据传输和共享内存使用方式可能还取决于 Triton 服务器的配置和客户端的实现方式。为了获得完整的视图，您可能需要查看 Triton 服务器的其他部分的代码和文档。

如果您有更多问题或需要更多细节，请告诉我！

共享内存的作用

共享内存（Shared Memory）是一种进程间通信（Inter-Process Communication, IPC）的技术，它主要有以下作用和优点：

1. 高效的数据共享:

数据共享: 允许多个进程访问和操作共同的内存空间。这意味着一个进程可以在共享内存中写入数据，而其他进程可以读取或修改这些数据。
高效传输: 由于数据存储在共享的内存区域中，进程间的数据传输非常快，几乎没有延迟。

2. 减少数据拷贝:

由于多个进程可以直接访问共享内存，不需要将数据从一个进程复制到另一个进程，从而减少了数据拷贝的开销和时间。

3. 实现进程间通信 (IPC):

共享内存是一种实现进程间通信的有效方式。进程可以通过读写共享内存来交换信息。

4. 同步和协调:

通过使用信号量、互斥锁等同步机制，多个进程可以协调对共享内存的访问，实现数据的同步和协调操作。

5. 资源有效利用:

共享内存允许多个进程共享相同的内存资源，而不是每个进程分配自己的内存空间，从而更有效地利用内存资源。

使用场景:

高性能计算: 在高性能计算应用中，多个进程需要高效地共享和交换数据。
数据库系统: 数据库系统可能使用共享内存来高效地管理和访问存储在内存中的数据。
实时系统: 在实时系统中，多个进程需要快速和准确地共享数据来响应实时事件。
机器学习和深度学习: 在机器学习和深度学习的推理服务中，共享内存用于高效地传输模型的输入和输出数据。

注意事项:

虽然共享内存提供了许多优势，但也有其挑战和风险，如数据一致性、同步和安全问题。使用共享内存时，需要采取适当的措施来处理这些问题。

总的来说，共享内存是一种强大而高效的数据共享和进程间通信技术，广泛用于需要高效数据交换的各种应用和系统中。

与fastAPI的比较

异常问题

因为triton在服务的时候，如果代码中遇到问题，会发送回客户端而不在服务端打印。

可以考虑使用try and exception去打印异常

try:
    # 你觉着可能触发错误的代码
  except Exception as e:
    self.logger.log_info("[execute] error: {}".format(e))
    responses.append(pb_utils.InferenceResponse(output_tensors=[], error=pb_utils.TritonError("An Error Occurred")))
    return responses