有意思的推理库BigBang!!

BigBang主要是想要搭建一个自己的工作软件库 ,方便调试和开发独特的功能 ,并且可以练技。

主要的功能

  • 自动生成可以部署的.cpp和.h(通过链接库来进行)
  • 方便benchmark不同后端不同平台的速度以及精度
  • 评测方式可以直接用triton的接口

思想

  • 写视频、写图片可以先存到vector中(会比较占用内存)
  • 读取流和和视频
  • 信号量的使用

Python部分

用户是否需要安装python环境库?

在linux端,如果不安装的话,可以通过curl来请求

  • 前端查看模型效果 streamlit gradio
  • 如果和C++交互,是否需要调整为 http 请求的方式

C++部分

  • 依赖triton从而支持不同的后端,