Deploy-AI-Model

Repo สำหรับการ Deploy AI Generative AI, Vision, NLP

จัดทำโดย

Features

• Native support Serverless GPU
• Focus on Datacenter GPU Grade (T4, A10g, L4, A100, H100)
• ตัวอย่างการ Deploy ด้วย MIG (Mult-Instancs GPU)
• ตัวอย่าง Step-by-step ตั้งแต่การติดตั้ง Env, ตัวอย่าง Code และ ตัวอย่างการ Request
• ตัวอย่างการ Deploy ด้วย Cloud Service Provider เช่น AWS, GCP, Azure
• ตัวอย่างการ Deploy ด้วย Onnx, Pytorch, Tensorflow และ Triton (อนาคต)
• Inference Performance Benchmark (อนาคต)

Update

0.1.3

• Update Tutorial Llama7b-TensorRT-LLM on AWS with TensorRT-LLM

0.1.2

• Move Tutorial openai-langchain-basic-RAG on Paperspace to GitHub
• Move Tutorial text-to-sql-openai-athena, text-to-sql-openai-postgresSQL on AWS to GitHub

0.1.1

• Update Tutorial text-to-sql-openai-postgresSQL on AWS

0.1.0

• Add Deployment script FIRST TIME !!!
• Gather all deployment script to one place.

0.0.5

• Update Tutorial text-to-sql-openai on AWS

0.0.4

• Update Tutorial Openai-langchain-basic-RAG on Paperspace

0.0.3

• Update Tutorial Openthaigpt-1.0.0-8bit (Pytorch) on Paperspace
• Update Tutorial Openthaigpt-1.0.0 (Pytorch) on Paperspace

0.0.2

• Update Tutorial Falcon-40b-instruct-8bit on Paperspace

0.0.1

• Update Tutorial OpenThaiGPT 1.0.0 Beta on Beam

License

MIT

Contributor

Matichon Maneegard Founder @ VulturePrime

Follow us

Facebook Group Nvidia User Group Thailand