Upload folder using huggingface_hub

README.md

@@ -7,7 +7,7 @@ pipeline_tag: image-text-to-text
 
 [\[📂 GitHub\]](https://github.com/OpenGVLab/InternVL)  [\[🆕 Blog\]](https://internvl.github.io/blog/)  [\[📜 InternVL 1.0 Paper\]](https://arxiv.org/abs/2312.14238)  [\[📜 InternVL 1.5 Report\]](https://arxiv.org/abs/2404.16821)
 
-[\[🗨️ Chat Demo\]](https://internvl.opengvlab.com/)  [\[🤗 HF Demo\]](https://huggingface.co/spaces/OpenGVLab/InternVL)  [\[🚀 Quick Start\]](#quick-start)  [\[📖 中文解读\]](https://zhuanlan.zhihu.com/p/675877376)  \[🌟 [魔搭社区](https://modelscope.cn/organization/OpenGVLab) | [教程](https://mp.weixin.qq.com/s/OUaVLkxlk1zhFb1cvMCFjg) \]
+[\[🗨️ Chat Demo\]](https://internvl.opengvlab.com/)  [\[🤗 HF Demo\]](https://huggingface.co/spaces/OpenGVLab/InternVL)  [\[🚀 Quick Start\]](#quick-start)  [\[📖 中文解读\]](https://zhuanlan.zhihu.com/p/706547971)  \[🌟 [魔搭社区](https://modelscope.cn/organization/OpenGVLab) | [教程](https://mp.weixin.qq.com/s/OUaVLkxlk1zhFb1cvMCFjg) \]
 
 ## Introduction
 
@@ -342,7 +342,7 @@ from lmdeploy.vl import load_image
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
 image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -363,7 +363,7 @@ from lmdeploy.vl.constants import IMAGE_TOKEN
 
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -389,7 +389,7 @@ from lmdeploy.vl import load_image
 
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -413,7 +413,7 @@ from lmdeploy.vl import load_image
 
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -426,6 +426,32 @@ sess = pipe.chat('What is the woman doing?', session=sess, gen_config=gen_config
 print(sess.response.text)
 ```
 
+#### Service
+
+For lmdeploy v0.5.0, please configure the chat template config first. Create the following JSON file `chat_template.json`.
+
+```json
+{
+    "model_name":"internvl-zh-hermes2",
+    "meta_instruction":"我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。",
+    "stop_words":["<|im_start|>", "<|im_end|>"]
+}
+```
+
+LMDeploy's `api_server` enables models to be easily packed into services with a single command. The provided RESTful APIs are compatible with OpenAI's interfaces. Below are an example of service startup:
+
+```shell
+lmdeploy serve api_server OpenGVLab/InternVL2-40B --backend turbomind --chat-template chat_template.json
+```
+
+The default port of `api_server` is `23333`. After the server is launched, you can communicate with server on terminal through `api_client`:
+
+```shell
+lmdeploy serve api_client http://0.0.0.0:23333
+```
+
+You can overview and try out `api_server` APIs online by swagger UI at `http://0.0.0.0:23333`, or you can also read the API specification from [here](https://github.com/InternLM/lmdeploy/blob/main/docs/en/serving/restful_api.md).
+
 ## License
 
 This project is released under the MIT license, while InternLM is licensed under the Apache-2.0 license.
@@ -536,7 +562,7 @@ from lmdeploy.vl import load_image
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
 image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -557,7 +583,7 @@ from lmdeploy.vl.constants import IMAGE_TOKEN
 
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -582,7 +608,7 @@ from lmdeploy.vl import load_image
 
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -606,7 +632,7 @@ from lmdeploy.vl import load_image
 
 model = 'OpenGVLab/InternVL2-40B'
 system_prompt = '我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。'
-chat_template_config = ChatTemplateConfig('internvl-internlm2')
+chat_template_config = ChatTemplateConfig('yi-34b')
 chat_template_config.meta_instruction = system_prompt
 pipe = pipeline(model, chat_template_config=chat_template_config,
                 backend_config=TurbomindEngineConfig(session_len=8192))
@@ -619,6 +645,32 @@ sess = pipe.chat('What is the woman doing?', session=sess, gen_config=gen_config
 print(sess.response.text)
 ```
 
+#### API部署
+
+对于 lmdeploy v0.5.0，请先配置聊天模板配置文件。创建如下的 JSON 文件 `chat_template.json`。
+
+```json
+{
+    "model_name":"internvl-zh-hermes2",
+    "meta_instruction":"我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。人工智能实验室致力于原始技术创新，开源开放，共享共创，推动科技进步和产业发展。",
+    "stop_words":["<|im_start|>", "<|im_end|>"]
+}
+```
+
+LMDeploy 的 `api_server` 使模型能够通过一个命令轻松打包成服务。提供的 RESTful API 与 OpenAI 的接口兼容。以下是服务启动的示例：
+
+```shell
+lmdeploy serve api_server OpenGVLab/InternVL2-40B --backend turbomind --chat-template chat_template.json
+```
+
+`api_server` 的默认端口是 `23333`。服务器启动后，你可以通过 `api_client` 在终端与服务器通信：
+
+```shell
+lmdeploy serve api_client http://0.0.0.0:23333
+```
+
+你可以通过 `http://0.0.0.0:23333` 的 swagger UI 在线查看和试用 `api_server` 的 API，也可以从 [这里](https://github.com/InternLM/lmdeploy/blob/main/docs/en/serving/restful_api.md) 阅读 API 规范。
+
 ## 开源许可证
 
 该项目采用 MIT 许可证发布，而 InternLM 则采用 Apache-2.0 许可证。