我们首先创建一个用于下载模型的文件。 为了帮助我们,我们使用 拥抱的脸,一个提供各种高质量 NLP 模型的 python 库。
然后我们创建一个 python 类,我们将用它来处理从转换英语文本到创建单词标记的逻辑,并将其用作模型的输入。
然后我们建立一个 长颈瓶 具有两个端点的 API,一个用于检查服务是否正常工作,另一个用于与我们的聊天机器人集成。
最后,我们生成一个 Dockerfile,在构建时会预先下载聊天模型,以便当我们向 API 发送请求时,它可以快速响应,而不是每次都重新加载模型。 这将极大地提高我们机器人的性能。 为了托管 API,我们使用 Gunicorn 作为 wsgi 服务器,无需额外的 Web 服务器框架。
从在本地计算机上运行模型到在生产环境中运行模型的步骤可能令人望而生畏。 然而,近年来,一些服务已经更容易地完成了这一步。
我们将与 谷歌云运行 对于这个项目。 谷歌的“无服务器”平台,我不喜欢无服务器这个词,因为当然必须有一个服务器运行代码,但它是无服务器的,因为它不会将任何客户端数据从会话保存到另一个会话,并且我们可以获得在任何给定时间可用的任何服务器。