Evidently Al

Evidently Al 是一个开源的机器学习模型监测和测试平台，它可以帮助您分析和改进您的模型性能。它可以让您轻松地创建交互式的可视化报告，展示您的模型在验证和预测期间的表现，以及数据漂移的情况。您可以使用 Evidently 这个开源 Python 库来生成 Evidently Al 大模型所需的 JSON 配置文件，然后在 Evidently Al 大模型的网站上上传和查看您的报告。 Evidently Al 大模型支持 6 种不同类型的报告，分别是： 1、数据漂移报告：检测您的数据是否发生了变化，以及这些变化是否影响了您的模型性能。 2、分类模型性能报告：评估您的分类模型的准确性、召回率、精确度、F1 分数等指标，以及混淆矩阵、ROC 曲线、PR 曲线等图表。 3、回归模型性能报告：评估您的回归模型的均方误差、均方根误差、平均绝对误差、R2 分数等指标，以及残差分布、预测误差、预测区间等图表。 4、分类模型监控报告：监控您的分类模型在生产环境中的表现，检测是否有异常或下降的趋势，以及影响因素的分析。 5、回归模型监控报告：监控您的回归模型在生产环境中的表现，检测是否有异常或下降的趋势，以及影响因素的分析。 6、代理模型报告：使用一个简单的代理模型来解释您的复杂模型的预测结果，以及特征重要性的分析。 Evidently Al 大模型是一个强大而易用的工具，它可以帮助您更好地理解和优化您的机器学习模型，提高您的数据科学项目的质量和效率。   Evidently Al 大模型的发展历程 1、萌芽期：Evidently Al 大模型的雏形是 Evidently 这个开源 Python 库，它于 2020 年 10 月发布，由 Evidently AI 这个初创公司开发。 Evidently 库可以让用户使用简单的代码来生成交互式的可视化报告，展示他们的模型在验证和预测期间的表现，以及数据漂移的情况。 2、探索期：Evidently Al 大模型的探索期是在 2021 年 6 月到 2022 年 3 月之间，这段时间内，Evidently AI 团队不断地改进和扩展 Evidently 库的功能，增加了更多的报告类型，如分类模型性能报告、回归模型性能报告、分类模型监控报告、回归模型监控报告和代理模型报告。同时，他们也开始开发 Evidently Al 大模型的网站，让用户可以在网页上上传和查看他们的报告，而不需要安装任何软件或库。 3、迅猛发展期：Evidently Al 大模型的迅猛发展期是从 2022 年 4 月开始的，这时候，Evidently Al 大模型的网站正式上线，引起了业界的广泛关注和好评。 Evidently Al 大模型的网站不仅提供了 Evidently 库的所有功能，还增加了一些新的特色，如： 支持多种数据格式，如 csv, json, parquet 等； 支持多种模型格式，如 sklearn, xgboost, pytorch, tensorflow 等； 支持多种模态，如文本、图像、音频、视频等； 支持多种语言，如英语、中文、日语、法语等； 支持多种交互方式，如语音、手势、眼神等； 支持多种应用场景，如金融、医疗、教育、娱乐等。 Evidently Al 大模型的网站迅速成为了机器学习领域的热门平台，吸引了数百万的用户和合作伙伴，为他们提供了一个方便、高效、智能的机器学习模型仪表板。 Evidently Al 大模型的使用方法 安装 evidently 和 jupyter nbextension 包，以及其他需要的库，如 pandas, sklearn 等。 导入 evidently 的模块，如 Dashboard, Report, TestSuite 等。 准备数据集，可以是 pandas.DataFrame 或 csv 文件，分为参考数据和当前数据。 定义列映射，指定目标列，预测列，数值特征列，类别特征列等。 选择想要生成的报告类型，如数据漂移报告，回归模型性能报告等，或者自定义报告的指标和可视化。 调用 calculate 方法，传入数据集和列映射，计算报告所需的指标和图表。 调用 save 方法，将报告保存为 HTML 文件，或者导出为 JSON 或 Python 字典。 在 Jupyter notebook 中查看或下载报告，或者在 Evidently Al 大模型的网站上上传和查看报告。