Deepnote

Deepnote 是一个功能强大的在线数据科学集成开发环境（IDE），专为数据科学家和开发者设计。它支持 Python、SQL 和 R 等多种编程语言，提供实时协作、数据集成、自动化调度和交互式数据可视化功能。通过与 AWS S3、MongoDB 和 Postgres 等数据源的无缝集成，简化了数据分析和建模过程。Deepnote 提高了团队的生产力和协作效率，是数据分析和项目管理的理想工具。 Deepnote – 在线数据科学集成开发环境（IDE） 主要特点： 多人协作：类似于 Google Docs 的实时协作功能，允许团队成员同时编辑和查看项目。 支持多种编程语言：可以使用 Python、SQL、R 等语言进行数据分析和处理。 数据集成：支持与多种数据源集成，如 AWS S3、MongoDB 和 Postgres。 自动化和调度：可以将 notebook 部署为 API，定时运行任务。 可视化：提供交互式数据可视化工具，方便创建图表和仪表板。 Deepnote 特别适合需要频繁合作和数据分析的项目。 Deepnote的简单入门： 使用Deepnote非常简单。用户只需注册一个账号，然后新建一个项目即可开始编程。在项目中，用户可以创建不同的Notebook，每个Notebook都相当于一个独立的代码文件。用户可以在Notebook中添加代码、注释和其他文本，并将其保存到项目中。如果需要邀请他人协作，则可以通过共享链接或电子邮件进行邀请。 2.1 项目创建 “PROJECTS” – “+” – “New project” 2.2 数据导入（以本地CSV为例） 使用 CSV源数据，只需将其拖到deepnote项目上即可。 这样CSV文件就上传至deepnote远端（内存）中，我们可直接进行Pandas读取数据 如果我们想要添加云端数据库，需要添加凭证授权 2.3 远端环境 云端默认环境为Python3.9，5G内存 2vCPU配置，如果想要更高环境配置，可升级Team 或 Enterprise 计划，则可以在 16GB、4vCPU 机器上享受无限时数。 3、Deepnote Jupyter 使用 如果我们经常使用Jupyter Note进行数据分析的话，可以将本地的.ipynb文件上传到deepnote中进行使用，在此基础上进行开发测试。并且还可以导出.ipynb文件进行离线查看。当然deepnote还支持链接GitHub仓库，将我们编写的.ipynb上传提交至GitHUb仓库下。 导入方式（两种）： 将文件拖放.ipynb到右侧面板的NOTEBOOKS 单击NOTEBOOKS部分中的+按钮，然后选择Upload an .ipynb选项 导出.ipynb文件： 4、Deepnote的笔记块 4.1 SQL块 为了更容易查询数据库，Deepnote 包含所谓的“SQL 块”。将其中一个数据库集成连接到 Deepnote（PostgreSQL、Redshift、BigQuery或Snowflake）后，我们可以创建 SQL 块并开始编写 SQL 查询。当运行 SQL 查询时，Deepnote 会在 Pandas DataFrame 中显示结果。 使用 Python 和 SQL Deepnote 使用jinjasql模板，允许您将变量、函数和控制结构（例如，if语句和for循环）传递到您的 SQL 查询中。 要在 SQL 查询中注入 Python 变量，请使用{{ variable_name }}语法。例如： SELECT date, name FROM fh-bigquery.weather_gsod.all WHERE name = {{ station_name  }} LIMIT 10 将列表或元组传递到您的 SQL 查询中需要来自inclausejinjasql 的关键字。正如您在下面看到的，我们使用与以前类似的语法，但这个新关键字前面有符号|。 SELECT date, name FROM fh-bigquery.weather_gsod.all WHERE name in {{ station_list | inclause}} ORDER BY date DESC 要注入列名和表名，请使用sqlsafe关键字，如下所示： SELECT * FROM {{ table_name | sqlsafe }} 一个常见的用例是搜索包含（例如，%表示可选子字符串的字符）的通配符模式。要将其与变量值结合使用，请使用以下语法： SELECT * FROM users WHERE name LIKE {{ ‘%’ + first_name + ‘%’ }} 您还可以使用更高级的模板功能，如{% if condition } %{ endif }、条件块或 jinjasql 支持的任何其他功能。例如，以下块循环遍历 Python 列表 ( column_names) 以构造所需的 SQL 字段。 SELECT date, name, {% raw %} {% for col in column_names %} {% if not loop.last %} {{ col | sqlsafe }}, {% else %} {{ col | sqlsafe }} {% endif %} {% endfor %} {% endraw %} FROM fh-bigquery.weather_gsod.all WHERE date > ‘2015-12-31’  and name = {{ station_name }} ORDER BY date DESC LIMIT 5 4.2 图表块 图表块允许我们在不使用代码的情况下从 Pandas DataFrames 创建图表。非常适合快速探索性分析，或者适合那些不熟悉如何使用 Python 代码制作图表的人。 4.3 文本块 Deepnote 具有丰富的文本编辑器，可以很容易地给文本叙述添加样式和结构。与编写代码类似，编辑文本也基于块的概念：文本中的每个结构元素（标题、段落、列表项等）在笔记本中表示为一个单独的块。 通过单击 +（添加块）按钮来添加文本块。从一系列不同的文本块类型中进行选择，包括段落、标题、列表和标注块。 Deepnote 的日常使用介绍就到这里了，它是一套用于 Python、SQL 和无代码分析的协作数据笔记本。能够在云端运行并安全地连接到任何数据源。对于那些经常在本地电脑进行数据开发的同学来说，可能需要经常查看下本地的一些信息或开发流程。如果在云上就方便很多了，可以实时更新了解自己的开发细则，更好开展工作。