aoa电子体育竞技:利用 SingleStore 行为年华序列数据库

   刊发时间:2022-03-24 15:15:28   来源:aoa官方体育 作者:aoa官方体育平台

  SingleStore 是一个卓殊通用的数据库体例。它基于干系型技艺,维持多模子性能,如键值、JSON、全文搜寻、地舆空间和光阴序列。

  本文将运用Kaggle的史籍 S&P 500 股票数据来摸索 SingleStore 对光阴序列数据的维持。咱们还将修筑一个迅疾仪表板,运用 Streamlit 可视化烛台图。

  自干系数据库技艺浮现以还,很多管造数据的新需求应运而生。马丁·福勒(Martin Fowler) 等著名士士提出了夹杂漫长化(Polyglot Persistence)行为管造种种数据和数据照料需求的一种处分计划,如图 1 所示。

  正在一篇时时被援用的夹杂漫长化帖子中,马丁·福勒为一家虚拟的零售商绘造了一个 Web 运用顺序,该运用顺序运用 Riak、Neo4j、MongoDB、Cassandra和一个 RDBMS 来照料差异的数据集。不难设思,他的零售商的 DevOps 工程师会一个接一个地引去。

  我过去曾看到,假使你测验采用此中的六种[技艺],你起码须要 18 名员工来操作存储端——即是说,六种存储技艺。那样是不行扩展的,况且本钱太高。

  近年来,也有少许运用微任职来实行夹杂漫长化架构的倡议。不过,SingleStore 能够通过正在单个多模子数据库体例中维持差异的数据类型和照料需求来供给更纯粹的处分计划。这带来了很多好处,比如更低的 TCO(总具有本钱)、开辟职员研习多种产物的负责更少、没有集成的繁难等等。咱们将正在一系列作品中更详明地研究 SingleStore 的多模子性能,现正在则从光阴序列数据入手下手。

  起初,咱们须要正在 SingleStore 网站上创筑一个免费托管任职帐户,并正在 Databricks 网站上创筑一个免费社区版(CE)帐户。 正在撰写本文时,SingleStore 的托管任职帐户附带 500 美元的积分,这对待本文中描摹的案例斟酌来说绰绰多余。对待 Databricks CE,咱们不要注册试用版而是注册免费帐户。正在之前的作品中,咱们指出 Spark 卓殊适合运用 SingleStore 举行 ETL,因而这也是此处运用 Spark的缘故。

  上一篇作品给出了相闭何如设备 Databricks CE以及和 SingleStore 沿道运用的详明讲明,咱们能够正在这个用例中运用它们。

  要运用CSV文献,咱们须要将其上传到 Databricks CE 境遇。上一篇作品供给了相闭何如上传CSV文献的详明讲明,咱们能够正在这个用例中运用它们。

  正在咱们的SingleStore托管任职帐户中,运用 SQL 编纂器新筑一个timeseries_db数据库。如下所示:

  每行有一个叫作 ts的光阴值属性。咱们运用DATETIME而不是DATETIME(6),由于正在本例中咱们不运用幼数秒。SERIES TIMESTAMP将表列指定为默认光阴戳。正在ts上创筑一个KEY,由于这能让咱们高效地筛选值的鸿沟。

  这会读取CSV文献并创筑一个名为tick_df的Dataframe。 咱们还告诉Spark有一个题目行,并请求它运用前面界说的形式。

  现正在绸缪将 Dataframe 写到 SingleStore。 不才一个代码单位中,能够增加以下实质:

  正在Setup条记本中,须要确保已为 SingleStore 托管任职集群增加了任职器地点和暗号。

  不才一代码单位中,咱们将为 SingleStore Spark 结合器扶植少许参数,如下所示:

  现正在咱们仍然修筑了体例,能够运转少许盘问了。 SingleStore 维持一系列照料光阴序列数据的有效函数。咱们来看少许例子。

  光阴分段能够按固定光阴间隔对差异光阴序列的数据举行集结和分组。SingleStore 维持几种函数:

  比如,能够运用TIME_BUCKET盘问以五天为光阴间隔举行分组的均匀光阴序列值,如下所示:

  还能够勾结这些函数来创筑烛台图,显示股票随光阴的最高价、最低价、开盘价和收盘价,以五天为一个窗口单元,如下所示:

  能够运用AVG对窗口举行集结来光滑光阴序列数据。下面是一个示。

 

版权所有: aoa电子体育竞技|aoa官方体育平台 

京ICP备05050114号      400-160-1670