联机事务处理 OLTP和联机分析处理 OLAP
说明
数据产品经理教程 正在编写中，欢迎大家加微信 gairuo123 （备注：数据产品教程） 提供意见、建议、纠错、催更。应大家要求，作者开办数据产品和数据分析培训班，详情 数据产品经理培训 / 数据分析培训。
数据处理大致可以分成两大类：联机事务处理OLTP（On-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
联机事务处理(OLTP)
为了让大型/中型公司执行他们的行政/业务或销售任务，必须有OLTP系统，以处理每天发生的大量交易。OLTP系统的一个例子是大型杂货店。例如，一个人买了15件商品，到柜台结账。现在是OLTP系统来处理将要发生的事务。让我们计算一下可能发生的事务的数量。
- 第一个应该是将要生成并存储在DB中的账单的发票
- 第二个事务可能是针对发票在数据库中插入产品信息。
- 如果客户有任何会员卡，如果他使用它，交易将发生从他的卡扣除积分，并将更新他的卡的新积分。
- 另一种交易是根据客户购买的产品数量来减少产品的总数。例如，如果超市有3489包凝乳包，而客户购买了其中的2包，将发生一个交易，该交易将把总数更新为3489减2，即3487。类似的交易也会发生在其他产品上。
例子
OLTP系统的几个例子是:
- 自动取款机
- 银行
- 购物中心
- 在线预订火车和航班
- 电子商务
优缺点
以下是OLTP的优缺点
- 优势
- 通过提供健壮的机制来处理和存储事务性数据，它极大地简化了组织的事务性事件。
- OLTP系统非常快速和即时。
- 它们通过简化单个流程来增加组织的客户数量
- 缺点
- 对数据分析几乎没有洞察力。
- 在服务器失败的情况下，事务可能会导致延迟，在某些情况下可能会导致数据丢失。
- 更容易被黑客攻击。
联机分析处理(OLAP)
在OLAP级别上发生的事务非常少，它们有助于企业做出更好的决策。OLAP系统允许用户分析来自多个数据库的数据，ETL被强制作为来自不同数据库的数据的原因是不同的格式。因此，在将它们存储到数据仓库之前，需要使用ETL。
例子
如，电子商务公司想要比较2月和3月的销售数据，也想看到销售区域数据，然后是州数据，时间数据，最后是国家数据。
软件
为了实现这一点，应该有一个系统可以将来自不同OLTP数据库的数据插入数据仓库并应用ETL过程。然后OLAP开发人员将从OLAP系统中获取数据，并根据业务需求创建不同类型的报告和图表。OLAP软件的例子有:SAP BI/BO/BOBJ，微软的Power BI, Tableau, Spotify, SAS, Python和R, Excel, Apache Spark, Splunk，谷歌Analytics。
优缺点
以下是OLAP的优缺点：
- 优势
- 对来自不同来源的数据进行分析的单一平台。
- 来自不同来源的数据存储在一个集中的位置，因此能够更容易地访问大型信息。
- 精确和快速的计算。
- 高级安全。
- 缺点
- 由于软件的许可和价格较高，实现OLAP的成本很高。
- OLAP系统的全端到端监控、实现和升级依赖于该领域的IT专家。
- 由于从OLTP到OLAP系统的数据插入可能涉及多个数据库，因此要与所有的DB团队保持一致可能会带来挑战。
行式存储和列式存储
传统 OLTP 数据库通常采用行式存储。所有的列依次排列构成一行，以行为单位存储，再配合以 B+ 树或 SS-Table 作为索引，就能快速通过主键找到相应的行数据。
行式存储对于 OLTP 场景是很自然的：大多数操作都以实体（Entity）为单位，即大多为增删改查一整行记录，显然把一行数据存在物理上相邻的位置是个很好的选择。
然而，对于 OLAP 场景，一个典型的查询需要遍历整个表，进行分组、排序、聚合等操作，这样一来按行存储的优势就不复存在了。更糟糕的是，分析型 SQL 常常不会用到所有的列，而仅仅对其中某些感兴趣的列做运算，那一行中无关的列也不得不参与扫描。
参考
- https://mp.weixin.qq.com/s/xHI1PyZSZ_BtGZnmq9Wtjw
- https://mp.weixin.qq.com/s/NRQe8azbFvFRsBAgzpi73A
更新时间：2022-07-11 16:38:54 标签：数据系统 OLTP OLAP
