数据库导论：12 分钟看懂整个数据库世界

Episode 0 / 导论篇：建立地图，而不是背定义。

A. 完整课程教材

课程定位

这节课不是传统大学数据库课。它不从定义开始，不要求观众记住一堆术语，而是用一次探索式旅程回答三个问题：

• 数据长什么样？
• 它最擅长回答什么问题？
• 它为什么不能被另一个数据库完全替代？

12 分钟之后，观众应该第一次真正看懂：为什么 MySQL、PostgreSQL、Redis、MongoDB、Cassandra、ScyllaDB、ClickHouse、Elasticsearch、Neo4j、InfluxDB、DuckDB、Qdrant、Milvus 会同时存在。

本期是整个数据库系列的 Episode 0。它负责分类、定位、比较和埋钩子，不把每个数据库的内部机制一次讲完。

MODULE 01｜为什么需要数据库？

先不要急着定义数据库。想象你在做一个小网站，最开始只有几条用户记录，放在 TXT、CSV、JSON 文件里当然能跑。

TXT          CSV             JSON
用户列表      订单列表          配置对象
    \          |             /
       数据越来越多
             |
             v
      查询、并发、恢复、扩展

问题不是“文件能不能存数据”。文件当然能存。真正的问题是：数据变多、用户变多、程序变复杂之后，文件会逐渐顶不住。

你会开始遇到这些事：

• 怎么从 1000 万条记录里快速找到一个用户？
• 两个人同时修改库存，谁先谁后？
• 订单扣款成功，但库存更新失败，怎么办？
• 服务器突然宕机，刚写入的数据还在吗？
• 数据越积越多，单机放不下怎么办？

数据库真正解决的不是“能不能存”，而是“能不能安全、高效、长期、并发地管理数据”。

文件
  |
  | 数据量上升
  v
问题出现
  ├─ Query：怎么查
  ├─ Concurrency：怎么多人同时改
  ├─ Integrity：怎么不写坏
  ├─ Recovery：宕机后怎么恢复
  ├─ Persistence：怎么长期保存
  └─ Scale：怎么变大
  |
  v
Database

这一刻，数据库才出现。它不是更高级的文件夹，而是一套管理数据的系统。

MODULE 02｜为什么会出现这么多数据库？

第一个明显分叉，是 OLTP 和 OLAP。

OLTP 指在线事务处理。它关心大量、小型、高频、实时的业务操作，比如注册、下单、支付、扣库存、改余额。MySQL、PostgreSQL、Oracle、SQL Server 是典型代表。

OLAP 指在线分析处理。它关心扫描大量历史数据，做 SUM、AVG、GROUP BY、趋势分析和报表统计。ClickHouse、Snowflake、BigQuery、DuckDB 是典型代表。

OLTP                         OLAP
小交易流                      大表扫描
订单  支付  库存               十亿行数据
  |    |    |                    |
  v    v    v                    v
马上正确完成                 快速聚合算完

一句话：

OLTP 更关心“一笔业务能不能马上正确完成”；OLAP 更关心“十亿条数据能不能马上算完”。

但 OLTP / OLAP 只是数据库分化的一部分原因，不是全部原因。数据库越来越多，是因为人类向数据提出的问题越来越不一样。

继续分化的原因包括：

• 数据形态不同：表格、键值、文档、图、向量都不一样。
• 查询方式不同：有人按 ID 查，有人全文搜索，有人找关系路径，有人找语义相似。
• 性能目标不同：有人要低延迟，有人要高吞吐，有人要大规模扫描。
• 一致性要求不同：金融余额和日志分析对“马上正确”的要求不同。
• 规模不同：单机、小集群、全球分布式系统面对的问题完全不同。

核心观点：

不是数据库越来越乱，而是问题越来越多样。

MODULE 03｜数据库世界地图

下面这张图是本期最重要的知识地图。但必须先说明：这些类别并不都在同一个分类维度上。

Relational、Key-Value、Document、Wide-Column、Graph 主要描述逻辑数据模型，也就是数据在数据库里主要被抽象成什么样。

Search、Time-Series、OLAP、Vector 更多代表专业工作负载、核心访问模式或专业数据库系统类别。

为了工程理解，我们把它们放进同一张类别矩阵，但要记住：

类别存在重叠，现代数据库越来越 Multi-model。

                         Database World
                               |
       -------------------------------------------------
       |          |          |          |              |
  Data Model   Workload   Access     Scale        Ecosystem
       |          |          |          |              |
 表/键值/文档   事务/分析   搜索/相似   单机/分布式   Driver/ORM/SDK

Relational 像一张张表。它擅长复杂业务、事务和关联关系。PostgreSQL、MySQL、Oracle、SQL Server 是老牌代表。它不是只能做传统表，PostgreSQL 还能处理 JSON，甚至通过 pgvector 做向量检索。

Key-Value 像一个巨大的字典：给我 Key，我马上给你 Value。Redis 和 DynamoDB 是典型代表。它擅长缓存、会话、排行榜、状态读取，但不适合复杂条件查询和关系查询。

Document 把数据组织成类似 JSON 的文档。MongoDB、Couchbase 是代表。它适合结构变化快、嵌套明显的内容，比如商品详情、用户画像、配置数据。

Wide-Column 不是列式存储。它更像用 Row Key 找到一个分区，再在 Column Family 里组织大量稀疏字段。Cassandra、ScyllaDB、HBase 代表这类系统，擅长海量写入和水平扩展。

Graph 把世界看成 Node 和 Edge。Neo4j 是代表。它擅长多跳关系，比如好友网络、知识图谱、风控链路、推荐路径。

Search 关注全文检索和相关性排序。Elasticsearch、OpenSearch 是代表。它不是为了强事务下单而生，而是为了“用户搜一句话，系统找到最相关的文档”。

Time-Series 关注时间戳和指标。InfluxDB、TimescaleDB 常用于监控、IoT、行情、传感器数据。它的问题通常是“过去 5 分钟 CPU 平均值是多少”。

OLAP 关注大规模分析。ClickHouse、DuckDB、Snowflake 代表不同场景下的分析系统。它擅长扫描和聚合，不适合高频单行事务更新。

Vector 关注向量和元数据。Qdrant、Milvus、Pinecone、pgvector 常用于 RAG、语义搜索和多模态检索。它不是简单“存非结构化数据”，而是把文本、图片、音频经过模型变成 Embedding，再做 Similarity Search。

MODULE 04｜SQL vs NoSQL

SQL 是结构化查询语言，和关系型数据库强相关。你用它描述“我要哪些列、从哪张表、按什么条件过滤、怎么 Join”。

NoSQL 不是一个严谨的数据模型分类。它是历史上形成的宽泛类别，常被理解为 Not Only SQL，通常包括 Key-Value、Document、Wide-Column、Graph。

SQL / NoSQL
    |
    v
方便但粗糙的标签
    |
    v
真正要问：
数据模型是什么？
访问模式是什么？
核心工作负载是什么？

现代数据库已经高度融合：

• PostgreSQL 支持 JSON，也可以通过 pgvector 做 Vector Search。
• Elasticsearch 支持 SQL 风格查询。
• ClickHouse 使用 SQL 做分析。
• Redis 拥有多种数据结构，也有搜索能力。

所以真正理解数据库，不要只问“SQL 还是 NoSQL”。更好的问题是：它的数据怎么组织、它最擅长什么访问模式、它主要为哪种工作负载优化。

MODULE 05｜所有数据库共同面对的问题

以后无论单独讲 MySQL、PostgreSQL、Redis、MongoDB、ScyllaDB、ClickHouse、Elasticsearch、Qdrant，都可以回到同一套拆解框架。

1. Data Model / Schema

Schema 不一定都等于关系型数据库里的固定表结构。更广义地说，它是数据组织规则。

Relational: Table -> Row -> Column
MongoDB:    Collection -> Document -> Field
Redis:      Key -> Value
Neo4j:      Node -> Edge
Vector DB:  Collection -> Vector + Metadata

2. Data Type

数据类型回答的是：这个字段到底应该按什么方式保存和计算。

Integer 包括 SMALLINT、INT / INTEGER、BIGINT，适合年龄、数量、计数。但手机号、银行卡号、身份证号通常不应该因为长得像数字就当整数，因为它们不参与数学计算，还可能有前导 0。

Exact Numeric 包括 DECIMAL、NUMERIC，适合金额、价格、金融数据。钱通常不应该随便用 FLOAT，因为浮点数可能出现精度误差。

Floating Point 包括 FLOAT、DOUBLE，适合科学计算、概率、测量值、模型结果。它追求近似计算效率，不追求每一分钱精确。

String 包括 CHAR、VARCHAR、TEXT，适合名称、手机号、邮箱、长文本。

Boolean 表示 TRUE / FALSE。

Date & Time 包括 DATE、TIME、DATETIME、TIMESTAMP。真实工程里还会遇到 Timezone 和 UTC，但本期只需要知道时间不是普通字符串。

JSON 适合灵活配置和嵌套数据。

Binary / BLOB 理论上能保存图片、文件等二进制内容。但能放数据库，不代表一定应该放数据库。

UUID 常用于分布式环境中的唯一标识。

Vector 形如 [0.21, -0.84, 0.17, ...]，来自 Embedding，用于 Semantic Search 和 RAG。

28              -> INT
19.99           -> DECIMAL
"OpenAI"        -> VARCHAR
true            -> BOOLEAN
2026-08-26      -> TIMESTAMP
{JSON}          -> JSON
550e8400...     -> UUID
[0.12,-0.83]    -> VECTOR

3. CRUD / Query

所有数据库都绕不开 Create、Read、Update、Delete。但不同数据库用不同访问方式回答问题：

• SQL：条件查询、Join、聚合。
• Key Lookup：按 Key 直取。
• Document Query：按字段和嵌套结构查。
• Graph Traversal：沿关系边走。
• Full-text Search：按关键词和相关性查。
• Vector Similarity Search：按语义相似度查。

4. Persistence / Durability

Persistence 是数据能保存下来。Durability 是系统承诺：一旦写入成功，就尽量别因为宕机而丢。

Memory
  |
  | 快，但断电会丢
  v
Disk / Persistent Storage
  |
  | 慢一些，但能长期保存
  v
Durable Data

即使 Redis 主要以内存访问著称，也有持久化机制。WAL、AOF、RDB、Checkpoint 这些名字以后会单独展开，本期只要知道它们是数据库为了恢复数据而设计的机制。

5. Index / Access Path

索引回答的是：数据越来越多以后，怎么快速找到目标。

同一个问题：找到数据
    |
    |-- B+ Tree：范围查询、排序
    |-- Hash：等值查找
    |-- Inverted Index：全文搜索
    |-- HNSW：向量近邻
    |-- IVF：向量分桶召回

不同数据库之所以擅长不同查询，很大程度来自底层选择了不同的数据结构和访问路径。

MODULE 06｜对象存储

Object Storage 不是 Database。

Amazon S3、Alibaba OSS、Tencent COS、MinIO 这类对象存储，主要保存图片、视频、音频、PDF、AI 模型文件、数据集、大型二进制对象。

对象可以简单理解为：

Object = Data + Metadata + Object Key

数据库擅长管理、查询、关系、状态。对象存储擅长保存大量文件和大对象。

MP4   PDF   PNG   MODEL
 |     |     |      |
 v     v     v      v
Object Storage Bucket
S3 / OSS / COS / MinIO

Database
保存：文件地址、状态、权限、索引信息

所以图片理论上能放进数据库 BLOB，但工程上更常见的是：文件放对象存储，数据库保存文件的 URL、元数据、归属关系和权限状态。

MODULE 07｜程序怎么真正使用数据库

应用程序不是直接“碰硬盘”。它通常通过 Driver、Connection、Connection Pool、ORM 或 Client SDK 使用数据库。

Driver 是数据库驱动。Python、Java、Go、Node.js 都需要对应驱动来和数据库通信。

Application
    |
    v
Driver
    |
    v
Connection
    |
    v
Database

Connection 是应用和数据库之间的一条通信通道。每次访问数据库都重新建立连接成本很高，所以应用通常维护 Connection Pool。

Connection Pool
  [conn1] [conn2] [conn3]
      |      |      |
      v      v      v
   借一个  使用  还回去

ORM 是 Object Relational Mapping。程序里是 User Object，数据库里是 users Table，ORM 负责在两边映射。

User Object                 users Table
{ id, name, age }   <-->    id | name | age
          \          ORM          /

常见 ORM 包括 Hibernate、SQLAlchemy、Prisma、GORM。要注意：ORM 主要针对关系型数据库。Document Database 可能出现 ODM。Redis、Elasticsearch、Vector DB 很多时候直接使用 Client SDK。

Migration 是数据库结构的版本管理。代码有版本，数据库结构同样有版本。

v1 users
id | name
    |
    v
v2 users
id | name | email
    |
    v
v3 users
id | name | email
index(email)

这就是 Schema Migration。数据库不是一次创建后永远不变，它会跟着业务一起演化。

B. 12 分钟内容时间轴

C. Remotion Scene List

D. Database Classification Matrix

E. Database Difference Matrix

说明：下表使用上三角形式。每个有效 Cell 只保留两个核心区别，优先比较数据模型、访问模式和核心工作负载。

F. Data Type Cheat Sheet

G. 后续系列目录

Remotion 视觉设计总纲

视觉语言

整体风格：高级 IT 教学动画 + Vox 信息图动画 + 极简数据可视化。

禁止方向：

• 不做传统 PPT。
• 不大段铺文字。
• 不整屏代码。
• 不使用真人素材。
• 不使用俗套卡通角色。

主要视觉对象：

• 数据块
• 卡片
• 节点
• 表格
• 数据流
• 数据库圆柱体
• 文件
• Key / Value
• JSON Document
• Node / Edge
• Vector Point
• Search Index
• 时间轴
• OLAP 数据列
• Object Storage Bucket
• ORM 映射动画

必须制作的重点动画

1. 文件 -> 数据库

TXT、CSV、JSON 从左侧不断堆积。右侧出现问题标签：Query、Concurrency、Integrity、Recovery、Index、Scale。文件堆被压缩成混乱状态后，Database 圆柱体从中心升起，把问题标签吸附成有序能力环。

2. OLTP vs OLAP

屏幕左右分屏。左侧大量小 Transaction 像短脉冲快速通过，标签是 order、payment、inventory。右侧是巨大的列式数据表，镜头沿列向下扫描，SUM、AVG、GROUP BY 在底部汇总。

3. Database Category Map

中心是 Database World。九类数据库沿环形展开，每个节点显示数据形态：表、键值、文档、宽行、点边、倒排索引、时间线、列式表、向量点云。代表产品以文字 Logo 形式贴在节点下方。

4. Database Difference Matrix

大型二维矩阵只显示上三角。镜头先俯视全局，再逐个 Zoom 到重点 Cell：Relational × Key-Value、Relational × Document、Relational × OLAP、Document × Search、Search × Vector、Graph × Vector、Wide-Column × Relational。

5. Data Type Conveyor Belt

传送带从左到右运行。不同数据值经过扫描门，被贴上 INT、DECIMAL、VARCHAR、BOOLEAN、TIMESTAMP、JSON、UUID、VECTOR。错误案例用红色短闪提醒：手机号不是 INT，钱别随便 FLOAT。

6. Index 可视化

同一个查询“找目标数据”分成四路动画：B+ Tree 沿树层下降；Hash 直接跳桶；Inverted Index 从词找到文档列表；HNSW 在点云中跳近邻；IVF 先进入分区再召回候选。

7. Object Storage

大型 MP4、PDF、PNG、MODEL 被推向数据库时，数据库变红并出现“Not ideal”。随后这些文件转向 S3 / OSS / COS / MinIO Bucket，数据库只保存 URL、Metadata、Owner、Permission。

8. ORM Mapping

左侧 User Object 展开字段 id、name、age。右侧 users Table 展开列 id、name、age。中间 ORM 建立连线。随后画面下方出现 Driver、Connection、Connection Pool，把 ORM 放回完整访问链路。

9. Migration

Schema 卡片按 v1、v2、v3 翻页。v1 只有 id/name，v2 添加 email，v3 添加 index(email)。最后代码版本线和数据库版本线并排前进，强调数据库结构也有版本。

总结

数据库不是一个单一工具，而是一整套围绕数据模型、访问模式、工作负载、持久化、索引和程序连接方式分化出来的系统家族。

这节导论课的目标不是让观众背完所有概念，而是建立地图。后续每一期都应该回到同三个问题：数据长什么样，最擅长回答什么问题，为什么不能被另一个数据库完全替代。