mysql 多表查询 去重复

MySQL 多表查询去重复详解

在数据库操作中，多表查询并去除重复数据是常见需求，MySQL 提供了多种方法来实现这一目标，以下将详细介绍相关概念、语法及示例。

一、使用 DISTINCT 关键字

DISTINCT 是 MySQL 中用于去除重复行的基本关键字，常与SELECT 语句搭配使用。

语法

SELECT DISTINCT column1, column2, ...
FROM table_name;

此语法表示从指定表中选择不重复的列组合。

示例

假设有students（学生表）和scores（成绩表），结构如下：

若要查询每个学生的成绩且不出现重复的学生记录，可使用：

SELECT DISTINCT s.id, s.name, sc.score
FROM students s
JOIN scores sc ON s.id = sc.student_id;

这会返回每个学生的唯一记录及其对应成绩，即使该学生有多次成绩记录，也只显示一次学生信息。

二、使用 GROUP BY 子句

GROUP BY 可用于对数据进行分组，通常与聚合函数一起使用，也能实现去重效果。

语法

SELECT column1, column2, ..., aggregate_function(column3)
FROM table_name
WHERE condition(s)
GROUP BY column1, column2, ...;

其中column1, column2, ... 是要分组的列，aggregate_function(column3) 是对每组应用的聚合计算。

示例

对于上述students 和scores 表，若想查询每个学生的最高分且不重复显示学生信息：

SELECT s.id, s.name, MAX(sc.score) AS highest_score
FROM students s
JOIN scores sc ON s.id = sc.student_id
GROUP BY s.id, s.name;

这里通过对学生id 和name 分组，使用MAX 函数获取每组（即每个学生）的最高分，从而避免了因多次成绩记录导致的重复学生信息展示。

三、使用子查询去重

子查询可以嵌套在SELECT、INSERT、UPDATE 等语句中，用于先对数据进行筛选或处理，再进行后续操作，以达到去重目的。

语法（以 `SELECT` 为例）

SELECT column1, column2, ...
FROM table_name
WHERE column IN (SELECT column
                  FROM other_table
                  WHERE condition);

内层子查询先执行，返回一个结果集，外层查询根据该结果集进行筛选。

示例

仍以students 和scores 表为例，若只想查询有成绩记录的学生信息（去除无成绩的学生）：

SELECT DISTINCT s.id, s.name
FROM students s
WHERE s.id IN (SELECT DISTINCT student_id FROM scores);

子查询SELECT DISTINCT student_id FROM scores 先获取有成绩记录的学生id，外层查询则根据这些id 从students 表中筛选出对应的学生信息，且使用DISTINCT 确保结果中每个学生只出现一次。

四、联合使用多种方法去重

在某些复杂场景下，可能需要联合使用上述多种方法来达到理想的去重效果。

示例

假设有一个orders（订单表）和products（产品表），结构如下：

若要查询每个客户购买的不同产品种类及数量总和（去除重复产品购买记录），可这样操作：

SELECT o.customer_id, p.product_name, SUM(o.quantity) AS total_quantity
FROM orders o
JOIN products p ON o.product_id = p.product_id
GROUP BY o.customer_id, p.product_name;

这里先通过JOIN 连接两个表，然后使用GROUP BY 按客户和产品名称分组，同时用SUM 计算每个客户购买每种产品的总量，这样就去除了同一客户对同一产品的重复购买记录。

相关问题与解答

问题 1：如果我只想去除某一列的重复值，而保留其他列的所有数据，该怎么办？

解答：可以使用子查询结合窗口函数来实现，对于employees（员工表），有id、name、department 列，若想去除department 列的重复值但保留所有员工信息，可以使用如下 SQL：

WITH ranked_departments AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY department ORDER BY id) AS rn
    FROM employees
)
SELECT id, name, department
FROM ranked_departments
WHERE rn = 1;

这里使用ROW_NUMBER() 窗口函数为每个部门内的记录编号，然后在外层查询中只选择编号为 1 的记录，即每个部门的第一条记录，从而去除了department 列的重复值，但保留了所有员工的id 和name 信息。

问题 2：在多表查询去重时，性能优化有哪些要点？

解答：

索引优化：确保参与连接和过滤条件的列上有合适的索引，如在上述示例中的连接列（如students 表的id 和scores 表的student_id），创建索引能加快连接速度。

选择合适的去重方法：根据数据量和业务需求选择最高效的去重方式，对于简单的列去重，DISTINCT 可能较方便；而对于分组统计类的去重，GROUP BY 更合适，如果数据量极大且需要复杂的筛选，合理构建子查询可能更有效。

避免不必要的列选择：在SELECT 语句中只选择需要的列，减少数据传输量，提高查询性能，若只需要学生的id 和name，就不要选择其他无关列。