Excelのようなデータ分析にSQLを使用する

SQL列

SQLデータベースの基本的な知識の要約

SQLデータベースの高度な知識の要約

Excelは、データ分析で最も一般的に使用されるツールです。Excelを使用して、データクリーニング、前処理、および最も一般的なデータ分類、データフィルタリング、分類と要約、およびデータピボット操作を完了することができます。これらの操作はSQLで実装できます。SQLはデータベースからデータを読み取るだけでなく、さまざまなSQL関数ステートメントを介して必要な結果を直接返すこともできます。これにより、クライアントアプリケーションでの計算の効率が大幅に向上します。

1重複レコードを見つけるための重複データ処理


SELECT * FROM user 
Where (nick_name,password) in
(
SELECT nick_name,password 
FROM user 
group by nick_name,password 
having count(nick_name)>1
);

重複排除レコードを検索する

最大のIDを持つレコードを検索します

SELECT * FROM user 
WHERE id in
(SELECT max(id) FROM user
group by nick_name,password 
having count(nick_name)>1
);

重複するレコードを削除する

最小のID値を持つレコードのみを保持します

DELETE  c1
FROM  customer c1,customer c2
WHERE c1.cust_email=c2.cust_email
AND c1.id>c2.id;
DELETE FROM user Where (nick_name,password) in
(SELECT nick_name,password FROM
    (SELECT nick_name,password FROM user 
    group by nick_name,password 
    having count(nick_name)>1) as tmp1
)
and id not in
(SELECT id FROM
    (SELECT min(id) id FROM user 
     group by nick_name,password 
     having count(nick_name)>1) as tmp2
);

2欠測値処理

欠測値レコードを見つける


SELECT * FROM customer
WHERE cust_email IS NULL;

空の値で埋めるように列を更新します


UPDATE sale set city = "未知" 
WHERE city IS NULL;

UPDATE orderitems set 
price_new=IFNULL(price_new,5.74);

空の列を照会して入力します

SELECT AVG(price_new) FROM orderitems;

SELECT IFNULL(price_new,5.74) AS bus_ifnull
FROM orderitems;

3計算列

テーブルを更新して計算列を追加します


ALTER TABLE orderitems ADD price_new DECIMAL(8,2) NOT NULL;

UPDATE orderitems set price_new= item_price*count;

計算列のクエリ


SELECT item_price*count as sales FROM orderitems;

4並べ替え

複数の列で並べ替える


SELECT * FROM orderitems
ORDER BY price_new DESC,quantity;

上位数件のレコードをクエリする

SELECT * FROM orderitems
ORDER BY price_new DESC LIMIT 5;

10番目に大きい値をクエリする


SELECT DISTINCT price_new
FROM orderitems
ORDER BY price_new DESC LIMIT 9,1;

ランク

同じ値と連続したランクの同じランク


SELECT prod_price,
(SELECT COUNT(DISTINCT prod_price)
FROM products
WHERE prod_price>=a.prod_price
) AS rank
FROM products AS a
ORDER BY rank ;

5文字列処理

文字列の置換


UPDATE data1 SET city=REPLACE(city,'SH','shanghai');

SELECT city FROM data1;

位置文字列によるインターセプト

文字列インターセプトを使用して、データを
MySQL文字列インターセプト関数（left（）、right（）、substring（）、substring_index（））に並べ替えることができます。


SELECT left('example.com', 3);

文字列の4番目の文字位置から最後まで取得します


SELECT substring('example.com', 4);

文字列の4番目の文字位置から開始し、2文字のみを使用します


SELECT substring('example.com', 4, 2);

キーワードによる文字列のインターセプト

最初の区切り文字の前にあるすべての文字を取得すると、結果はwwwになります。


SELECT substring_index('www.google.com','.',1);

最後から2番目の区切り文字の後のすべての文字を取得すると、結果はgoogle.comになります。


SELECT substring_index('www.google.com','.',-2);

6スクリーニング

演算子を使用して高度なフィルタリングを実現するANDOR INNOT
などの演算子を使用して高度なフィルタリングを実現する

SELECT prod_name，prod_price FROM Products
WHERE vend_id IN('DLL01','BRS01');
SELECT prod_name FROM Products WHERE NOT vend_id='DLL01';

ワイルドカードフィルタリング

一般的なワイルドカードは％_ [] ^


SELECT * from customers WHERE country LIKE "CH%";

7テーブル結合

SQLテーブル接続は、ExcelのVlookup関数と同様の関数を実現できます。


SELECT vend_id,prod_name,prod_price
FROM Vendors INNER JOIN Products
ON Vendors.vend_id=Products.vend_id;

SELECT prod_name,vend_name,prod_price,quantity
FROM OderItems,Products,Vendors
WHERE Products.vend_id=Vendors.vend_id
AND OrderItems.prod_id=Products.prod_id
AND order_num=20007;

自己結合は、SELECTステートメントで同じテーブルを複数回使用します


SELECT c1.cust_od,c1.cust_name,c1.cust_contact
FROM Customers as c1,Customers as c2
WHERE c1.cust_name=c2.cust_name
AND c2.cust_contact='Jim Jones';

8ピボット

データのグループ化により、Excelのピボットテーブルの機能を実現できます

group byのデータグループ化は、グループ化後にデータをフィルタリングするために使用されたデータグループ化に使用されます


SELECT order_num,COUNT(*) as items
FROM OrderItems
GROUP BY order_num HAVING COUNT(*)>=3;

クロステーブル

CASEWHEN機能により実現


SELECT data1.city,
CASE WHEN colour = "A" THEN price END AS A,
CASE WHEN colour = "B" THEN price END AS B,
CASE WHEN colour = "C" THEN price END AS C,
CASE WHEN colour = "F" THEN price END AS F
FROM data1

Excelのようなデータ分析にSQLを使用する

おすすめ