MySQL 테이블과 인덱스 설계시 주의해야 할 13 가지
May 15, 2012
안녕하세요. 오늘은 MySQL을 사용할 때 지켜야할 사항 몇 가지 정리합니다.
나름 혼자서 정리를 해 본 것들인데, MySQL로 서비스를 준비 중이라면 한 번쯤은 고려를 해봤으면 하는 내용입니다.^^
테이블 설계 시 유의 사항
1. 반드시 Primary Key를 정의하고 최대한 작은 데이터 타입을 선정한다.
- 로그 성 테이블에도 기본적으로 PK 생성을 원칙으로 함
- InnoDB에서 PK는 인덱스와 밀접한 관계를 가지므로 최대한 작은 데이터 타입을 가지도록 유지
2. 테이블 Primary Key는 auto_increment를 사용한다.
- InnoDB에서는 기본 키 순서로 데이터가 저장되므로, Random PK 저장 시 불필요한 DISK I/O가 발생 가능
- InnoDB의 PK는 절대 갱신되지 않도록 유지
(갱신 시 갱신된 행 이후 데이터를 하나씩 새 위치로 옮겨야 함)
3. 데이터 타입은 최대한 작게 설계한다.
- 시간정보는 MySQL데이터 타입 date/datetime/timestamp 활용
- IP는 INET_ATON(‘IP’), INET_NTOA(int) 함수를 활용
- 정수 타입으로 저장 가능한 문자열 패턴은 최대한 정수 타입으로 저장
4. 테이블 내 모든 필드에 NOT NULL 속성을 추가한다.
- NULL을 유지를 위한 추가 비용 발생
(NULL 허용 칼럼을 인덱싱 할 때 항목마다 한 바이트 씩 더 소요)
5. Partitioning을 적절하게 고려하여 데이터를 물리적으로 구분한다.
- 데이터 및 인덱스 파일이 커질수록 성능이 저하되므로Partitioning 유도
- PK 존재 시 PK 내부에 반드시 Partitioning 조건이 포함되어야 함
인덱스 설계 시 유의 사항
1. 인덱스 개수를 최소화 한다.
- 현재 인덱스로 Range Scan이 가능한지 여부를 사전에 체크
- 인덱스도 서버 자원을 소모하는 자료구조이므로 성능에 영향을 줌
2. 인덱스 칼럼은 분포도를 고려하여 선정한다.
- 인덱스 칼럼 데이터의 중복이 줄어들수록 인덱스는 최대의 효과를 가짐
- 하단 쿼리 결과 값이 1에 가까울수록(0.9이상 권고) 인덱스 컬럼으로 적합함
1 2
SELECT count(distinct INDEX_COLUMN)/count(*) FROM TABLE;
3. 커버링 인덱스(Covering Index)를 활용한다.
- 쿼리 조건이 인덱스 안에 포함된 경우 인덱스에서만 연산 유도
- 인덱스는 일반적으로 행 전체보다 작으므로 불필요한 Disk I/O 회피 가능
“MySQL에서 커버링 인덱스로 쿼리 성능을 높여보자!!” 편 참고
4. 스토리지 엔진 별 INDEX 특성을 정확히 인지한다.
- InnoDB에서 데이터는 PK 순서로 저장되고, 인덱스는 PK를 Value로 가짐
- MyISAM은 PK와 일반 인덱스의 구조는 동일하나, Prefix 압축 인덱스를 사용
(MyISAM 엔진에서 ORDER BY 시 DESC는 가급적 지양)
5. 문자열을 인덱싱 시 Prefix 인덱스 활용한다.
- 긴 문자열 경우 Prefix 인덱스(앞 자리 몇 글자만 인덱싱)를 적용
1
CREATE INDEX IDX01 ON TAB1(COL(4), COL(4))
- Prifix Size는 앞 글자 분포도에 따라 적절하게 설정
(하단 결과가 1에 가까울 수록 최적의 성능 유지, 0.9이상 권고)1 2
SELECT count(distinct LEFT(INDEX_COLUMN,3))/count(*) FROM TABLE;
6. CRC32함수 및 Trigger를 활용하여 인덱스 생성한다.
- URL/Email같이 문자 길이기 긴 경우 유용
- INSERT/UPDATE 발생 시 Trigger로 CRC32 함수 실행 결과 값을 인덱싱
- CRC32 결과값을 저장할 칼럼 추가 및 인덱스 생성
1 2
alter table user_tbl add email_crc int unsigned not null; create index idx01_email_crc on user_tbl (email_crc);
- Insert Trigger 생성
1 2 3 4 5 6
create trigger trg_user_tbl_insert before insert on user_tbl for each row begin set new.email_crc = crc32(lower(trim(new.email))); end$$
- Update Trigger 생성
1 2 3 4 5 6 7 8
create trigger trg_user_tbl_update before update on user_tbl for each row begin if old.email<> new.email then set new.email_crc = crc32(lower(trim(new.email))); end if; end$$
- 검색 쿼리
1 2 3 4
select * from user_tbl where email_crc = crc32(lower(trim('mail@domain.com'))) and email= 'mail@domain.com'
CRC32 결과가 중복되어도, email값을 직접 비교하는 부분에서 중복이 제거됩니다.
7. 중복 인덱스 생성 회피
- MySQL은 동일한 인덱스를 중복 생성해도 에러를 발생하지 않음
- Primary Key로 구성된 칼럼과 동일한 인덱스를 생성하지 않도록 주의
출처 - http://dev.kthcorp.com/2012/05/15/mysql-table-index-design-tip/
1.반드시 컴파일 하라! 10-30% 속도 향상 !
소스를 가지고 컴파일 하세요. MySQL 메뉴얼에 따르면 10-30% 속도가 빠르다고 합니다.
RPM 이나 바이너리 설치를 하지 마세요 !
1-2.최신 버전을 사용하라
최신 버전이 좋은 점은 자동 튜닝 하는 것 입니다.
버그를 수정 하구요. 되도록 이면 최신 버전을 사용하세요 !!
현재 3.23.49 입니다.
2. HEAP 테이블이 가장 빠르다!
일반적으로 가장 많이 쓰이는 테이블 타입은 MyISAM 타입 입니다.
MyISAM 타입은 무자게 빠르며, 대용량에도 강합니다. 그러나 트랜잭션은 지원되지 않습니다.
이노디비(InnoDB) 는 트랜잭션이 지원 됩니다. 쇼핑몰에서는 반드시 사용해야 합니다 ^^
HEAP 테이블 타입은 가장 빠르며, 단점은 메모리에 있기 때문에, MySQL에 중지 될 경우 모두 날아 갑니다.
검색을 하고 재검색을 다시 하는 경우, 임시 검색 테이블을 만들어 놓는 것도 좋은 방법입니다.
HEAP 테이블 메뉴얼 !
http://www.mysql.com/doc/H/E/HEAP.html
HEAP 테이블 만들기 !
mysql>CREATE TABLE email_addresses TYPE=HEAP (
->email char(55) NOT NULL,
->name char(30) NOT NULL,
->PRIMARY KEY(email) );
3.mysql 서버 top 보기
mysql 서버의 메모리 상황을 보여 주는 프로그램 입니다.
리눅스나 유닉스의 top 기능을 mysql 에서 가능하게 한것 입니다.
top 정보는 튜닝의 기본 이기 땜시 자주 자주 보아야 합니다. ^^
http://public.yahoo.com/~jzawodn/mytop/
PHP 소스 자료실에 파일 다운 로드 하시면 됩니다.
4.mysql_connect Vs mysql_pconnect
서버 메모리가 최소 2G 이상일 경우 mysql_pconnect 를 추천 함다 !
연결을 계속 하지 않기 땜시 빠릅니다. !
그러나 메모리가 2G 이하 일 경우는 mysql_connect 사용하세요 !
5.int,smallint,tinyint 데이터형 !
int 는 굉장히 큰수 입니다. 4바이트를 차지 하구요.
tinyint 는 몇백 까지만 됩니다. 1바이트 구요.
쓸데 없이 int 를 사용하지 마세용 !!
4바이트와 1바이트는 4배 차이 입니다.조그만것 1개 1개가 모여 서버 부하를 일으 킵니다.!!
데이터 량이 얼마만큼 들어가는지 체크 하고 데이터형을 선택 하세요 ^^
만약 쓸데없는 데이터 형이다 싶으면 alter table 로 데이터 형을 바꾸세요 !
6.인덱스의 사용
인덱스는 반드시 필요한 곳에만 넣으세요 !
인덱스를 줄 경우 하드 용량을 더 차지 하기 때문에 속도를 떨어 뜨릴 수 있습니다.
모든 칼럼에 인덱스를 주는 것은 절대 추천 하지 않습니다.
1개의 테이블에 주키외에 2-3 개 이상의 인덱스는 주지 마세요!
주키는 당근 인덱스 입니다. ^^
CREATE TABLE albums (
id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,
title VARCHAR(80)NOT NULL,
INDEX title_idx (title)
);
☞Alter Table 로 인덱스 추가
ALTER TABLE albums ADD INDEX title_idx (title)
결합 인덱스의 경우 너무 많은 인덱스를 사용할 경우 CPU 오버헤드나 하드 오버헤드를 불러 일으 킵니다.
적당히 사용하세요 ^^
http://www.mysql.com/doc/I/n/Indexes.html
http://www.mysql.com/doc/M/u/Multiple-column_indexes.html
http://www.mysql.com/doc/O/R/ORDER_BY_optimisation.html
6-1. 바보 같은 인덱스의 사용 ?
인덱스는 %$search% 가 먹지 않습니다.
그런디 게시판 제목(Subject) 에 인덱스 걸어 놓고 , 검색을 %$search% 이렇게 하면 될까요?
인덱스 거나 안거나 똑같습니다. !!
$search% 이렇게 사용하세요. 그런디.. $search% 사용하면 제목 처음 단어 밖에 검색이 안됩니다.
그렇다면 ? 다른 검색 방법은 ?
7.UDF의 사용
MySQL은 스토어드 프로시져 같은 개념이 존재 하지 않습니다.
그대신 C 언어로 만든 함수를 사용할 수 있습니다.
조금더 빠른 쿼리를 원한다면 UDF 를 사용해보세요 !
UDF 함수 보기
http://empyrean.lib.ndsu.nodak.edu/~nem/mysql/udf/
http://www.mysql.com/doc/A/d/Adding_functions.html
스토어드 프로시져가 먼뎅?
스토어드 프로시져는 쉽게 말해 MS-SQL 함수 입니다.
오라클에도 아마 있을검당..^^
그러니까 게시판에서 내용을 넘길때나 불러 올때
mysql 쿼리가 3-4 번 정도 이루어 집니다. 또는 ms- sql 쿼리가 이루어지죵..
3-4 번 정도 쿼리가 되면..그만큼 디비 접속이 잦아 지기 때문에..
속도가 느려 집니다.
많게는 10번 정도의 insert into 와 update 가 이루어집니다.
그래서 ms - sql 자체 내에 인서트 함수 나 목록 보기 함수를 만들어 놓습니다.
글구 1번의 ms-sql 접속만 해서 인서트 함수를 불러서 처리하는 것입니다.
그렇기 때문에 2-3 번의 쿼리가 절약 되서 빠르다는 것이죵..ㅋㅋㅋ
또는 10번의 쿼리 할것을 MS-SQL 스토어드 프로시져를 1번만 호출 함으로 해서 디비 접속이 절약이 되죵..ㅌㅌ
UDF 를 꼭 사용해야 하는가?
안해도 됩니다.만... 사용하면 좋은점 많습니다. 새로운 함수를 추가 할 수 있으므로 ^^
MS-SQL의 스토어드 프로시져 기능 비스므리 하게 사용할 수 도 있구요...
UDF 나 MS-SQL 스토어드 프로시져의 사용법을 익히기 보다는 캐슁을 연구하세용 ^^
동적인 PHP 를 정적인 HTML 로 만드는 방법을요...
또는 UDF 에서 MS-SQL 스토어드 프로시져 처럼 사용이 가능 합니다. 그 부분을 연구하세요.
www.zdnet.co.kr 이나 www.zdnet.com 가시면 기사 파일이 1000,29920,2892.html 파일 이란것을 보게 됩니다.
어키 구현된것일까요? zdnet 게네 들은 강좌를 원래 부터 HTML 로 만들어서 올리는 것일까용??
HTML 로 만드는 부분도 많이 생각 해야 합니다. 강좌가 1만개 라면, 1만개의 파일이 생성 됩니다.
zdnet 의 경우는 조회수가 10만-20만을 넘는 초대형 사이트 이기 때문에 HTML 로 만드는 것이 퍼포먼스가 좋습니다.
UDF 배워 두면..남주지 않습니다.
8.조인보다는 쿼리를 나누어라!
조인(Join)하는 것보다 쿼리를 2개로 나누는 것이 속도가 빠릅니다.
조인을 생각 하기 이전에 쿼리를 나누는 것을 생각 하세요 ^^
어쩔 수 없는 경우는 당근 조인 해야죠.
글고 서브쿼리는 아직 지원 안됩니다.
Ms-SQL이나 오라클에서 서브쿼리 보다는 서브쿼리를 하지 않는 방향의 데이터 정규화를 하세요 ^^
조인 보다 서브쿼리가 느리다.
서브 쿼리 보다는 조인을 사용하세요 ^^
9.full text index와 search
3.23.23 부터 mysql 에서는 full text index 를 지원 합니다. 자세한 사항은 아래 !
http://www.mysql.com/documentation/mysql/bychapter/manual_Reference.html#Fulltext_Search
http://www.mysql.com/doc/F/u/Fulltext_Fine-tuning.html
10. SELECT * FROM sometable
SELECT * FROM sometable 에서 * 모든을 사용하는 것은 무식한 방법 입니다.
모든 칼럼을 불러오는 경우는 드물거든요.
SELECT code,tadate,see FROM sometable
사용할 것만 불러 오세요 ^^
11.데이터베이스 정규화
테이블을 아무렇게나 만들면 안됩니다.
데이터베이스 정규화 원칙에 의거, 테이블을 나눌것은 나누고 만드시는 것이 좋습니다.
제1 정규화, 제2 정규화 정도는 사용하셔야 합니다.
게시판을 만들때 아직도 테이블 1개에 만드시나요?
온라인 폴 만들때 , 테이블 1개에 만드시나요?
12.REPLACE INTO문 사용하기
REPLACE INTO albums VALUES (6, "tood.net")
insert 문대신에 replace 문을 사용해보세요.
메뉴얼 보시고 연구하세요 ^^
주키일 경우 사용하시면 됩니다.
13. explain 사용하기
explain 를 사용하여 테이블의 키 값이 얼마나 잘 활용 되는지 알 수 있습니다.
EXPLAIN SELECT, SHOW VARIABLES, SHOW STATUS, SHOW PROCESSLIST
http://www.mysql.com/doc/E/X/EXPLAIN.html
17.BLOB과 TEXT는 분리하라
BLOB과 TEXT 칼럼은 테이블을 분리 하는 것이 좋다. 다른 칼럼의 내용 보다 크기 때문이다 !
OPTIMIZE TABLE 명령을 자주 사용해라 !
Not null 로 지정 하는 것이 빠르다.
varchar 보다 char 이 훨빠르다.
참고: 게시판의 특성
일반 게시판들 보세요. 여기 질문 게시판 만 봐도 알 수 있구요.
읽기(select) 가 무자게 많습니다. 쓰기(insert into) 보다 30-40 배 정도 많죠.
하룻동안 올라온 글이 30 개 라면, 하룻동안 글읽기 조회수 총 합은 최소 100 에서 900 까지 갑니다.
물론 더 엄청날 수 있구요.
그렇기 때문에 게시판 목록 보기와 글읽기는 HTML 파일로 만들어 놓는 것이 좋습니다.
또는 MySQL 에서 튜닝 시에 insert 보다는 select 가 빨리 되도록 튜닝 하는 것이 좋구요 ^^
[참고사이트]
http://www.mysql.com/documentation/mysql/bychapter/manual_Table_types.html#SEC457
http://www.mysql.com/documentation/mysql/bychapter/manual_Reference.html#Fulltext_Search
from:
http://www.javasun.net/board/Bread.jsp?CMD=400000&lnum=19&linenum=15&maxnum=0&keykind=null&keyword=&total=0&NCNT=1&ACMD=10&BCODE=001723
출처 - http://leopit.com/Leophp/board/lecture_board/view.php?id=46&board_mode=mysql
- 2008/04/12 12:28
- xeraph.com/4286421
출처 - http://xeraph.com/4286421
'DB > MySQL' 카테고리의 다른 글
| mysql - 중복 레코드 지우기 (0) | 2012.08.16 |
|---|---|
| mysql - 여러 row를 하나의 컬럼으로 콤마(,)구분하기 (0) | 2012.08.16 |
| mysql - BLOB, TEXT 데이터 형식 (0) | 2012.08.09 |
| mysql - 파일에서 테이블로 insert (0) | 2012.07.13 |
| mysql - 행 번호 매기기 (1) | 2012.06.23 |
