db + it ops db postgresql collate [TIL, 일일 회고] 2024.12.09 - PostgreSQL : 데이터베이스 생성 설정 파라미터 이해하기프로젝트 회고 중 init.sql에 데이터베이스를 생성하는 쿼리문에 대해서 정리하고자 합니다. 데이터베이스 생성 시 사용된 각 설정의 의미와 중요성에 대해 자세히 알아보겠습니다. 데이터베이스 생성 쿼리 살펴보기CREATE DATABASE post WITH OWNER = postgres ENCODING = 'UTF8' LC_COLLATE = 'en_US.utf8' LC_CTYPE = 'en_US.utf8' TABLESPACE = pg_default CONNECTION LIMIT = -1; 1. 데이터베이스 이름과 소유자CREATE DATABASE post'post'라는 이름의 새 데이터베이스를 생성합니다.OWNER = postgres데이터베이스의 소유권을 postgres 사.. wono | discuss | tweet + it ops db postgresql collate Postgresql 한글 정렬첨부할 사진이 준비되어 있지 않지만 아무튼 postgresql 을 아무 추가 설정 없이 이용했을 때 한글 정렬에 문제가 있다. 기본적으로 한글을 오름차순 정렬한다고 하면 ㄱ ~ ㅎ 으로 진행되는 것을 기대할 것인데 그렇게 작동하지 않는다. 1. 데이터 베이스 정렬은 Collate 컬럼에 의해 결정된다. -> postgres 접근해서 `\l` 명령어로 확인할 수 있음. 2. 데이터 베이스를 만들 때부터 LC_COLLATE 값을 C 로 설정해서 만들어야 함 -> 이미 만들었다면 dump한 이후 지우고 새로 만든 다음 dump 파일 추가해야 함 dump 하는 방법은 구글링하면 쉽게 찾을 수 있으므로 dump를 진행한 다음에 기존 데이터베이스를 지워주자. 그리고 다음과 같이 데이터베이스를 생성해준다. CREAT.. wono | discuss | tweet + it ops db postgresql collate [AWS]RDS postgresql 한글정렬 문제rds에서 기본데이터베이스 생성시 collate option이 en_US로 되어 orderBy쿼리시 한글정렬이 원하는 대로 되지 않는다.따라서 다음의 과정이 필요하다.c(POSIX)옵션의 경우 아스키코드값으로 비교하는데 한글영어 혼합의 경우 정렬이 정상적으로 되지 않을 wono | discuss | tweet + it ops db rds 프로젝트 삽질기22 (feat 커넥션 풀 누수)들어가며AWS Aurora PostgreSQL를 활용해서 서비스를 운영하고 있습니다. 성능 테스트를 하면서 Writer DB의 Connections 수가 특정 숫자 이상이 되면 커넥션을 더 이상 맺을 수 없어서 장애가 발생한다는 것을 파악했습니다. 장애를 겪을 것을 대비하여 RDS의 connections 수를 트래킹 하며 커넥션 수가 특정 개수 이상이 넘으면, slack으로 알림을 받도록 구성했습니다. 얼마 전, max connections 수가 특정 수를 넘었다는 알림을 받았습니다. 알림을 받은 이후 시간이 지나도, 커넥션 수가 떨어지지 않는 문제가 생겼습니다. 그 과정에서 팀에서는 어떤 문제를 겪었고, 이 문제를 어떻게 해결했는지 공유하고자 글을 씁니다. RDS 커넥션 풀 누.. wono | discuss | tweet + it ops db postgresql collate 도커 postresql 시간대, 언어 설정 방법들의 비교도커 postgresql 의 다양한 환경설정 방법들을 실험하며 차이점을 살펴보겠습니다. wono | discuss | tweet + it ops db postgresql collate 한글과 LC_COLLATE한국어 환경에서 PostgreSQL LC_COLLATE 설정 wono | discuss | tweet + it ops db postgresql collate PostgreSQL 15 한글 검색 설정Postgresql 에서 한글 검색을 위한 encode, collate, ctype 설정 및 gin 인덱스 설정에 대해 알아보자. wono | discuss | tweet + it ops db postgesql Postgres에서 컬럼을 삭제하면 실제로 무슨 일이 일어나는가 | GeekNewsPostgreSQL에서 컬럼을 DROP 해도 실제로 데이터는 삭제되지 않음 — 단지 메타데이터에서 "숨김 처리" 됨DROP COLUMN 후에도 내부적으로 컬럼은 존재하기 때문에, 1600개 컬럼 제한에 도달할 수 있음데이터를 완전히 제거하려면 VACUUM FULL 또는 수동 테이블 재작성이 필요함이는 성능 최적화를 위한 설계지만, GDPR과 같은 컴플라이언 wono | discuss | tweet + it ops db district 국토교통부_전국 법정동_20240802> https://blog.naver.com/jysosohans/221769301618 광역시도(2)+시군구(3)+읍면동(3)+리(2) wono | discuss | tweet + it ops db postgresql utc Using current time in UTC as default value in PostgreSQLI have a column of the TIMESTAMP WITHOUT TIME ZONE type and would like to have that default to the current time in UTC. Getting the current time in UTC is easy: postgres=# select now() at time zon... wono | discuss | tweet + it ops db postgresql PostgreSQL timestamp 사용 시 주의사항SQL을 쓰면서 시간 관련해서 놓치기 쉬운 실수를 정리해보자. wono | discuss | tweet + it ops db postgresql to_char PostgreSQL TO_CHAR Function By Practical ExamplesThis tutorial shows you how to use the PostgreSQL TO_CHAR() function to convert a timestamp or a numeric value to a string. wono | discuss | tweet + it ops db index 데이터베이스 쿼리 속도를 높이는 인덱스 활용법 | 요즘IT이번 글에서는 데이터베이스 쿼리의 성능을 향상시키기 위한 PostgreSQL 인덱스 사용법과 그 중요성에 대해 다룹니다. wono | discuss | tweet + it ops db design 📋 데이터 모델링 개념 & ERD 다이어그램 작성 💯 총정리데이터 모델링 이란? 데이터 모델링이란 정보시스템 구축의 대상이 되는 업무 내용을 분석하여 이해하고 약속된 표기법에 의해 표현하는걸 의미한다. 그리고 이렇게 분석된 모델을 가지고 실제 데이터베이스를 생성하여 개발 및 데이터 관리에 사용된다. 특히 데이터를 추상화한 데이터 모델은 데이터베이스의 골격을 이해하고 그 이해를 바탕으로 SQL문장을 기능과 성능적인 측면에서 효율적으로 작성할 수 있기 때문에, 데이터 모델링은 데이터베이스 설계의 핵심 과정이기도 하다. 데이터 모델링 순서 절차 1. 업무 파악 (요구사항 수집 및 분석) 업무 파악은 어떠한 업무를 시작하기 전에 해당하는 업무에 대해서 파악하는 단계 이다. 모델링에 앞서 가장 먼저 해야 할 것은 어떠한 업무를 데이터화하여 모델링 할 것인지에 대한 요구사.. wono | discuss | tweet + it ops db design [DB] DB 설계 과정DB 설계 순서1️⃣ 요구사항 수집 분석실제 세계에서 어떤 시스템을 구축할 것인지에 대한 요구사항 수집요구사항에 대해 어떤 데이터들이 필요한지, 어떤 기능들이 필요한지 분석2️⃣ 개념적 설계핵심 Entity 도출ERD 작성3️⃣ 논리적 설계ERD-RDB 모델을 통해 개 wono | discuss | tweet + it ops db postgresql PostgreSQL 사용 시 도움 되는 패턴들 | GeekNewsPostgres를 더 생산적이고 안전하게 사용하는 데 도움이 되는 실용적인 패턴들을 정리한 글각 패턴은 작지만 누적되면 큰 차이를 만들어냄UUID 기본 키 사용UUID는 무작위이기 때문에 정렬이나 인덱스 성능 면에서 단점이 있음숫자 ID보다 공간을 더 많이 차지함하지만 다음과 같은 장점이 있음DB에 연결하지 않고도 UUID를 생성할 수 있음외부에 안전하게 wono | discuss | tweet + it ops db design history trigger [PostgreSQL] trigger 사용하기 (history table 만들기)참고 사이트 https://www.postgresql.org/docs/current/sql-createtrigger.html 얼마 전에 특정 table에 대한 변경 이력을 저장해야 하는 작업을 진행하면서 trigger를 처음 사용하 보았다. (A table에서 발생하는 insert, update row를 B table에 추가) 적용해야 하는 조건이 간단해서 trigger 적용도 간단하게 할 수 있었다. trigger 생성은 다음과 같이 선언한다. create trigger save_history after insert or update on A for each row execute procedure trigger_upsert_data(); - trigger 이름은 save_history로 선언 - ins.. wono | discuss | tweet + it ops db design history trigger 데이터 변경 이력 기록 및 효율적인 히스토리 추적 관리 전략데이터베이스에서 변경된 사항만 확인하는 구조를 만드는 방법은 여러 가지가 있습니다. 일반적인 RDBMS에서도 이러한 기능을 구현할 수 있지만, 특정한 요구사항에 따라 다른 접근 방법이 필요할 수도 있습니다.트리거(Trigger): 데이터베이스의 트리거 기능을 사용하여 데이터 변경 시 로그 테이블에 기록을 남기도록 설정할 수 있습니다. 이렇게 하면 변경 사항을 쉽게 추적할 수 있습니다.변경 데이터 캡처(Change Data Capture, CDC): 많은 RDBMS가 CDC 기능을 제공하여 테이블의 변경 사항을 캡처하고 이를 별도의 테이블이나 로그로 기록합니다. 이를 통해 변경된 데이터만 추출할 수 있습니다.타임스탬프 필드 사용: 테이블에 'last_updated'와 같은 타임스탬프 필드를 추가하여 레코드.. wono | discuss | tweet + it ops db design history trigger [ORACLE] 트리거(Trigger)를 이용한 테이블 수정 이력 관리데이터베이스에서 데이터의 변경 이력을 관리하는 것은 매우 중요하다.사용자가 데이터를 수정하거나 삭제하는 경우, 그 내역을 저장하여 추후에 어떤 변경이 있었는지 추적할 수 있어야 한다.이를 위해 Oracle에서는 트리거를 사용하여 테이블의 수정 이력을 관리할 수 있다.이번 포스팅에서는 트리거를 이용하여 수정 이력을 관리하는 방법을 알아보자. 1. 사용자 작업 테이블 생성먼저 사용자가 직접 데이터를 삽입(insert), 수정(update), 삭제(delete)할 수 있는 테이블을 생성한다.예를 들어, users 테이블이라고 가정하여 생성해 보자.(실제 운영 테이블은 예시와는 비교도 안될 정도로 복잡할텐데, 예시니까^^. 참조만 부탁드립니다)CREATE TABLE users ( id NUMBER PRIMAR.. wono | discuss | tweet + it ops db design history [디비] 추적 가능한 테이블 설계 : 네이버 블로그 wono | discuss | tweetNext
+ it ops db postgresql collate [TIL, 일일 회고] 2024.12.09 - PostgreSQL : 데이터베이스 생성 설정 파라미터 이해하기프로젝트 회고 중 init.sql에 데이터베이스를 생성하는 쿼리문에 대해서 정리하고자 합니다. 데이터베이스 생성 시 사용된 각 설정의 의미와 중요성에 대해 자세히 알아보겠습니다. 데이터베이스 생성 쿼리 살펴보기CREATE DATABASE post WITH OWNER = postgres ENCODING = 'UTF8' LC_COLLATE = 'en_US.utf8' LC_CTYPE = 'en_US.utf8' TABLESPACE = pg_default CONNECTION LIMIT = -1; 1. 데이터베이스 이름과 소유자CREATE DATABASE post'post'라는 이름의 새 데이터베이스를 생성합니다.OWNER = postgres데이터베이스의 소유권을 postgres 사.. wono | discuss | tweet
+ it ops db postgresql collate Postgresql 한글 정렬첨부할 사진이 준비되어 있지 않지만 아무튼 postgresql 을 아무 추가 설정 없이 이용했을 때 한글 정렬에 문제가 있다. 기본적으로 한글을 오름차순 정렬한다고 하면 ㄱ ~ ㅎ 으로 진행되는 것을 기대할 것인데 그렇게 작동하지 않는다. 1. 데이터 베이스 정렬은 Collate 컬럼에 의해 결정된다. -> postgres 접근해서 `\l` 명령어로 확인할 수 있음. 2. 데이터 베이스를 만들 때부터 LC_COLLATE 값을 C 로 설정해서 만들어야 함 -> 이미 만들었다면 dump한 이후 지우고 새로 만든 다음 dump 파일 추가해야 함 dump 하는 방법은 구글링하면 쉽게 찾을 수 있으므로 dump를 진행한 다음에 기존 데이터베이스를 지워주자. 그리고 다음과 같이 데이터베이스를 생성해준다. CREAT.. wono | discuss | tweet
+ it ops db postgresql collate [AWS]RDS postgresql 한글정렬 문제rds에서 기본데이터베이스 생성시 collate option이 en_US로 되어 orderBy쿼리시 한글정렬이 원하는 대로 되지 않는다.따라서 다음의 과정이 필요하다.c(POSIX)옵션의 경우 아스키코드값으로 비교하는데 한글영어 혼합의 경우 정렬이 정상적으로 되지 않을 wono | discuss | tweet
+ it ops db rds 프로젝트 삽질기22 (feat 커넥션 풀 누수)들어가며AWS Aurora PostgreSQL를 활용해서 서비스를 운영하고 있습니다. 성능 테스트를 하면서 Writer DB의 Connections 수가 특정 숫자 이상이 되면 커넥션을 더 이상 맺을 수 없어서 장애가 발생한다는 것을 파악했습니다. 장애를 겪을 것을 대비하여 RDS의 connections 수를 트래킹 하며 커넥션 수가 특정 개수 이상이 넘으면, slack으로 알림을 받도록 구성했습니다. 얼마 전, max connections 수가 특정 수를 넘었다는 알림을 받았습니다. 알림을 받은 이후 시간이 지나도, 커넥션 수가 떨어지지 않는 문제가 생겼습니다. 그 과정에서 팀에서는 어떤 문제를 겪었고, 이 문제를 어떻게 해결했는지 공유하고자 글을 씁니다. RDS 커넥션 풀 누.. wono | discuss | tweet
+ it ops db postgresql collate 도커 postresql 시간대, 언어 설정 방법들의 비교도커 postgresql 의 다양한 환경설정 방법들을 실험하며 차이점을 살펴보겠습니다. wono | discuss | tweet
+ it ops db postgresql collate 한글과 LC_COLLATE한국어 환경에서 PostgreSQL LC_COLLATE 설정 wono | discuss | tweet
+ it ops db postgresql collate PostgreSQL 15 한글 검색 설정Postgresql 에서 한글 검색을 위한 encode, collate, ctype 설정 및 gin 인덱스 설정에 대해 알아보자. wono | discuss | tweet
+ it ops db postgesql Postgres에서 컬럼을 삭제하면 실제로 무슨 일이 일어나는가 | GeekNewsPostgreSQL에서 컬럼을 DROP 해도 실제로 데이터는 삭제되지 않음 — 단지 메타데이터에서 "숨김 처리" 됨DROP COLUMN 후에도 내부적으로 컬럼은 존재하기 때문에, 1600개 컬럼 제한에 도달할 수 있음데이터를 완전히 제거하려면 VACUUM FULL 또는 수동 테이블 재작성이 필요함이는 성능 최적화를 위한 설계지만, GDPR과 같은 컴플라이언 wono | discuss | tweet
+ it ops db district 국토교통부_전국 법정동_20240802> https://blog.naver.com/jysosohans/221769301618 광역시도(2)+시군구(3)+읍면동(3)+리(2) wono | discuss | tweet
+ it ops db postgresql utc Using current time in UTC as default value in PostgreSQLI have a column of the TIMESTAMP WITHOUT TIME ZONE type and would like to have that default to the current time in UTC. Getting the current time in UTC is easy: postgres=# select now() at time zon... wono | discuss | tweet
+ it ops db postgresql PostgreSQL timestamp 사용 시 주의사항SQL을 쓰면서 시간 관련해서 놓치기 쉬운 실수를 정리해보자. wono | discuss | tweet
+ it ops db postgresql to_char PostgreSQL TO_CHAR Function By Practical ExamplesThis tutorial shows you how to use the PostgreSQL TO_CHAR() function to convert a timestamp or a numeric value to a string. wono | discuss | tweet
+ it ops db index 데이터베이스 쿼리 속도를 높이는 인덱스 활용법 | 요즘IT이번 글에서는 데이터베이스 쿼리의 성능을 향상시키기 위한 PostgreSQL 인덱스 사용법과 그 중요성에 대해 다룹니다. wono | discuss | tweet
+ it ops db design 📋 데이터 모델링 개념 & ERD 다이어그램 작성 💯 총정리데이터 모델링 이란? 데이터 모델링이란 정보시스템 구축의 대상이 되는 업무 내용을 분석하여 이해하고 약속된 표기법에 의해 표현하는걸 의미한다. 그리고 이렇게 분석된 모델을 가지고 실제 데이터베이스를 생성하여 개발 및 데이터 관리에 사용된다. 특히 데이터를 추상화한 데이터 모델은 데이터베이스의 골격을 이해하고 그 이해를 바탕으로 SQL문장을 기능과 성능적인 측면에서 효율적으로 작성할 수 있기 때문에, 데이터 모델링은 데이터베이스 설계의 핵심 과정이기도 하다. 데이터 모델링 순서 절차 1. 업무 파악 (요구사항 수집 및 분석) 업무 파악은 어떠한 업무를 시작하기 전에 해당하는 업무에 대해서 파악하는 단계 이다. 모델링에 앞서 가장 먼저 해야 할 것은 어떠한 업무를 데이터화하여 모델링 할 것인지에 대한 요구사.. wono | discuss | tweet
+ it ops db design [DB] DB 설계 과정DB 설계 순서1️⃣ 요구사항 수집 분석실제 세계에서 어떤 시스템을 구축할 것인지에 대한 요구사항 수집요구사항에 대해 어떤 데이터들이 필요한지, 어떤 기능들이 필요한지 분석2️⃣ 개념적 설계핵심 Entity 도출ERD 작성3️⃣ 논리적 설계ERD-RDB 모델을 통해 개 wono | discuss | tweet
+ it ops db postgresql PostgreSQL 사용 시 도움 되는 패턴들 | GeekNewsPostgres를 더 생산적이고 안전하게 사용하는 데 도움이 되는 실용적인 패턴들을 정리한 글각 패턴은 작지만 누적되면 큰 차이를 만들어냄UUID 기본 키 사용UUID는 무작위이기 때문에 정렬이나 인덱스 성능 면에서 단점이 있음숫자 ID보다 공간을 더 많이 차지함하지만 다음과 같은 장점이 있음DB에 연결하지 않고도 UUID를 생성할 수 있음외부에 안전하게 wono | discuss | tweet
+ it ops db design history trigger [PostgreSQL] trigger 사용하기 (history table 만들기)참고 사이트 https://www.postgresql.org/docs/current/sql-createtrigger.html 얼마 전에 특정 table에 대한 변경 이력을 저장해야 하는 작업을 진행하면서 trigger를 처음 사용하 보았다. (A table에서 발생하는 insert, update row를 B table에 추가) 적용해야 하는 조건이 간단해서 trigger 적용도 간단하게 할 수 있었다. trigger 생성은 다음과 같이 선언한다. create trigger save_history after insert or update on A for each row execute procedure trigger_upsert_data(); - trigger 이름은 save_history로 선언 - ins.. wono | discuss | tweet
+ it ops db design history trigger 데이터 변경 이력 기록 및 효율적인 히스토리 추적 관리 전략데이터베이스에서 변경된 사항만 확인하는 구조를 만드는 방법은 여러 가지가 있습니다. 일반적인 RDBMS에서도 이러한 기능을 구현할 수 있지만, 특정한 요구사항에 따라 다른 접근 방법이 필요할 수도 있습니다.트리거(Trigger): 데이터베이스의 트리거 기능을 사용하여 데이터 변경 시 로그 테이블에 기록을 남기도록 설정할 수 있습니다. 이렇게 하면 변경 사항을 쉽게 추적할 수 있습니다.변경 데이터 캡처(Change Data Capture, CDC): 많은 RDBMS가 CDC 기능을 제공하여 테이블의 변경 사항을 캡처하고 이를 별도의 테이블이나 로그로 기록합니다. 이를 통해 변경된 데이터만 추출할 수 있습니다.타임스탬프 필드 사용: 테이블에 'last_updated'와 같은 타임스탬프 필드를 추가하여 레코드.. wono | discuss | tweet
+ it ops db design history trigger [ORACLE] 트리거(Trigger)를 이용한 테이블 수정 이력 관리데이터베이스에서 데이터의 변경 이력을 관리하는 것은 매우 중요하다.사용자가 데이터를 수정하거나 삭제하는 경우, 그 내역을 저장하여 추후에 어떤 변경이 있었는지 추적할 수 있어야 한다.이를 위해 Oracle에서는 트리거를 사용하여 테이블의 수정 이력을 관리할 수 있다.이번 포스팅에서는 트리거를 이용하여 수정 이력을 관리하는 방법을 알아보자. 1. 사용자 작업 테이블 생성먼저 사용자가 직접 데이터를 삽입(insert), 수정(update), 삭제(delete)할 수 있는 테이블을 생성한다.예를 들어, users 테이블이라고 가정하여 생성해 보자.(실제 운영 테이블은 예시와는 비교도 안될 정도로 복잡할텐데, 예시니까^^. 참조만 부탁드립니다)CREATE TABLE users ( id NUMBER PRIMAR.. wono | discuss | tweet