heesoohi

ElasticSearch korean_nori 분석기와 토큰화 문제

🧩 문제 상황: 형용사 키워드 검색 실패현상: description = "아늑한" 검색 시, 결과가 빈 배열로 반환됨원인 분석:korean_nori 분석기는 텍스트를 형태소 단위로 분해"아늑한" → "아늑", "하", "ㄴ"으로 과도하게 분해됨Criteria.contains()는 내부적으로 아늑한* 형식의 wildcard 쿼리를 생성하지만, 이 쿼리는 분해된 토큰과 매칭되지 않음 → 검색 실패🧪 토큰화 예시 (curl 테스트 결과)POST _analyze{ "analyzer": "korean_nori", "text": "아늑한 분위기의 카페입니다."} 결과 토큰들:"아늑", "하", "ᆫ", "분위기", "의", "카페", "이", "ᄇ니다"→ "아늑한"이라는 전체 단어는 인덱스에 존재하지 않음?..

# CodeGuru Reviewer 코드를 푸시할 때마다 커밋을 확인하고 잘못된 코드줄을 알려주는 서비스가 CodeGuru Reviewer이다. 문제를 식별하고 보안 취약성이나 찾기 힘든 버그도 식별해준다. 예를 들자면 코딩 모범 사례를 구현할 수 있고, 리소스 누수를 찾거나 보험 허점이 생긴 경우를 탐지할 수 있고, 입력값 유효성을 검사할 때 보안 탐지도 가능하다. 수천개의 오픈 소스 리포지토리와 모든 amazon.com 리포지토리에서 분석한 코드 분석을 사용하여 머신 러닝과 자동화된 추론을 사용하여 실행하기 때문에 이러한 기능들이 가능한 것이다. CodeGuru Reviewer는 자바와 파이썬을 지원하고, 현재는 깃헙, Bitbucket, CodeCommit과 통합되어 있는 서비스이라는 점도 ..

# CodeGuru CodeGuru는 머신 러닝 기반 서비스로 자동화된 코드 검토와 애플리케이션 성능 권장 사항 2가지를 실행한다. 개발자가 코드를 푸시하면 다른 개발자가 코드를 검토하고, 코드가 프로덕션에 배포되면 코드의 성능을 모니터링하고 버그를 탐지하는 것도 가능하다. 이 작업들은 자동화된 방식으로 수행된다. CodeGuru Reviewer는 정적 코드 분석으로 자동화된 코드 검토를 실행한다. 코드를 CodeCommit이나 GitHub 같은 레포지토리에 배포하면, CodeGuru에서 전체 코드줄을 확인하고 이전에 살펴봤던 버그나 메모리 누수와 같은 경우에 실행 가능한 권장 사항을 제공한다. 또 머신 러닝 기능으로 Reviewer가 탐지하기도 전에 버그를 탐지하기도 하여 매우 유용한 서비스..

# AWS CloudTrail CloudTRail은 AWS 계정에 대한 거버넌스, 규정 준수, 감사를 제공하는 서비스로, 계정을 사용할 때마다 기본적으로 활성화된다. 따라서 계정 내에서 발생하는 모든 API 호출이나 이벤트 기록을 가져올 수 있다. 예를 들어, 누군가 콘솔에 로그인해서 어떤 작업을 하든 모두 CloudTrail에 기록된다. ConsoleSDKCLIAWS Services위 서비스들을 통해 AWS 계정에서 어떤 이벤트나 API 호출이 발생하면, 모두 CloudTrail에 기록된다. 또한 감사 및 보안의 목적을 위해 CloudTrail 내에서 수행된 모든 이벤트와 API 호출 기록을 CloudWatch Logs나 Amazon S3로 보낼 수도 있다. 저장된 기록을 확인할 수도 있고, eve..

AWS EventBridge는 다양한 이벤트를 연결하고 관리하는 강력한 서비스이다. 기본 이벤트 버스를 통해 AWS 서비스나 스케줄에서 발생하는 이벤트를 처리할 수 있다. Zendesk, Datadog 같은 AWS 파트너로부터 이벤트를 받아 파트너 이벤트 버스로 계정에 통합할 수도 있으며, 이를 통해 AWS 외부 이벤트에도 유연하게 대응하는 것이 가능하다. 사용자 정의 애플리케이션도 쉽게 연결 가능하다. 사용자 정의 이벤트 버스를 설정해 원하는 방식으로 통합을 커스터마이징할 수 있다는 점이 특징이다. EventBridge는 스키마 레지스트리로 이벤트 데이터의 구조를 관리하고, 모든 이벤트를 아카이브해 무기한 또는 설정된 기간 동안 보관한다. 필요하면 보관된 이벤트를 재생해서 활용하는 것도 가능하..

# Amazon EventBridge CloudWatch Events 라는 이름에서 EventBrideg라고 바뀐 이 서비스를 사용하면, AWS 계정에서 발생하는 여러 이벤트에 대처할 수 있다. 사용 사례를 하나 예를 들어 보자면, 크론 작업을 예약하는 것이다. 정기적으로 스크립트를 예약하고 싶을 때, EventBridge에서 1시간마다 이벤트가 생성된다는 규칙을 만들 수 있다. 이 이벤트는 람다함수에서 실행되는 스크립트를 트리거할 수 있다. 사실상 서버리스 크론 작업이 가능한 것이다. 다른 예시로는, 매시간 발생하는 이벤트에 반응하거나 서비스가 하는 작업에 대해 반응할 수 있다. 예를 들어 누군가가 루트 사용자를 사용하여 로그인할 때마다 보안 팀에 알림을 보낼 수 있다. 루트 사용자는 일반적인 ..

# Amazon CloudWatch Logs 실행되는 애플리케이션에 대한 서버들의 작업 내역을 로그라고 하고, 이러한 로그 파일들을 수집하는 역할을 수행하는 서비스가 CloudWatch Logs이다. 수집된 로그 파일은 사용자가 트러블 슈팅을 수행하는 등의 경우, 로그 파일을 확인하며 애플리케이션의 작업이나 설명을 살펴보는데 사용될 수 있다. CloudWatch는 Elastic Beanstalk, ECS, 람다, CloudTrail, CloudWatch Log Agents 등을 통해 로그를 수집할 수 있다. 특히 로그 에이전트를 EC2 머신이나 온프레미스 서버에 설치하면, 해당 서버에서 AWS로 직접 로그를 가져올 수도 있다. 이렇게 수집한 로그를 활용하여 CloudWatch Logs에서 로그에 대한..

Amazon CloudWatch를 사용하면 리소스의 여러 지표들을 확인할 수 있다. 단순히 지표를 확인하는 것을 넘어, 지표가 원하는 수치를 넘어서거나 근접하고 있을 때 자동으로 알람을 보내주는 기능이 있다면 훨씬 유용할 것이다. 이를 제공하는 것이 CloudWatch Alarms이다. # CloudWatch 경보 지표에 대한 알림을 트리거 할 때 CloudWatch 경보가 사용된다. 사용자가 설정한 임계값을 지표가 넘어갈 때 CloudWatch에서 경보를 보내주는 것. 아래와 같은 경우에 경보를 보낼 수 있다. 오토 스케일링 그룹: 원하는 만큼 EC2 인스턴스의 수를 늘리거나 줄여서 자동 스케일링이 가능하도록 하는 오토 스케일링 작업예를 들어, EC2 인스턴스의 사용률이 90%가 넘을 경우 문제가..

🏛️ 도입 배경가게 검색 기능은 우리 서비스에서 핵심 기능 중 하나이며, 초기에는 JPA를 사용해 RDS에서 검색 기능을 구현했지만 다음과 같은 한계가 있었습니다: 🛠️ JPA 검색의 한계와 문제점LIKE 조건 기반 검색은 정확도와 유연성이 낮음검색 조건이 많아질수록 쿼리 메서드의 복잡도 증가 및 검색 로직의 확장성 부족 문제 발생기본 검색 조건만으로도 파라미터가 많아져 **파라미터 객체화(@ModelAttribute)**로 구조를 정리했지만, 이는 구조 문제 해결일 뿐 검색 최적화와는 무관데이터가 많아지면 쿼리 응답 속도가 느려질 가능성 🆚 DB 인덱스 vs Elasticsearch vs OpenSearch기준DB 인덱스 최적화ElasticsearchOpenSearch한국어 지원기본 SQL LIK..

# CloudWatch Metrics CloudWatch는 AWS 내 모든 서비스에 대한 지표를 제공하는 서비스이다. 🤔 Metrics란? Metrics, 즉 지표란 모니터링 대상이 되는 변수이다. 예를 들어 CPU, 메모리 사용량 등등..! 지표는 시간에 대한 내용을 포함하며, 타임스탬프를 갖는다. CloudWatch에서 제공하는 지표들을 한 눈에 시각화할 수 있도록 지표 대시보드를 생성할 수도 있다. 예를 들어, CloudWatch로 과금 지표(Billing metric)를 확인할 수 있다. 해당 지표는 us-east-1에서만 제공하는 지표이며, 예시 사진처럼 지불한 전체 금액을 확인할 수 있다. 시간이 흐름에 따라 지표가 점점 증가했다가 매월 말에 0으로 초기화되는 것 또한 확인할 수 ..