카레제육 블로그

AI API 게이트웨이 및 시맨틱 라우터 가이드

최근 AI API 게이트웨이와 시맨틱 라우터에 대한 논의가 뜨겁다고 한다. 인프라 관점에서는 이 기술들이 기존의 체계를 어떻게 바꾸고 보완할 것인지가 핵심이다. CNCF 거버넌스 보드 멤버인 Max Körbächer의 발표를 정리했다.https://youtu.be/SxRKXfBsd1c 반년 전쯤 현장에서 흥미로운 대화가 오갔다. 누군가는 모든 게이트웨이를 AI로 교체해 똑똑하게 만들겠다고 했고 다른 누군가는 시맨틱 라우터가 있으니 AI API 게이트웨이는 필요 없다고 주장했다. 무언가에 AI를 붙이면 즉시 기존 기술을 대체할 수 있다고 생각하기 쉽지만 인프라 중심의 관점에서 그것이 항상 정답은 아니다. 이 둘은 대립하는 개념이 아니라 해결하려는 문제의 성격이 다르다.1. 전통적인 API 트래픽과 AI/L..

AWS EKS를 사용하다보면, 가끔 리소스가 충분함에도 파드가 동작하지 못하는 경우를 확인할 수 있는데요 이는 노드의 인스턴스 유형에 따라서 파드 수 제한 (네트워크 인터페이스에 따른 갯수 제한)이 존재하기 때문입니다.이 제한은 노드의 네트워크 인터페이스(ENI)와 IP 주소 할당 가능 수에 따라 결정되며, 각 인스턴스 유형마다 최대 파드 수가 다릅니다. 이를 이해하면 클러스터 리소스 계획 및 파드 스케줄링 문제를 해결하는 데 도움이 됩니다.공식에 따라 직접 계산할 수 있고, AWS 공식 Github 에서 해당 내용을 확인할 수 있지만 간단히 검색할 수 있는 홈페이지를 공유드립니다!!https://aws-eks-max-pods.devops.ai.kr

주변에서 생각보다 Kubernetes CSR의 존재를 잘 모르거나, 단순히 cert-manager에서 사용하는 리소스 정도로 알고있는 경우가 있어 이번 기회에 정리하고자 한다. Kubernetes CSR은 v1.19에서 GA된 기능으로 admission controller가 한창 이목을 끌며 떠오를때 함께 알게되었던 개념이었다.CSR 리소스의 개념CertificateSigningRequest는 Kubernetes API 리소스 중 하나로, 사용자가 클러스터 내에서 인증서 서명 요청을 제출하고, 클러스터 내 CA가 이를 승인하여 X.509 인증서를 발급해주는 과정을 위한 리소스이다.CSR 리소스를 사용하면 외부에서 수작업 없이, 자동화된 방식으로 인증서를 생성하고 관리할 수 있다. 경험을 바탕으로 설명하자..

항상 스탠더드 형식의 Kubernetes만 사용하다가, 2년 전 고객 환경에서 업무를 하며 처음으로 OpenShift를 사용하게 되었다. 이때 가장 고생했던 부분이 바로 Security Context Constraints였다. 과거에 고생했던 경험과 더불어 이번에 그 환경에서 DR(Disaster Recovery) 구성을 진행하며 다시 한번 만나게된 SCC를 다시 정리하고자 한다.SCC가 무엇인가?SCC는 Kubernetes에서 클러스터 수준의 보안 정책을 정의하는 리소스다. 쉽게 말하면, 파드와 컨테이너가 클러스터에서 실행될 때 따라야 할 "보안 규칙"을 설정하는 도구다. SCC는 특히 Red Hat의 OpenShift에서 기본적으로 제공되며, 일반 Kubernetes의 PodSecurityPolicy..

보호되어 있는 글입니다.

개발자는 개발만 잘하면 되는거 아닌가? 취업을 하기 전까지 개발자는 개발만 잘하면 된다고 생각했었지만, 업무를 진행하며 가장 크게 생각이 바뀐 부분이 바로 로깅과 모니터링이었다. 잘 짠 알고리즘으로 개발하는 것도 중요하지만 이를 지속해서 관리하고 관찰할 줄 알아야 하는 눈을 가져야 했다. 소프트웨어의 품질과 안정성은 절대적인 중요성을 가진다는것을 알게되었다. 그럼 어떻게 소프트웨어의 품질과 안정성을 확보할 수 있을까? 답은 바로 '모니터링'에 있다. 소프트웨어의 배포와 운영 이후에도 계속해서 시스템의 상태와 동작을 관찰하고 기록하는 것은 개발자에게 매우 중요한 역할이라 생각한다. 자신이 만든 프로그램이 적어도 어떤 환경에서 어떻게 돌아가는지는 알고 파악할 줄 알아야한다. 모니터링은 마치 소프트웨..

인증서는 왜 필요할까?결론부터 말해서 웹 통신에서 인증서는 내가 보내는 메시지를 안전하게 목적지(상대방)에 보내고 악의적인 사용자에게 잘못 배송되더라도 내용을 숨겨서 최대의 피해를 방지하고자 사용한다.이를 위한 방법으로 암호화가 있는데, 대칭키 암호화 방식과 비대칭키 암호화 방식을 주로 사용된다. 또한, 통신에 있어서 상호 상대방이 누군지를 알아야 할 필요가 있는데 이를 보장해주는 개체로 CA기관이 존재한다.*CA / 인증 기관 (certificate authority)인증서 웹사이트에 적용하기먼저, 아파치를 이용하여 웹서버를 띄워보고, 무료 인증서를 발급받아 SSL을 적용해본다. 이어서 네이버 클라우드 플랫폼의 Certificate Manager를 이용하여 손쉬운 인증서 관리 방법을 알아보고 실제로 A..

회사에서 내부 전파용으로 작성했던 백서를 오랜만에 다시 읽어보니 밖으로 전파해도 문제없다 판단되어 블로그에 포스팅합니다. k8sgpt에 대해서 간단히 설명하고, 사용 방법을 가이드합니다 Publication date: March, 2023 Abstract k8sgpt명령어로 kubernetes 클러스터를 스캔하고 문제를 진단 및 분류하기 위한 도구 Introduction (Background) kubernetes k8sgpt는 NLP를 사용하여 쿠버네티스 클러스터의 로그와 다른 데이터를 분석하여 문제를 식별하고 진단하는 도구이다. 쿠버네티스 클러스터에서 발생할 수 있는 일반적인 문제들을 인식할 수 있는 내장 분석기들을 지원하여 파드 충돌, 서비스 실패, 인그레스의 잘못된 구성 등의 문제들을 찾아줄 수 있..

이전글2023.07.18 - [DevOps] - [Ncloud] 테라폼으로 시작하는 네이버클라우드 플랫폼 - 12023.07.20 - [DevOps] - [Ncloud] 테라폼으로 시작하는 네이버클라우드 플랫폼 - 2 5. 테라폼을 사용해서 server 배포하기네이버 클라우드 플랫폼에서 제공하는 테라폼 프로바이더를 사용하면, 콘솔에서 하는 작업을 코드화할 수 있다. 이를 통해 인프라의 형상 관리 등, IaC(Infrastructure as Code)의 여러 이점을 챙길 수 있다.5.1 테라폼 Workshop이번 게시글에서 사용하는 테라폼 코드는 하시코프 코리아에서 제공하는 workshop (https://docmoa.github.io/03-Public%20Cloud/NCP/09-Terraform-Work..

이전글2023.07.18 - [DevOps] - [Ncloud] 테라폼으로 시작하는 네이버클라우드 플랫폼 - 1 4. 콘솔에서 server 배포하기콘솔을 통해서 VPC 네트워크부터 서버까지 배포하는 작업을 진행해보자4.1 네트워크 구축하기4.1.1 VPC 생성하기Services → VPC 검색!VPC 생성하기VPC 이름: first-vpcIP 주소 범위: 10.0.0.0/16여기에서 콘솔을 통해 입력하는 아규먼트(인수)들이 테라폼의 Ncloud 프로바이더를 통해 API를 호출하는 경우의 파라미터(인자) 값이 된다고 이해하면 된다.생성되면 다음과 같이 VPC ID와 CIDR 블록 할당을 확인할 수 있다.여기서 ID는 테라폼에서 리소스를 구분하는데 중요한 역할을 한다.4.1.2 subnet 생성하기Subne..