Apache Kafka는 LinkedIn에서 개발된 오픈 소스 스트림 처리 플랫폼입니다. https://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS9400468504 링크드인은 왜 카프카를 만들었나 @import url('https://fonts.googleapis.com/css?family=Nanum+Gothic:400,700|Noto+Serif+KR:200&display=swap');.body {margin-top: 20px;font-family: 'Noto Serif KR', serif;}.bodytitle_1 {margin-top: 1.5em;... www.hanbit.co.kr 큰 데이터를 실시간으로 처리하고 분석하는 데 사용됩니다. 작동 원리..

import pandas as pd import numpy as np import json import requests import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) auth_url = "https://www.strava.com/oauth/token" activites_url = "https://www.strava.com/api/v3/athlete/activities" payload = { 'client_id': "---", 'client_secret': '---', 'refresh_token': '---f', 'grant_type': "refresh_token", 'f': 'json' } print("..

from flask import Flask, render_template from sqlalchemy import create_engine import pandas as pd app = Flask(__name__) # MySQL 서버 정보 설정 host="localhost" user="testuser" password="1234" database="TESTDB" # SQLAlchemy 엔진 생성 engine_url = f'mysql+pymysql://{user}:{password}@{host}/{database}' engine = create_engine(engine_url, echo=True) @app.route('/') def home(): # 쿼리 실행 및 결과 DataFrame으로 변환 query..

Ubuntu 에서 PostgreSQL을 사용해야하는 상황. 1. PostgreSQL 설치 sudo apt update sudo apt install postgresql sudo apt install postgrewql-contrib 2. PostgreSQL 상태 확인 sudo systemctl status postgresql 3. PostgreSQL 에 로그인 sudo -u postgres psql 4. 새로운 DB , user 생성 CREATE DATABASE mydatabase; CREATE USER myuser WITH ENCRYPTED PASSWORD 'mypassword'; GRANT ALL PRIVILEGES ON DATABASE mydatabase TO myuser; 5. psql shell..

-1 에서는 pyenv 를 통한 환경을 구축하였다. -2 에서는 간단한 ML 을 flask를 이용하여 웹에 띄워보겠다. 1. Hello flask from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/') def welcome(): return 'HELLO, ML API SERVER' if __name__ == '__main__': app.run(host='0.0.0.0', port=5000) 로컬호스트에 일단 flask 웹 서버를 띄웠다. CLI 에서 확인하고 싶다면 curl http://localhost:5000 hello, my api server 를 보내준다. 2. 간단한 ML 추가 import numpy as n..

간단한 ML api server 띄우기 환경 : ubuntu 22.04.3 사용 프레임워크 : flask + gunicorn 1. 사전준비 sudo apt update sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev \ libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev \ xz-utils tk-dev libffi-dev liblzma-dev 2. pyenv 설치 curl https://pyenv.run | bash 확인 vi. bashrc # mac os 에서는 vim. bashrc 파일 맨 아래에 내용 추가 export P..