패스트캠퍼스(9)
-
kafka 작동원리, 활용, 장단점
Apache Kafka는 LinkedIn에서 개발된 오픈 소스 스트림 처리 플랫폼입니다. https://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS9400468504 링크드인은 왜 카프카를 만들었나 @import url('https://fonts.googleapis.com/css?family=Nanum+Gothic:400,700|Noto+Serif+KR:200&display=swap');.body {margin-top: 20px;font-family: 'Noto Serif KR', serif;}.bodytitle_1 {margin-top: 1.5em;... www.hanbit.co.kr 큰 데이터를 실시간으로 처리하고 분석하는 데 사용됩니다. 작동 원리..
2023.09.05 -
strava api를 이용해 운동 데이터 mysql에 적재하기 -1
import pandas as pd import numpy as np import json import requests import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) auth_url = "https://www.strava.com/oauth/token" activites_url = "https://www.strava.com/api/v3/athlete/activities" payload = { 'client_id': "---", 'client_secret': '---', 'refresh_token': '---f', 'grant_type': "refresh_token", 'f': 'json' } print("..
2023.09.05 -
WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! (aws ec2 접속시 오류)
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host key has just been changed. The fingerprint for the ECDSA key se..
2023.09.05 -
mysql에 적재된 data를 flask 웹에 띄우기 (+ 개선사항)
from flask import Flask, render_template from sqlalchemy import create_engine import pandas as pd app = Flask(__name__) # MySQL 서버 정보 설정 host="localhost" user="testuser" password="1234" database="TESTDB" # SQLAlchemy 엔진 생성 engine_url = f'mysql+pymysql://{user}:{password}@{host}/{database}' engine = create_engine(engine_url, echo=True) @app.route('/') def home(): # 쿼리 실행 및 결과 DataFrame으로 변환 query..
2023.09.05 -
ubuntu에 PostgreSQL 설치 -1
Ubuntu 에서 PostgreSQL을 사용해야하는 상황. 1. PostgreSQL 설치 sudo apt update sudo apt install postgresql sudo apt install postgrewql-contrib 2. PostgreSQL 상태 확인 sudo systemctl status postgresql 3. PostgreSQL 에 로그인 sudo -u postgres psql 4. 새로운 DB , user 생성 CREATE DATABASE mydatabase; CREATE USER myuser WITH ENCRYPTED PASSWORD 'mypassword'; GRANT ALL PRIVILEGES ON DATABASE mydatabase TO myuser; 5. psql shell..
2023.09.01 -
간단한 ML api server 띄우기 -2 hello flask
-1 에서는 pyenv 를 통한 환경을 구축하였다. -2 에서는 간단한 ML 을 flask를 이용하여 웹에 띄워보겠다. 1. Hello flask from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/') def welcome(): return 'HELLO, ML API SERVER' if __name__ == '__main__': app.run(host='0.0.0.0', port=5000) 로컬호스트에 일단 flask 웹 서버를 띄웠다. CLI 에서 확인하고 싶다면 curl http://localhost:5000 hello, my api server 를 보내준다. 2. 간단한 ML 추가 import numpy as n..
2023.08.30