2023. 5. 6. 23:36ㆍ학습/Data Engineering
https://parkpakrsu.tistory.com/236
데이터 엔지니어링 로드맵 2023
데이터 엔지니어링 분야는 지속적으로 발전하고 있으며, 새로운 기술과 도구들이 생겨나고 있습니다. 2023년 데이터 엔지니어 로드맵을 기본적인 학습 경로와 주요 기술 및 도구를 업데이트하여
parkpakrsu.tistory.com
2~3단계에서 할만한 프로젝트!
+4(데이터 저장소 및 처리) , +5(데이터 파이프라인 및 ETL)..
- 개인용 관계형 데이터베이스 구축
- 자신의 관심사(영화, 음악, 도서 등)에 대한 데이터를 수집하여 관계형 데이터베이스에 저장하고, 이를 조회/수정/삭제하는 간단한 웹 애플리케이션을 개발합니다.
- 사용할 수 있는 기술: Python, Flask, PostgreSQL, MySQL, HTML/CSS/JavaScript
- 블로그 플랫폼 개발
- 사용자가 게시물을 작성하고 읽을 수 있는 블로그 플랫폼을 개발합니다. 사용자 인증, 게시물 작성, 게시물 수정/삭제 등의 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Django, PostgreSQL, HTML/CSS/JavaScript
- 온라인 설문 조사 애플리케이션
- 설문 조사를 만들고 참여할 수 있는 온라인 설문 조사 애플리케이션을 개발합니다. 설문 조사 생성, 응답 수집 및 결과 집계/시각화와 같은 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask, MongoDB, HTML/CSS/JavaScript
- 자료 관리 시스템 개발
- 사용자가 파일을 업로드, 다운로드, 삭제할 수 있는 클라우드 기반의 자료 관리 시스템을 개발합니다. 사용자 인증 및 파일 관리 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask, SQLAlchemy, PostgreSQL, Amazon S3, HTML/CSS/JavaScript
- 실시간 채팅 애플리케이션
- 사용자가 실시간으로 메시지를 주고받을 수 있는 채팅 애플리케이션을 개발합니다. 사용자 인증 및 채팅 데이터 저장 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask-SocketIO, PostgreSQL, HTML/CSS/JavaScript, WebSocket
- 지출 관리 애플리케이션
- 사용자가 자신의 지출 내역을 기록하고 분석할 수 있는 웹 애플리케이션을 개발합니다. 카테고리별 지출 내역 입력 및 월별 지출 통계 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Django, SQLite, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등)
- 식당 리뷰 웹 사이트
- 사용자가 식당 정보를 조회하고 리뷰를 남길 수 있는 웹 사이트를 개발합니다. 사용자 인증, 식당 정보 입력/수정, 리뷰 작성 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask, PostgreSQL, HTML/CSS/JavaScript, Google Maps API
- 이슈 트래커 시스템
- 프로젝트의 이슈와 태스크를 관리할 수 있는 웹 기반 시스템을 개발합니다. 이슈 생성/수정/삭제, 상태 변경, 담당자 지정 등의 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Django, PostgreSQL, HTML/CSS/JavaScript
- 오픈 데이터 분석 및 시각화
- 공공 기관이 제공하는 오픈 데이터를 활용하여 특정 주제에 대한 분석 및 시각화를 수행하는 웹 애플리케이션을 개발합니다. 데이터를 처리하고 분석한 결과를 대시보드 형태로 제공합니다.
- 사용할 수 있는 기술: Python, Pandas, Flask, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등)
- 도서 대출 관리 시스템
- 도서관의 도서 대출 및 반납을 관리하는 웹 애플리케이션을 개발합니다. 도서 정보 및 사용자 정보 입력, 대출 및 반납 기록 관리 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask, SQLAlchemy, PostgreSQL, HTML/CSS/JavaScript
- 지진 데이터 분석 및 시각화
- USGS(미국 지질 조사국) API를 사용하여 최근 지진 데이터를 수집하고, 데이터 분석 및 시각화를 수행하는 웹 애플리케이션을 개발합니다.
- 사용할 수 있는 기술: Python, Pandas, Flask, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등), USGS API
- 경매 웹 사이트
- 사용자가 상품을 올리고 입찰을 할 수 있는 경매 웹 사이트를 개발합니다. 상품 등록, 입찰, 낙찰 및 거래 완료 등의 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Django, PostgreSQL, HTML/CSS/JavaScript
- 건강 관리 애플리케이션
- 사용자의 건강 데이터(운동량, 식단, 수면 패턴 등)를 기록하고 분석할 수 있는 웹 애플리케이션을 개발합니다. 건강 데이터 입력 및 시각화 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask, PostgreSQL, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등)
- 텍스트 분석 및 감정 분석 웹 서비스
- 사용자가 입력한 텍스트의 키워드 분석, 감정 분석 등의 자연어 처리 작업을 수행하는 웹 서비스를 개발합니다.
- 사용할 수 있는 기술: Python, NLP 라이브러리 (NLTK, spaCy, TextBlob 등), Flask, HTML/CSS/JavaScript
- 이메일 마케팅 자동화 시스템
- 사용자가 이메일 리스트를 관리하고, 이메일 캠페인을 생성하여 발송하는 웹 애플리케이션을 개발합니다. 이메일 발송 결과 통계 및 분석 기능을 구현합니다.
- 사용할 수 있는 기술: Python, Flask, PostgreSQL, HTML/CSS/JavaScript, 이메일 발송 API (SendGrid, Mailgun 등)
더 생각나면 추가!
지금 당장 해보고 싶은 것은
1. 개인용 관계형 데이터베이스 구축
-> https://parkpakrsu.tistory.com/227
주간책톡(부산 도서관) 크롤링 -5 페이지를 순회하며 크롤링
이제 요약이 있는 링크들을 순회하며 크롤링 할 차례다. link열의 내용을 하나씩 출력이 되는 것을 확인하고, book_summary = driver.find_element(By., "book_summary") class = "book_summary" , id = "bookSummary" . class 를
parkpakrsu.tistory.com
책의 요약정보를 크롤링 했으니 이를 내 데이터베이스로 만들기
2. 내 경력기술서나 포트폴리오 전용 레쥬메 블로그 ?
9. 오픈 데이터 분석 및 시각화
pandas, seaborn 쪽 연습에 좋을듯.
13. 내 워치랑 연동해서?
14. 내 평소 카톡 분석
'학습 > Data Engineering' 카테고리의 다른 글
Hadoop - 작동 원리, 장단점 (0) | 2023.08.29 |
---|---|
E-R 모델에서 Relation Type 이 속성을 가질 수 있는 이유 (0) | 2023.08.01 |
ML 최적화 목표 (0) | 2023.06.28 |
회귀(Regression) 방법을 사용하여 결측치를 처리 (0) | 2023.06.26 |
데이터 엔지니어링 로드맵 2023 (0) | 2023.05.06 |