2단계(프로그래밍 언어)와 3단계(데이터 모델링 및 설계)를 연습할 수 있는 프로젝트

2023. 5. 6. 23:36학습/Data Engineering

https://parkpakrsu.tistory.com/236

 

데이터 엔지니어링 로드맵 2023

데이터 엔지니어링 분야는 지속적으로 발전하고 있으며, 새로운 기술과 도구들이 생겨나고 있습니다. 2023년 데이터 엔지니어 로드맵을 기본적인 학습 경로와 주요 기술 및 도구를 업데이트하여

parkpakrsu.tistory.com

 

2~3단계에서 할만한 프로젝트!

+4(데이터 저장소 및 처리) , +5(데이터 파이프라인 및 ETL)..

 

 

  1. 개인용 관계형 데이터베이스 구축
    • 자신의 관심사(영화, 음악, 도서 등)에 대한 데이터를 수집하여 관계형 데이터베이스에 저장하고, 이를 조회/수정/삭제하는 간단한 웹 애플리케이션을 개발합니다.
    • 사용할 수 있는 기술: Python, Flask, PostgreSQL, MySQL, HTML/CSS/JavaScript
  2. 블로그 플랫폼 개발
    • 사용자가 게시물을 작성하고 읽을 수 있는 블로그 플랫폼을 개발합니다. 사용자 인증, 게시물 작성, 게시물 수정/삭제 등의 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Django, PostgreSQL, HTML/CSS/JavaScript
  3. 온라인 설문 조사 애플리케이션
    • 설문 조사를 만들고 참여할 수 있는 온라인 설문 조사 애플리케이션을 개발합니다. 설문 조사 생성, 응답 수집 및 결과 집계/시각화와 같은 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask, MongoDB, HTML/CSS/JavaScript
  4. 자료 관리 시스템 개발
    • 사용자가 파일을 업로드, 다운로드, 삭제할 수 있는 클라우드 기반의 자료 관리 시스템을 개발합니다. 사용자 인증 및 파일 관리 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask, SQLAlchemy, PostgreSQL, Amazon S3, HTML/CSS/JavaScript
  5. 실시간 채팅 애플리케이션
    • 사용자가 실시간으로 메시지를 주고받을 수 있는 채팅 애플리케이션을 개발합니다. 사용자 인증 및 채팅 데이터 저장 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask-SocketIO, PostgreSQL, HTML/CSS/JavaScript, WebSocket
  6. 지출 관리 애플리케이션
    • 사용자가 자신의 지출 내역을 기록하고 분석할 수 있는 웹 애플리케이션을 개발합니다. 카테고리별 지출 내역 입력 및 월별 지출 통계 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Django, SQLite, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등)
  7. 식당 리뷰 웹 사이트
    • 사용자가 식당 정보를 조회하고 리뷰를 남길 수 있는 웹 사이트를 개발합니다. 사용자 인증, 식당 정보 입력/수정, 리뷰 작성 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask, PostgreSQL, HTML/CSS/JavaScript, Google Maps API
  8. 이슈 트래커 시스템
    • 프로젝트의 이슈와 태스크를 관리할 수 있는 웹 기반 시스템을 개발합니다. 이슈 생성/수정/삭제, 상태 변경, 담당자 지정 등의 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Django, PostgreSQL, HTML/CSS/JavaScript
  9. 오픈 데이터 분석 및 시각화
    • 공공 기관이 제공하는 오픈 데이터를 활용하여 특정 주제에 대한 분석 및 시각화를 수행하는 웹 애플리케이션을 개발합니다. 데이터를 처리하고 분석한 결과를 대시보드 형태로 제공합니다.
    • 사용할 수 있는 기술: Python, Pandas, Flask, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등)
  10. 도서 대출 관리 시스템
    • 도서관의 도서 대출 및 반납을 관리하는 웹 애플리케이션을 개발합니다. 도서 정보 및 사용자 정보 입력, 대출 및 반납 기록 관리 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask, SQLAlchemy, PostgreSQL, HTML/CSS/JavaScript
  11. 지진 데이터 분석 및 시각화
    • USGS(미국 지질 조사국) API를 사용하여 최근 지진 데이터를 수집하고, 데이터 분석 및 시각화를 수행하는 웹 애플리케이션을 개발합니다.
    • 사용할 수 있는 기술: Python, Pandas, Flask, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등), USGS API
  12. 경매 웹 사이트
    • 사용자가 상품을 올리고 입찰을 할 수 있는 경매 웹 사이트를 개발합니다. 상품 등록, 입찰, 낙찰 및 거래 완료 등의 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Django, PostgreSQL, HTML/CSS/JavaScript
  13. 건강 관리 애플리케이션
    • 사용자의 건강 데이터(운동량, 식단, 수면 패턴 등)를 기록하고 분석할 수 있는 웹 애플리케이션을 개발합니다. 건강 데이터 입력 및 시각화 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask, PostgreSQL, HTML/CSS/JavaScript, 데이터 시각화 라이브러리 (D3.js, Chart.js 등)
  14. 텍스트 분석 및 감정 분석 웹 서비스
    • 사용자가 입력한 텍스트의 키워드 분석, 감정 분석 등의 자연어 처리 작업을 수행하는 웹 서비스를 개발합니다.
    • 사용할 수 있는 기술: Python, NLP 라이브러리 (NLTK, spaCy, TextBlob 등), Flask, HTML/CSS/JavaScript
  15. 이메일 마케팅 자동화 시스템
    • 사용자가 이메일 리스트를 관리하고, 이메일 캠페인을 생성하여 발송하는 웹 애플리케이션을 개발합니다. 이메일 발송 결과 통계 및 분석 기능을 구현합니다.
    • 사용할 수 있는 기술: Python, Flask, PostgreSQL, HTML/CSS/JavaScript, 이메일 발송 API (SendGrid, Mailgun 등)

 

 

더 생각나면 추가!

 

지금 당장 해보고 싶은 것은

1. 개인용 관계형 데이터베이스 구축

 -> https://parkpakrsu.tistory.com/227

 

주간책톡(부산 도서관) 크롤링 -5 페이지를 순회하며 크롤링

이제 요약이 있는 링크들을 순회하며 크롤링 할 차례다. link열의 내용을 하나씩 출력이 되는 것을 확인하고, book_summary = driver.find_element(By., "book_summary") class = "book_summary" , id = "bookSummary" . class 를

parkpakrsu.tistory.com

책의 요약정보를 크롤링 했으니 이를 내 데이터베이스로 만들기

 

2. 내 경력기술서나 포트폴리오 전용 레쥬메 블로그 ?

 

9. 오픈 데이터 분석 및 시각화

 pandas, seaborn 쪽 연습에 좋을듯.

 

13. 내 워치랑 연동해서?

 

14. 내 평소 카톡 분석

 

 

 

728x90