데이터 엔지니어링 분야는 지속적으로 발전하고 있으며, 새로운 기술과 도구들이 생겨나고 있습니다. 2023년 데이터 엔지니어 로드맵을 기본적인 학습 경로와 주요 기술 및 도구를 업데이트하여 아래와 같이 정리할 수 있습니다. 기본 지식 및 소양 컴퓨터 과학 및 프로그래밍 기본 지식 데이터 구조 및 알고리즘 운영 체제 및 네트워킹 데이터베이스 및 SQL 분산 시스템 기본 개념 프로그래밍 언어 Python Java 혹은 Scala SQL 선택적으로: Go, JavaScript, R 데이터 모델링 및 설계 관계형 데이터베이스 NoSQL 데이터베이스 데이터 웨어하우스 데이터 레이크 스키마 설계 및 정규화 데이터 저장소 및 처리 관계형 데이터베이스: PostgreSQL, MySQL, Microsoft SQL Serv..

git checkout과 git switch 모두 브랜치 간 전환을 수행하는 Git 명령어다. 그러나 두 명령어 사이에는 몇 가지 차이점이 있다. git checkout = switch + restroe git checkout git checkout 명령어는 브랜치 전환(switch) 뿐만 아니라, 파일이나 커밋 간 이동을 수행하는 데 사용된다. 이로 인해 다양한 기능을 수행하는 데 사용되나, 때로는 혼동이 생길수 있다. 또 다른 기능으로 working tree 의 파일 수정을 복원하는 것이였다. get checkout -- README>md 작성을 하다가 수정사항을 롤백하고 이전에 커밋된 상태로 되돌리는 것이였다. 이전부터 2가지 기능을 하나의 명령어로 수행하다니?? 라는 의견이있어왔고 2.23 버전부..

보호되어 있는 글입니다.

import 는 다른 파이썬 파일을 참조할 때 사용한다. 만들어둔 .py 파일에서 import 해서 함수를 가져올 수 있다. 파이썬 기본 제공 라이브러리를 가져올 때 사용. os, glob, sys, functools 등등.. 이들은 파이썬 설치할 때 자동으로 같이 받아져서. 기본 paht 에 저장되어 있다. 또한 pip, conda install 로 받을수 있는 추가적인 라이브러리 파이썬은 과학/ 공학/ 통계 라이브러리들을 특화적으로 지원하는데 numpy, scipy, matplotlib, pandas 등등 그런데 import 하다보면 form 어쩌구 import 어쩌구 가 있는데 뭐냐.. import A : A.py의 전체를 가져오겠다. form A import B : A.py의 B 함수를 가져오겠다..

크롤링과 관련된 실제 법적 분쟁 사례 https://zdnet.co.kr/view/?no=20170927180839 웹 크롤링(Web Crawling)은 인터넷에서 정보를 수집하는 프로세스다. 이를 통해 데이터를 모아 사용자에게 제공하거나, 분석을 위한 데이터셋을 만들 수 있다. 하지만 크롤링을 통해 데이터를 사용할 때 법적 이슈에 대해 주의해야 한다. 주요 법적 쟁점과 준수 방법 저작권 크롤링을 통해 수집된 데이터 중 저작권이 있는 컨텐츠를 사용할 경우 저작권 침해가 될 수 있다. 저작권 보호된 자료를 사용하려면 해당 저작물의 저작권자로부터 허락을 받거나, 정당한 사용을 주장할 수 있는지 확인해야 한다. 이를 위해 저작권자의 정책을 확인하고, 필요한 경우 허락을 구해야 한다. 데이터 보호 및 개인정보 ..

프로그래머스 한줄코딩빌런 같은 사람을 보면 부럽기도하다. 또 남이 쓴 람다나 컴프리헨션 형태의 코드를 보면 이게 이렇게 된다고..? 싶기도 하다.. 가독성 부분에서는 모르겠지만 떄로 실행속도가 향상 되는 경우가 있다고 하니 정리하며 다시 공부하도록 한다. 리스트 컴프리헨션(List Comprehension) 리스트 컴프리헨션은 파이썬의 강력한 기능 중 하나로, 기존의 리스트나 iterable(반복가능)한 객체(예: range)를 사용해 새로운 리스트를 생성하는 간결하고 효율적인 방법이다. 기본적으로 리스트 컴프리헨션은 특정 표현식을 적용한 결과를 기반으로 한 리스트를 만들어내며, 선택적으로 조건을 부여하여 원하는 요소만 포함시킬 수 있다. [expression for item in iterable if ..