Data Science/Python4 Marimo 소개 (Jupyter Notebook의 강력한 업그레이드) Marimo란?Marimo는 Jupyter Notebook, Streamlit, ipywidgets 등의 기능을 결합한 100% 오픈소스 프로젝트로, 현재 10K 이상의 GitHub 스타를 보유한 인기 있는 개발 도구입니다. 🚀 Marimo의 주요 기능반응형 실행 (Reactive Execution) – 하나의 셀을 변경하면 관련된 셀이 자동으로 업데이트됨숨겨진 상태 없음 – 모든 실행이 결정론적이므로 디버깅이 용이함인터랙티브 UI 요소 – 콜백 없이 슬라이더, 테이블, 플롯 추가 가능Python 스크립트로 실행 가능 – CLI에서 파라미터화 가능하며 앱으로 배포 가능Git 친화적 – JSON 대신 .py 파일로 저장하여 코드 관리가 편리함💡 활용 예시Marimo는 데이터 과학, 머신러닝, AI 개.. 2025. 2. 24. Document AI 구축 방법 (feat. 오픈소스를 활용한 예제) Document AI 구축 방법Document AI는 문서를 자동으로 인식하고 처리하는 인공지능 기술로, OCR(광학 문자 인식), 자연어 처리(NLP), 머신러닝 등을 활용하여 문서 데이터를 자동화할 수 있습니다. 이번 글에서는 Document AI를 구축하는 방법과 예제 코드를 소개하겠습니다. 1. Document AI 구축 방법 Document AI를 구축하기 위해서는 다음과 같은 단계가 필요합니다. 📌 1) 데이터 준비 및 수집 Document AI가 처리할 문서를 준비합니다. • 스캔된 PDF, 이미지(JPG, PNG), 텍스트 파일 등 • 라벨링된 문서 데이터 (OCR 학습을 위한 데이터셋) 예제 데이터:✅ 영수증, 계약서, 신분증, 보험 청구서 등📌 2) OCR(광학 문자 인식) 적용 O.. 2025. 2. 24. [맥 OS] VSCode에서 Python 가상환경 프로젝트 만들기 (with pyenv, poetry 2.0.1) 맥 OS 환경에서 가상환경으로 pyton 버전과 패키지를 관리하기 위해 poetry를 이용한 프로젝트를 생성하고, VSCode IDE를 활용하기 위해 프로젝트를 셋팅하는 방법을 정리했습니다.poetry가 2.0.1로 업데이트 되면서 poetry shell이 플러그인으로 빠지면서 poetry shell로 해당 프로젝트의 가상환경 경로를 확인하기 위해서는 poetry 플러그인을 별도로 추가해야합니다. 1. pyenv 설치 및 Python 버전 관리 1.1 Homebrew로 pyenv 설치1) 터미널에서 아래 명령어를 실행하여 pyenv를 설치합니다.brew install pyenv 2) 설치확인pyenv --version1.2 pyenv 초기화1) ~/.zshrc 또는 ~/.bash_profile 파일에 .. 2025. 1. 17. Hive + Python + VirtualEnv Hive + Python + VirtualEnvHive 쿼리에서 TRANSFORM, MAP/REDUCE 명령어를 사용하면 표준 입/출력을 통해 데이터를 처리할 수 있다.이걸 이용해 Python 스크립트로 데이터 처리를 해왔었는데 몇가지 귀찮은점이 있었다.모든 노드에 같은 버전의 파이썬을 설치해줘야 한다.모든 노드에 같은 파이썬 의존성 패키지를 설치해줘야 한다.모든 노드에 내가 작성한 파이썬 패키지를 배포해놓아야 한다.Hive의 ADD FILE 명령어와 VirtualEnv를 사용하면 이런 작업을 좀 더 간단하게 할 수 있다.위 스크립트는 url.txt에서 주소 하나를 가져와 requests 라이브러리를 사용해 데이터를 긁어와 반환하는 스크립트이다.특별한 의미는 없고 1. 스크립트가 사용하는 데이터 파일이 .. 2014. 9. 10. 이전 1 다음
