BOBO's Note

크롤링(Crawling) 크롤링이란, 웹상에 존재하는 컨텐츠를 프로그래밍으로수집하는 작업이다. Scrapy Scrapy는 Python 기반의 오픈소스 웹크롤링 프레임워크이다. Scrapy의 구성요소는 다음과 같다. Engine: 모든 구성요소간 데이터 흐름 관리 Scheduler: 엔진으로부터 request를 받아 큐에 저장하고 이후 엔진에 다시 반환 Downloader: 웹 페이지 fetch해서 엔진을 거쳐 스파이더에 반환 Spider: response를 파싱해서 아이템을 추출 Item Pipeline: 스파이더에 의해 추출된 아이템 처리 1. 스파이더로부터 엔진이 request를 받는다. 2. 엔진은 스케쥴러에 request를 등록하고 다음 request를 요청한다. 3. 스케쥴러는 엔진에게 requ..

Private Key Encrytion 개인키 암호화 기법은 송신자와 수신자가 동일한 키로 암호화 및 복호화하는 방법이다. 암호화와 복호화에 사용되는 키가 같아 대칭키 방식이라고도 하며, 이 키는 외부에 노출되면 안 되므로 비밀키 방식이라고도 한다. (+): 계산 속도가 빠르다. 즉, 암호화 및 복호화 속도가 빠르다. (+): 알고리즘이 단순하고 다양하다. (+) 파일의 크기가 공개키 기법보다 작다. (-): 사용자가 증가함에 따라 관리해야 할 키의 수가 많아진다. (모든 노드를 연결해야 하므로 n개의 노드가 있을 때, 개의 키가 필요하다. (-): 키의 분배 및 관리가 어렵다. 예) DES, AES Public Key Encryption 공개키 암호화 기법은 외부에 공개된 키(=공개키, Public K..

보호되어 있는 글입니다.