Ziks

여러 오픈소스들을 조합하여 실시간 처리를 할 수 있는 구조 효율적인 방식으로 대량의 데이터를 처리할 수 있는 데이터 처리 기술 폴리글랏 프로세싱이라고도 함 Speed Layer + Batch Layer + Serving Layer의 3계층으로 구성된 실시간 아키텍쳐 장점 지연 시간 감소 높은 처리량, 낮은 대기 시간 (= 실시간) Batch Layer 데이터를 단위(시간, 크기 등) 만큼 잘라 처리한다. immutable data set의 성질을 갖는다. 모든 새로운 Data Stream은 Data Lake 위에서 처리됨 메모리 데이터베이스(ex. Redis)나 NoSQL기반 데이터베이스를 사용하여 Data Lake에 저장하는 경우 MapReduce / Machine Learning 을 사용, 데이터 처..

12345678910import randomclass shortener: token_size = 5 def __init__(self, token_size = None): self.token_size = token_size if token_size is not None else 5 def issue_token(self): letters = string.ascii_letters return ''.join(random.choice(letters) for i in range(self.token_size))cs token_size ⇒ 우리가 사용할 랜덤 스트링 토큰의 사이즈 issue_token(self) string.ascii_letters [A-Z],[a-z] 까지의 String 전체를 끌어오고 '&#..

딥러닝 학습에 필요한 이미지 데이터를 모으기위해 시도했다. BeautifulSoup4와 Selenium으로 시도했지만, 구글은 이미지 검색시에 20개정도를 보여주고 스크롤하여 내려야 새로운 데이터들이 업로드 되었다. 이는 너무 불편했기에 ㅠㅠ.. iCrawl Docs : https://icrawler.readthedocs.io/en/latest/builtin.html#search-engine-crawlers 찾아보니 iCrawler API 를 이용하기로했다. iCrawl API는 사용방법이랄것도 없이 간단하기에 코드를 내가 사용할 목적에 맞게 검색엔진을 import해와 수정하면 끝! 다만, 단순히 단어로 검색되다보니 데이터의 100번째 인덱스까지는 어느정도 맞지만 그 후의 파일을 확인하면 엉망진창 ㅠㅠ ..