전체 글1 웹 데이터 스크래핑 (크롤링) - 브라우저 차단을 피하는 방법 웹 데이터 스크래핑 (크롤링) - 브라우저 차단을 피하는 방법안녕하세요, 오늘은 제가 우연히 찾은 웹 스크래핑에 특화된'웹 스크래핑 전용 브라우저'를 소개하려고 합니다. 저는 딥러닝을 활용해 이미지를 분석하는 서비스를 만들고 있습니다. 그런데 문제는, 딥러닝 모델을 학습시키려면 엄청난 양의 이미지 데이터가 필요하다는 것이죠. 처음에는 웹에서 직접 수집해보려 했으나, 웹 스크래핑 과정에서 자주 차단 당하는 문제가 발생했습니다. 그런데 우연히 제가 필요로 하는 기능 들을 모두 가지고 있는 웹 스크래핑 전용 브라우저를 발견하게 되어 소개 해보려 합니다.* 웹 스크래핑 vs 웹 크롤링 웹 크롤링은 특정 웹 페이지를 목표로 하지 않고, URL을 탐색해 반복적으로 링크를 찾아 정보를 수집하는 과정입니다. 반면, 웹.. 2023. 9. 24. 이전 1 다음