[최종 프로젝트] Puppeteer 크롤링하기2<문자열 유사성 알고리즘>
진행 상황 저번에는 크롤링의 모든 뉴스를 가져오는것을 진행했다. 하지만 이번 프로젝트에서 해결해야하는 부분은 가져온 게시글들 중에서 중복된것들을 최대한 정리를 해야했다. 1 "강동구 살인예고 10대 남성, 구속영장 기각" 2 "여고 칼부림 협박글 10대 男 구속영장 기각…“사유 불충분”" 3 '"여고서 칼부림 한다" 글 작성한 10대 남학생 구속영장 기각' 4 "'여중·여고 칼부림 예고' 글 작성한 10대 구속영장 '기각'" 5 "여고 칼부림 협박글 10대 구속영장 기각…'사유 불충분'" 6 "'강동구 여중·여고 칼부림 예고' 10대 구속영장 기각" 7 "'코인 싸게 판매'로 유인…돈 받고 폭행·도주한 간 큰 20대 10명 검거" 위 7개는 1번째부터 7번째의 뉴스의 타이틀이다. 뉴스는 한 미디어에서만 ..
[최종 프로젝트] Puppeteer 크롤링하기 1
Puppeteer | Puppeteer build pptr.dev GitHub - puppeteer/puppeteer: Node.js API for Chrome Node.js API for Chrome . Contribute to puppeteer/puppeteer development by creating an account on GitHub. github.com -- puppeteer 크롤링을 고르게된 이유 python에서는 selenium이 유명하다 selenium은 크롬에서 뿐만 아니라 다른브라우저에서 사용가능하다. node에서는 puppeteer라고 한다. puppeteer는상대적으로 빠른 속도를 자랑한다. 하지만 크롬에서만 사용이 가능하다. 나의 상황 뉴스의 정보를 끌어와야함. 네이버로 치면 ..
# reusable.yaml name: Reusable workflow on: workflow_call: inputs: artifact-name: description: The name of the deployable artifact files required: false default: dist type: string outputs: result: description: The result of the deployment operation value: ${{ jobs.deploy.outputs.outcome }} 우리는 재사용 가능한 것은 따로 빼두어 재사용 하여 코드의 가독성을 높이고 효율성을 높여야 한다. github action에서도 마찬가지로 yaml파일에서 할수 있도록 하였다. 가져다 쓸 부분..