jaegom's study room

create database testdb; create user 'name'@'localhost' identified by 'pw'; 인 상태 , * 특정 사용자에게 부여된 모든 권한 목록을 확인 show grants for 'name'@'localhost'; * 특정 사용자에게 부여된 권한 확인 * show grants for '사용자이름'@'로컬호스트일경우 로컬호스트'; * 특정 사용자에게 어떤 데이터베이스에 대한 모든 권한 부여 * grant all on database.* to 'username'@'localhost'; * 특정 사용자에게서 어떤 데이터베이스에 대한 모든 권한 회수 * revoke all on databasename.* from 'username'@'localhost';

* 사용자 정보는 mysql 데이터베이스 에서 관리하므로 일단 mysql 데이터베이스로 이동 후 조회 * mysql 데이터 베이스에서 , 호스트와 유저정보를 유저 테이블에서 조회한다 * 유저 생성하기 create user 1. 현재 pc 에서만 접속 가능한 사용자 create user 'username' @ 'localhost' identified by 'password' 2. 외부에서도 접속 가능한 사용자 -> localhost 대신 % create user 'username' @ ' % ' identified by 'password' 이후 조회 시 생성된 유저 확인 가능 * 유저 제거하기 drop user * 다시 유저 조회 시 추가했던 계정들 제거 확인

show databases; create database database_name; drop database database_name; use database_name; ** mysql 경로를 설정했었다 ** mysql -u root -p 의 뜻 > (path/)에 있는 mysql을 실행하는데, -u 유저로 root 권한을 가지고 접속하고 -p 비밀번호를 입력할 것이다 ** 명령어들 , 항상 명령어 끝에 + ; * show databases; -> 현재 생성된 데이터베이스들을 출력한다, 그리고 항상 데이터 베이스는 프로젝트 별로 생성될 것 * create database database_name; -> 데이터베이스_name이란 데이터베이스를 만든다 이후 다시 show databases 로 만들어낸 tes..

** 데이터베이스란? 여러 사람이 공유하여 사용할 목적으로 체계화 하여 통합, 관리하는 데이터의 집합체 ** DBMS ( 데이터베이스 + Management System ) 사용자와 데이터베이스 사이에서 요구에 따라 정보를 생성해주고 관리해주는 소프트웨어 ** RDBMS , 관계형 데이터베이스 서로간에 관계가 있는 데이터 테이블들을 모아둔 데이터 저장공간 ** SQL 이란? ( Structured Query Language ) -> 구조화된 질의 언어 데이터베이스에서 데이터를 정의, 조작, 제어하기 위해 사용하는 언어 ** SQL의 구성 * 데이터 정의 언어 , DDL , Data Definition Language > Create, Alter, Drop **** 데이터 조작 언어, DML , Data ..

https://dev.mysql.com/downloads/mysql/8.0.html MySQL :: Download MySQL Community Server Select Operating System: Select Operating System… Microsoft Windows Ubuntu Linux Debian Linux SUSE Linux Enterprise Server Red Hat Enterprise Linux / Oracle Linux Fedora Linux - Generic Oracle Solaris macOS Source Code Select OS Version: All Windows (x86 dev.mysql.com * mysql 공홈에서 community server 버전을 다운로드 한다..

* 빅데이터의 정의 - 위키피디아 : 기존의 소프트웨어로 처리하기에는 너무 크거나 복잡한 데이터를 분석하고 체계적으로 정보를 추출, 처리하는 방법을 다루는 분야 - 국가전략위원회 : 대용량 데이터를 활용, 분석하여 가치 있는 정보를 추출하고 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술 - 삼성경제 연구소 : 기존의 관리 및 분석 체계로는 감당할 수 없을 정도의 거대한 데이터의 집합으로 대규모 데이터와 관계된 기술 및 도구 ( 수집,저장,공유,검색 분석, 시각화 등)을 모두 포함하는 개념 ** 빅데이터의 등장 배경 - ICT 인프라의 고도화 및 성숙 - 소셜 네트워크에 기반한 대규모 데이터 - 기업의 축적된 자산데이터, 이를 활용한 분석 수요의 증가 ( 기업이 보유하고 있..

** 모듈화 프로세스 1. url 생성 > 2. 테스트 페이지 수집 ( 서식 맞추기 ) > 3. 본 수집 > 4. 데이터 가공 > 5. 필요한 형태로 저장 1. url 생성 * 우선 모듈화 이전에, 네이버 개발자 페이지에서 정보 수집을 원하는 종목의 파라미터들을 확인한다 딱 요청 변수만 봤을때, 어떤식으로 집어 넣어야 하는지 감이 안온다. 예시를 보면, 요청해야 할 url 이 어떤식으로 구성되어 있는지 알 수 있다 base url ~ search/ + shop(네이버 쇼핑) + ?query= + 인코딩된 검색어 + &display= ~ .... 각 항목마다 앞에 &가 붙고, 디스플레이 ..

** Documents > 서비스 API (목적에 맞는) > 언어 선택 ( 예제는 검색 ) ** 전체적인 구조 ( 위의 예시 코드 ) * 영화 , 카페 , 쇼핑 등 정상 출력

https://developers.naver.com/main/ NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com * id 와 비밀번호 확인이 필요하니, 해당 정보들을 저장해놓거나, 개발자 센터 홈페이지는 즐찾이 편하다 * API 를 사용해보는 것이니, 웹 환경에 로컬 주소만 등록해놓는다 * 각종 API 별 호출 제한 * 예제는 네이버에서 제공 , 파이썬 예제도 제공 https://developers.naver.com/docs/serviceapi/datalab/search/search...

** Xpath // : 최상위 엘리먼트 표현 * : 자손 태그를 검색해라 -> div form / : 자식 태그를 검색해라 -> div > form * xpath 와 css selector 에서 자식 태그 표현 방법 xpath = "//*[@id="asdf"/div/form/tbody/td[2]/button]" 이런 경우이면, td는 tbody 밑에 td이름을 가진 두번째 ~ css selector = "#asdf > div > form > tbody > td:nth-child(2) > button "nth-child(n)" n 번째 자식 태그 * find element_by ~ , find element_by ~ 단일 or 복수 태그

** 동적 크롤링을 연습해보자 * 우선 유투브로 이동해보자 * 현재 브라우저의 창 크기 구해보기 , driver.get_window_size() > 현재 셀레늄과 크롬 드라이버로 구동중인 브라우저의 창 크기에 따라서 값이 바뀐다. * 이외에도 * 스크롤 가능한 높이 가져오기 > 자바 스크립트 코드 실행(driver.execute_script) + return document.body.scrollHeight , 그러나 연습 케이스로 지정한 유투브에서는 0 ( 최상단 으로만 뜸 ) > 원래는 현재 페이지에서 가능한 스크롤 높이만큼 이동해야 하나, 현재 작동하지 않기 때문에 임의의 값 3,000으로 시행 > 페이지가 3000만큼 밑으로 이동됨. > 이동은 window.scrollTo(0,0) > 그리고 좌표 ..

** Beautiful Soup 만으로 , 즉 html 주소(문서)로만 해결할 수 없는 상황이 있다. 1. 접근할 웹 주소를 알 수 없을 때 2. 자바스크립트를 사용하는 웹페이지의 경우 ( 필요한 정보가, 해당 페이지 내에서 클릭이나 로그인 .. 등을 하여 찾아야 할 경우 ) ** Selenium ( 웹 브라우저 원격 조작 도구 ). > 페이지 내 스크롤, 문자의 입력, 화면 캡쳐 등등 다양한 기능을 시행할 수 있다 ** Selenium 을 사용하려면 > 파이썬 모듈 설치 > 크롬 드라이버 설치 ( 크롬 버전에 맞게 크롬드라이버도 버전 업데이트가 필요하다, 아니면 오류가 발생한다 ) > 앞 자리만 맞아도 우선은 큰 문제가 없다 ** 이후 selenium 에서 webdriver를 import ** 드라이버..