jaegom's study room

* 웹페이지 url에 한글이 들어가 있을 경우, url 주소를 복붙하게 되면 이상한 문자들로 변형이 된다.. * 웹주소가 utf-8 기법으로 인코딩되어 있는데, 그것이 풀어지기 때문이다. ** 그럴땐 utf-8 인코딩 해제 시 문제가 발생할 여지가 있는 한글문자들을 변환하면 된다. ** urllib.parse.quote("해당문자")를 통해서 인코딩이 가능하다 * 예제는 프롬 소프트웨어의 갓겜 엘든링으로 한다. 아직 사놓고 1시간 밖에 못했다.. ** 이후 해당 url을 requests(요청) 해주고 , 요청한 자료의 url을 오픈해서 response를 수신한다 ** 수신한 페이지를 html파싱 해준다. ++ 간혹 페이지에 따라서 http response 403 을 수신할 때가 있다. req = Requ..

** request : 요청 ** response : 응답 웹 상호작용 url 요청 -> 요청 확인 및 응답 -> 브라우저에서 응답 내용 확인 # http 상태 코드 # 세부적인 상태 코드는 여기서 확인해 볼 수 있다 https://developer.mozilla.org/ko/docs/Web/HTTP/Status ** open_url.stats() 로 respond 확인, 200번대라서 정상 응답이 수신된 것을 확인할 수 있다. ** url.status 말고 requests 모듈의 .get()으로 응답을 확인해볼 수 있다. ** requests.get() "href"같은 속성값 가져오기 ** requests.post() ** requests(url) 에도 이미 .text .content 로 내용을 확인해..

** 네이버 금융에서 환전 고시 환율정보 가져오기 ** 불러올 페이지 요소 확인하기 -> 미국 usd ** 우측 옵션에서 막대기 클릭 > 도구 더보기 > 개발자 도구 선택 ** safari 등에서도 개발자 옵션에서 페이지 소스 보기 / 개발자 모드 선택하면 동일함 ** 검사할 페이지 요소 선택 버튼을 누르고 , 확인하고자 하는 소스가 있는 곳에 마우스를 오버레이 하면 ** 우측에서 해당 소스코드의 태그와 속성 텍스트를 확인해볼 수 있음 ** 우선 url을 open 하려면 , url request 를 보내야 한다 from urllib.request import urlopen from bs4 import BeautifulSoup 필요한 모듈 호출 이후 url을 가져와서 변수=urlopen() 변수를 호출하면..

: html 로 만들어진 웹 문서 웹 페이지 제목 브라우저의 검색창에 해당 텍스트가 표시된다 > 네이버 역시 NAVER 네이버가 본 위치에 표시된다 만약 태그의 값을 바꾸면 , 저 위의 값도 바뀐다 태그 : paragraph로 , html 문서 내의 텍스트 태그 : href로 링크를 삽입하는 태그 , target=blink 옵션 시 새창에서 열림 cmd s(save) 로 저장후 html 페이지 refresh를 하면 다음과 같이 페이지가 수정되어 있다. 하이퍼링크 클릭시 이동됨 이외에도 bold , itallic 등 , 추가적인 문법은 필요할때 찾아서 쓰자.

* 터미널에서 homebrew 설치 > install homebrew 경로 입력 > pw 입력 > 설치 완료 * homebrew로 vs code 설치 terminal 에서 바로 brew install visual-studio-code January 2022 (version 1.64) 버전이 설치됨 * vs code > 복잡해 보여도 굉장히 많은 쓰임새가 있다 > 윈도우 환경을 좋아하지 않는 사람들도 vs code의 경우는 괜찮다고 생각하는 편인것 같다 * vs code 실행 > terminal open > code > folder 작업경로에 지정 > python 작업을 할것이니, 확장프로그램으로 extension : python 을 설치 > 이후 cmd + shift + p + search"select ..

** bs4 에서 Beautiful Soup import 하기 ** 웹 페이지가 아닌 , 로컬 html 파일을 열어보는 것이기 때문에 open, 'r' 사용 후.read() ** 열고자 하는 html 파일을 read해준 후, BeautifulSoup(파일,"html.parser")로 파싱해주어야 한다. ** 이후 print(파싱된 파일.prettify()) 메쏘드로 들여쓰기를 적용해서 깔끔하게 확인해 볼 수 있다 ** 태그로 내용 찾기 파싱된 파일.태그 ** 헤드, 바디, p 태그 등등 ** convert.find 와 convert.find_all > find는 처음 하나의 태그 > find all 은 모든 태그 , 리스트 형태로 반환함 ( 가져온 데이터에서 텍스트를 출력할때 오프셋[0]인덱스로 찾는다 ..

*** 단계별 목표와 의의 1. 서울시 구별 cctv 현황 , 인구 현황 데이터 확보 2. cctv데이터와 인구 현황 데이터 합치기 3. 데이터 정리 및 정렬 : python , pandas 4. 그래프 그리기 : matplotlib 5. 전반적인 경향(트렌드) 파악 : regression - Numpy 6. 그 경향에서 벗어난 데이터를 강조하는 능력 : insight ** 서울시 열린 데이터 광장에서 필요한 데이터 구하기 http://data.seoul.go.kr/dataList/OA-2734/F/1/datasetView.do ** 자료 불러오기 개인환경에서는 csv파일이 cp949로 인코딩 되어있음 윈도우에서는 UTF-8일 것임 0번째 행을 제외하고 1번째 행부터 자료를 불러와서 cctv_seoul ..

** 머신러닝(Machine Learning) - 기계학습 > 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야 > 컴퓨터가 학습 모형을 기반으로 주어진 데이터를 통해 스스로 학습하는 것 ** 머신러닝은 Task 시행중 원하는 Performance를 달성하기위해 경험을 통해 성능을 개선시킴 1) 분석하고자 하는 목표 T(task)를 정의 -> 체스를 플레이하는 사건 2) Experience를 정의하기 위한 데이터를 수집 -> 체스 게임들의 경험 ( 경기 ) 3) Performance를 향상시키기 위한 Measure를 정의함 -> 다음 경기에서 프로그램이 이길 확률 ** 머신러닝의 갈래 - 지도 학습 ( supervised learning ) : label이 있는 데..

** 분석 프로세스는 어떻게 되어야 할까 ** 서비스로 부터 도출한 과제 정의 ** 데이터 수집 > 정의한 과제에 따라서 어떤 데이터가 필요한가? - 데이터 유형 정의 - 소스 데이터 수집 ( 있을 경우 sql 추출, 없다면 직접 수집 ) - 데이터 처리 및 가공 ( 분석할 수 있는 포맷으로 만들어 주어야 한다 , 더미처리 등 ) - 분석 데이터 가공 ( ) 데이터 수집 분석 설계 ( 원하는 결과가 나올때 까지 loop ) ** 데이터 분석 설계 - 분석 계획 수립 - 데이터 탐색 ( EDA ) : 데이터 수집 , 처리 및 가공에서도 데이터 특성을 알아내 처리 방법을 위해서 꼭 확인 (중앙값, 범위, 트렌드 등 ) - 데이터 특성(feature) 발굴 ( ex: 마케팅에 영향을 많이 받는 종속변수가 있다..

************************************************************************************************************ INDEX ** 시계열 분석이란? ** 시계열 데이터의 분류 ** 시계열 요소 ** 시계열의 종류와 분석 방법 ** 단순 시계열 ** 지수 평활법 ************************************************************************************************************ ** 시계열 분석이란? > time series analysis : 시계열(시간의 흐름에 따라 기록된 ) 자료를 분석하고 여러 변수들의 인과관계를 분석하는 방법 ** 시계열 데..

************************************************************************************************************ INDEX ** INTRO 와 실험계획에 대한 짤막한 내용 ** 분산 분석 ( analysis of variance ) ** 분산분석의 가설 설정 ** One-way ANOVA , 일원배치 분산분석 ** Two-way ANOVA , 이원배치 분산분석 ************************************************************************************************************ ** 킹치만 왜 평균차이 검정이 아닌 분산 분석을 할까? > t-test..

************************************************************************************************************ INDEX ** 단순 회귀 분석 이외에도 자주 쓰이는 회귀분석들 ** 다중 회귀분석 (multiple regression analysis ) ** 더미변수 ( dummy variables ) ** 변수 선택법 ( 전진, 후퇴, 단계적 선택 ) ** 다중공선성 문제와 VIF 분산팽창요인 ** 해결법 ************************************************************************************************************ ** 단순 회귀 분석 이..