jaegom's study room

** bs4 에서 Beautiful Soup import 하기 ** 웹 페이지가 아닌 , 로컬 html 파일을 열어보는 것이기 때문에 open, 'r' 사용 후.read() ** 열고자 하는 html 파일을 read해준 후, BeautifulSoup(파일,"html.parser")로 파싱해주어야 한다. ** 이후 print(파싱된 파일.prettify()) 메쏘드로 들여쓰기를 적용해서 깔끔하게 확인해 볼 수 있다 ** 태그로 내용 찾기 파싱된 파일.태그 ** 헤드, 바디, p 태그 등등 ** convert.find 와 convert.find_all > find는 처음 하나의 태그 > find all 은 모든 태그 , 리스트 형태로 반환함 ( 가져온 데이터에서 텍스트를 출력할때 오프셋[0]인덱스로 찾는다 ..

1. 위치정보가 json 파일로 있을 경우 2.위치정보가 없는 경우 1. 위치정보가 json 파일로 있을 경우 > 지도에 표시할 데이터를 읽어온다 > geodata = "/~.json" json 파일의 경로를 읽어준다 > 중첩할 데이터를 설정한다 > 중첩할 데이터에서 필요한 컬럼들 (범주, 수치)를 가져온다 > 끝. 2.위치정보가 없는 경우, 일일이 마커 찍기 등 재밌어 보이는 데이터 셋을 가져왔습니다. 흡연부스하려다가 한국전력공사의 낙뢰관측 정보로 선회 https://www.data.go.kr/data/15083360/fileData.do 한국전력공사_낙뢰관측 정보_20181031 한국전력공사가 보유한 낙뢰감시기를 통해 관측된 낙뢰 발생 지점의 경도, 위도별 정보(시간 위도 경도 크기 컬럼 보유) ww..

** folium 이란? : 지도 시각화 툴 > 굉장히 많은 지도 시각화 도구들이 있다 > 현재로서는 사용의 편의성이나 기능 개선이 좋아서 만족도가 높은 툴이다. > 기본적으로 크롬 브라우저에서 동작이 가장 좋다 ++ 그때 그때 툴들은 달라질 수 있으니, 빠르게 공부해서 사용할 수 있어야 한다..... 그래도 시간은 언제나 모자라다!! * conda install -c conda-forge folium 으로 인스톨 추천해서 관리하는 것을 추천하나, 요즘은 파이썬에서 바로 * pip install folium 해도 문제가 없다 ** 기본적으로는 그냥 위도 경도를 알려주면 해당 위치를 보여준다 ** 위도와 경도란? 위도 : 적도를 기준으로 북쪽 혹은 남쪽으로 얼마나 떨어져 있는가를 나타내는 지표. 경도 : ..

++++++++++++++++++++++++++++++++++++++++++++ 문자 대응 코드 ++ import matplotlib.pyplot as plt from matplotlib import rc # 한글깨짐 및 마이너스 기호 표시하기 위해 import seaborn as sns plt.rcParams["axes.unicode_minus"] = False rc("font",family="Arial Unicode MS") get_ipython().run_line_magic("matplotlib", "inline") ++++++++++++++++++++++++++++++++++++++++++++ 문자 대응 코드 ++ ** seaborn은 import 하는 것만으로도 matplotlib에 효과를 준다..

* 구별 데이터를 통해 위도 경도 정보와 속해있는 구 정보를 가져오자 * 우선은 구글 맵 사용, API 키 인증 , 이후 정상작동 여부 테스트 시행 > 출력된 결과물을 보니 전체 결과 크기가 1인 list 형이다. 인덱스[n]로 접근하자 -> tmp[0] > 리스트 안에는 딕셔너리형으로 구성되어 있다. > 딕셔너리형에서 데이터를 얻는 get 명령을 사용하자 > 지정된 주소 서식과 위도 경도를 추출해보았다. * 이제 각기 경찰서 이름에서 소속된 구이름을 어자 * 구 이름과 위도 경도 정보를 저장할 준비를 해야 한다 * 반복문을 통해 위도 경도 정보를 저장할 칼럼의 값을 채워준다

* 원라인 커맨드 : 한 줄짜리로 for문을 써보자 + [ ] 를 통해 리스트 안에 집어넣는 기능도 포함 * iterrows() 옵션 > pandas 데이터 프레임은 대부분 2차원이라서 for문은 가독률이 떨어진다. -> iterrows() 옵션 사용 > 받을 때, 인덱스와 내용으로 나누어 받는 것 주의 + ) 업데이트

** 이전 게시글 pip install의 연장선으로, conda 설치 채널을 통해 구글 맵스 api 모듈을 설치해보자 > 검색창에 conda install googlemaps 라고 치면 대충 상위 검색페이지에 채널이 나와있다. https://anaconda.org/conda-forge/googlemaps Googlemaps :: Anaconda.org Description Use Python? Want to geocode something? Looking for directions? Maybe matrices of directions? This library brings the Google Maps API Web Services to your Python application. Analytics anac..

** pip 명령이란? > 파이썬의 공식 모듈 관리자 > pip list : 현재 설치된 모듈 리스트 반환 > pip install module_name : 모듈 설치 > pip uninstall module_name : 설치된 모듈 제거 > module dependency 문제도 있고 하여 따로 각각 설치를 해야할 필요도 있다. ** 실행 방법 > !pip ~ command ! 명령은 OS 차원에서 명령어를 수행한다 > get_ipython().system("command") 두 명령어 모두 동일하게 수행되고 있으나, 환경에 따라서 모듈을 관리하는게 맞을 것이다. > conda 환경의 경우 conda list : 설치된 모듈 list conda install module_name : 모듈 설치 cond..

** 구성은 pd.pivot_table(data= , index, columns, values, aggfunc) 로 이루어짐 data.pivot_table( , , ,) 도 동일 * index -> 기준 (인덱스) * values -> 보고싶은 값 ( 결과 ) * column -> 지정하게 되면 전체 칼럼이 아닌 지정한 컬럼의 범주가 컬럼이되며, 그에 해당하는 벨류들이 출력된다 * aggfunc -> 수행할 연산 ( 함수 , len 등도 사용 가능 ) + fill_value=0 옵션을 사용하면 NaN 값이 지정한 옵션대로 출력된다 + 멀티 인덱스도 설정 가능하다 ( 두 개 이상의 index와 values 값도 설정 가능하다 ) > 인덱스 안에 string data type으로 넣어준다 df.pivot_t..

************************************************************************************************************ INDEX ** 매트플롯라이브러리란 ? ** matplotlib 예시 ** 그래프 옵션들 총 정리 ** np.polyfit() , np.poly1d() , np.linspace()로 그래프에 1차 직선 그리기 ** 그래프에 경향(식)과의 오차 표시하기 ************************************************************************************************************ ** 매트플롯라이브러리란 ? > 파이썬의 대표 시각화 도구 > matp..

*** 단계별 목표와 의의 1. 서울시 구별 cctv 현황 , 인구 현황 데이터 확보 2. cctv데이터와 인구 현황 데이터 합치기 3. 데이터 정리 및 정렬 : python , pandas 4. 그래프 그리기 : matplotlib 5. 전반적인 경향(트렌드) 파악 : regression - Numpy 6. 그 경향에서 벗어난 데이터를 강조하는 능력 : insight ** 서울시 열린 데이터 광장에서 필요한 데이터 구하기 http://data.seoul.go.kr/dataList/OA-2734/F/1/datasetView.do ** 자료 불러오기 개인환경에서는 csv파일이 cp949로 인코딩 되어있음 윈도우에서는 UTF-8일 것임 0번째 행을 제외하고 1번째 행부터 자료를 불러와서 cctv_seoul ..

************************************************************************************************************ INDEX ** 판다스 패키지란 ? ** 판다스의 기본 데이터형들 ** 위치에 따른 인덱스,칼럼 추출 ** 조건에 따른 인덱스,칼럼 추출 ** del과 Drop ** 데이터 프레임 병합 ( merge, concat, join ) ** 편리한 함수들 ************************************************************************************************************ ** 판다스 패키지란 ? ** pandas로 csv, 엑셀 파일 읽기 : ..