관리자 0 855 0 0


 

핵심은 크롤링입니다.

딱히 파이썬에 대해 공부를 한건 아니고,

https://wikidocs.net/6 

위 내용 한번 정독하고,

개발하면서 기억이 안나는건 다시 찾아보고, 라이브러리 검색은 구글로 해서 꾸역꾸역 구현해 보았습니다.

 

처음에는 파이썬 자체에서 크롤링을 시도했습니다.

하지만 이 프로그램을 다수가 사용하는 경우, 각 프로그램에서 뉴스를 크롤링하는것이 아주 비효율적이다 라는 생각을 하게 되었습니다.(하루를 그냥 소모해 버림)

그래서 다시 로직을 변경했습니다.

 

순서는 아래와 같습니다.

1. 프로그램에서 API 서버를 호출(제가 만든 서버입니다.)

2. API 서버에서 뉴스를 크롤링하여 데이터베이스에 저장을 함.

3. 프로그램에서 API 서버에 접속하여 뉴스를 가져옴.

 

이렇게 하면 수집은 API 서버에서 하게되고, 프로그램에서는 API 서버에 접속하여 뉴스를 가져오기만 하면 된다.

다수의 유저가 사용할 수도 있기 때문에, 로컬DB가 아닌 제 API 서버의 mysql 데이터베이스를 사용하기로 결정했구요. 

 

초단위로 공시뉴스를 실시간으로 계속 가져오게 개발했습니다.(현재 1초로 설정)

 

 

저장된 공시뉴스 데이터


 

Comments


제목 글쓴이
파이썬 공시뉴스 자동매매 프로그램 ver2.0 댓글 11 관리자
키움API, 나의 매수리스트 불러오기 관리자
Qt Designer XML 을 py 소스로 변경작업   관리자
관리종목 필터링 추가 관리자
파이썬 뉴스 자동매매, 매수리스트 완료 관리자
뉴스자동매매, 매수로직 적용완료 관리자
실시간 뉴스, 종목 키워드, 주문 설정, 매수 패턴 적용완료 관리자
종목코드 데이터베이스에 저장 관리자
파이썬을 이용한 뉴스매매 ver2.0 실시간 뉴스 + 주문설정 페이지 제작완료 관리자
키움 API를 이용한 뉴스매매 ver2.0 개발시작 관리자
최종 완성본 이라기보다는 일단 프로토타입 완성 댓글 2 관리자
매수성공 관리자
매수 API가 안되길래 키움증권에 문의남김2. 관리자
매수 API가 안되길래 키움증권에 문의남김. 관리자
공시뉴스기사와 키워드 매칭작업 관리자
공시뉴스 초단위로 불러오기, 쓰레드 문제 해결 관리자
키움 로그인 창 띄우기 댓글 1 관리자
개발에 도움받은 페이지 목록 관리자
뉴스 크롤링 완료 관리자
파이참(PyCharm) 설치 관리자