(구) CGM – 천안 순천향 병원 협력

  • 2018-08-19
  • 2018-08-16
    • 요구 기능
      • 1. 가상 ID 환자 번호 리스트 드롭다운
        • 어차피 환자 몇 명 없으니, 그 환자에 해당하는 모든 정보를 빠르게 검색할 수 있는 기능이 필요
      • 2. 출력해야 하는 페이지
        • -로그인 페이지
          • 학교용 계정: id는 cslab, pw는 cslabm606
          • 병원용 계정: id는 chhospital, pw는 chdiabetes
        • -검색 페이지
          • quickSearch를 맨 위로 올릴 것
        • -새로운 페이지
          • Sensor Glucose 수치만 라인 그래프로 출력
            • 수치가 180초과일 땐 hyperglucaemia(고혈당) 표시를 차트 내부에 할 것
            • 수치가 70미만일 땐 hypoglycaemia(저혈당) 표시를 차트 내부에 할 것
            • 눈에 가장 잘 띄는 색으로 표시
            • 데이터 레이블 축을 눈에 잘 띄도록 올릴것
          • 환자의 실제 정보를 테이블로 같이 출력
            • 실제 환자 정보를 유추할 수 있는 patientID부분을 제거하고, 가상 ID로 치환하고 그 외에 모든 정보 테이블로 출력
          • 이 페이지내에서 어떠한 버튼을 눌렀을 시 기존의 페이지로 이동
        • -기존의 페이지
          • 모든 센서 데이터 수치 라인 그래프로 출력
            • 기존과 동일
          • 모든 센서 데이터 수치 테이블로 출력
            • 기존과 동일
      • 3. Elasticsearch
        • 환자 개인 정보
          • index: patient_id
          • type: doc
          • id: <가상 환자 ID> (예: 100, 101…)
          • 필드 및 예시정보: patient_id/doc/100
        • 환자 센서 정보
          • index: patient-<가상 환자 ID> (예: 100, 101…)
          • type: doc
          • id: 무작위 생성
          • 필드 및 예시정보: patient-100/doc/n0CgHWUByu8EQ-Qm6xHc

[18년도 춘계] 아파치 스파크 기반 도로함몰 빅데이터 분석 플랫폼

  • 2018-05-29
    • 발표자료 2차
  • 2018-05-14
    •  최종본
      • 어투 및 영어 일부 변경
  • 2018-05-14
    • 지하수 그리고 지열 관련 레퍼런스 삭제
      • 하수관로 건전도와 도로함몰 발생 상관관계 분석 논문 추가
  • 2018-05-11
    • 2차(오후 4시)
      • 함명수 과장 정보 추가 완료
      • Abstract에 구글맵 마커, 차트 라이브러리 이용했다는 문장 추가
      • 참고문헌 관련
        • 아파치 주키퍼 참고 문헌 삭제
          • 삭제하고 함명수 과장에게 받은 도로 함몰 관련 논문으로 대체
        • 지하 水 그리고 지열  주소 레퍼런스 대체 불가
          • 한국 지하수/지열 협회에서 나온 책인데 이 책을 다운로드 받기 위해선 회원 가입 필요
          • 회원 가입시 사업자 번호등을 요구해서 다운로드 사실상 불가능
          • 구글링 해봐도 찾을 수 없으므로 주소밖에 쓸 수 없음
    • ——————————————————————————————————
    • 1차 (오후 1시)
      • 카피 킬러 동작
        • 표절율 약 15%
          • 표절이라 뜨는 문장은 약력이나 참고문헌의 제목 등 의미 없는 부분
  • 2018-05-10
    • 3절에서 코드에 대한 설명은 자세히 하지 않아도 됨
      • 거기에 있는 사람들도 모두 다 알고있을 것
      • 이번엔 바꿀 필요는 없음. 다음 논문때 참고할 것
    • 요약(Abstract)
      • 뭐뭐 썼다 이런 나열하는걸 빼버리고 간단하게 쓸 것
      • 도로 파손의 연도별 지역별 원인별 분석결과를 시각화해 모니터링 한다는 내용을 추가
      • 200단어 안 나와도 됨
      • 한 마디로, 결과물 설명하는 것을 더 늘릴 것
    • 서론
      • 마지막 부분에 요약 부분에 추가하는 결과물을 조금 더 쓸 것
    • 오늘까지 함명수 과장에게 연락이 없으면 저자에서 빼고 진행할 것
  • 2018-05-09
  • 2018-05-08
    • 김동균 박사님과 수정한 논문
      • 키워드 교수님과 고민해보고 크게 고칠 내용 없음
      • 함명수 과장은 내일 (5/9) 수정본 보내주기로 함
    • 교수님 지도 사항 내역
      • 요약 부분에서 도로 관련 이야기 삭제, 3절에 있는 기술적 내용을 추가할 것
        • 비슷한 맥락에서 서론 마지막 부분에 3절에 있는 기술적 내용을 일부 추가해도 됨
      • 참고 문헌 추가
        • 1. Sence Egypt
        • 2. Internet of Things for Smart Cities
        • 3. 도로 관련 논문(함명수 졸업 논문)
      • 박사님 약력 축소
  • 2018-05-05
    • 도로함몰 영어로 Road sinking으로 정정
    • 참고문헌 추가로 넣을 것
      • 1순위
        • [참고문헌 삽입 완료]  Spark 관련 논문 : Apache Spark: A Unified Engine For Big Data Processing
        • [참고문헌 삽입 완료] Spark SQL 관련 논문 : Spark SQL: Relational Data Processing in Spark
      • 2순위
        • 스마트시티(매우 예전 논문일 것으로 예상), 도로/건설과 IT 접목된 것
          • [찾는중]
        • K-means 기계학습 관련 논문
          • K-평균 군집분석에 의한 한반도에서의 지진지체구조구 구분
          • K-평균 클러스터링을 이용한 네트워크 유해트래픽 탐지
      • 3순위
        • [참고문헌 삽입 완료] 람다 아키텍쳐 관련 논문: Apache Spark, Kafka 및 Cassandra를 이용하는 Lambda Architecture 기반 빅 데이터 분석 플랫폼 기술
        • [참고문헌 삽입 완료] Kafka 관련 논문 : Kafka: a Distributed Messaging System for Log Processing
        • [참고문헌 삽입 완료] Uber Taxi 블로그 링크
          • https://mapr.com/blog/monitoring-real-time-uber-data-using-spark-machine-learning-streaming-and-kafka-api-part-2/
      • 4순위
        • Vert.x의 비동기적 특성을 활용한 논문
          • [찾는중]
  • 2018-05-04
    • 5월 3일 교수님 지도 사항 내역
      • 결론부분에 ‘기후, 위치 등의 데이터를 분석하여 도로함몰 예상 지점을 예측하는 머신러닝…’ 언급할 것
      • 특별히 내용 부분에서는 큰 수정사항은 이제 없음
    • 다음 면담 때 봐주셨으면 하는 부분
      • 도로 함몰을 영어로…?
        • 일단 Road collapse로 했는데… 검색해도 정확한 답을 얻기 힘듭니다. 이 단어를 사용해도 될까요?
      •  요약(Abstract)
        • 맨 앞페이지에는 영문 요약을, 맨 뒷페이지에는 한글 요약을 적게 되어있습니다. 영문 요약의 제한 조건이 200 ‘단어’ (글자 아님) 이상이기 때문에 억지로 문장을 끼워넣은 부분이 많습니다.
      • 키워드(Keywords)
        • 키워드는 영어로 5단어 이상 작성해야 합니다. Apache Spark, Apache Kafka, Big data, Road collapse, Spark structured streaming, Spark SQL 을 적었습니다.
      • 소속과 약력
        • 맨 앞페이지에 김동균 박사님의 영문 소속, 맨 뒷페이지에 김동균 박사님의 한글 소속, 그리고 저자 3명 모두의 서술형태의 영문 약력 기입이 필요합니다.
      • 참고 문헌 갯수
        • 규정상 논문과 직접적으로 관련이 있는 참고문헌은 15편 이상 작성해야 한다고 합니다.  8개를 더 채워야 합..니다.
  • 2018-05-03
    • 5월 1일 교수님 지도 사항 내역
      • 서론 맨 마지막 부분에 설계 제안된 시스템은 스파크, 카프카 등을 사용했다는 말 언급할 것
        • 대개 이 내용은 요약부분에도 들어감
      • 시퀀스 다이어그램 수정
        • Web server 라는 말 대신 Vert.x service 로 수정할 것
        • 화살표에 써져있는 영어를 한글로 수정할 것
        • 화살표마다 번호를 붙여서 이 번호를 언급하면서 글을 전개할 것
        • Spark와 Vert.x가 Kafka 구독요청 하는것도 표현
          • 일반 화살표랑 구별되도록 다른 화살표 스타일 이용
      • 성능표 크기 줄여볼 것
      • 클러스터 표현 그림 그릴 것
        •                                
  • 2018-05-01
    • 어제(4/30) 교수님 지도 사항 내역
      • 출처(레퍼런스) 확실히 밝힐 것
        • 아직은 논문지의 규격대로 적지 못했으나 인용한 부분은 기입함
      • 시스템 구성도 자세하게
        • Spark, Kafka, 또 그 안의 모듈들 실제 이름 기입해도 문제 없음
      • 시퀀스 다이어그램 그릴 것
        • 사용자, 카프카, 스파크, 웹서버 등 막대로 그려볼 것
    • 오늘 박사님 지도사항
      • 서론 부분에 필요성을 강조할 때 구체적인 근거를 들 것 (=아예 다시 쓸 것)
        • 국가하수도정보시스템: https://www.hasudoinfo.or.kr/
        • 검색 키워드: 도로함몰, 싱크홀, 재난
      • 이론적 배경 부분을 전개할 때 내가 왜 이걸 쓸 수 밖에 없는지 강조할 것
        • 이런 기술의 이 부분이 매우 뛰어나기 떄문에 내가 쓸 수 밖에 없었다… 이런 방식
      • 시스템 구성도 그림
        • 데이터 흐름 화살표에 번호를 붙여서 구체적인 설명을 텍스트로 써보는 것 생각해보기
        • 정 시간이 없다면 이대로 가도 무방
      • 레퍼런스 많이 읽기
        • 웹 사이트 주소보단 논문을 찾을 것
  • 2018-04-30
    • 교수님 수정 요구한 파일
    • 수정 요구 사항
      • 출처(레퍼런스) 확실히 밝힐 것
      • 시스템 구성도 자세하게
        • Spark, Kafka, 또 그 안의 모듈들 실제 이름 기입해도 문제 없음
      • 시퀀스 다이어그램 그릴 것
        • 사용자, 카프카, 스파크, 웹서버 등 막대로 그려볼 것
      • 구성도와 시퀀스 다이어그램만 수정하면 무난히 진행할 수 있음
  • 2018-04-27
    • To Do List
      • 전체 시스템 구조도 그릴 것 (핵심)
      • 제목: Spark 기반 도로함몰 빅데이터 분석 플랫폼
      • 나중 이야기) 도로 함몰로만 국한하지 말고 일반화 시킬 것
        • 도로 함몰 대신 도로 관리 / 도로 유지보수 등의 일반화된 키워드를 이용할 것
          • 도로관리란 무엇인지도 조사할 것
      • 현재 기준으로
        • 람다아키텍처X
      • 이론적 배경
        • Spark, Spark Streaming, Kafka
        • 도로함몰 (서론이 될 수도 있음)
      • 본론
        • 시스템 구성도와 서비스 시나리오를 하나로 합치는것이 좋음
          • 서비스 시나리오가 별게 없기 때문임
          • MapR의 우버택시도 시스템 구성도와 서비스 시나리오와 합쳐진 것과 비슷
          • 이 구성도를 설명하는 것이 본론
            • Kafka -> JSON 형식으로 저장
          • 우버같은 곳에서 코드 보여주는 예시를 참고하거나 다른 논문 참고
      • 결론
        • 향후 머신러닝과 람다아키텍쳐 도입해서  실시간 분석을~~
        • 도로함몰 뿐만 아니라 일반 도로 유지 보수를 위한~~
    • 논문 검색 
      • 검색 키워드: sinkhole + spark => 스파크를 이용해 싱크홀 관련 데이터 처리한 것 없음
      • Spark와 Kafka등을 사용해 빅 데이터 처리한 비슷한 논문들
        • 1. Apache Spark, Kafka 및 Cassandra를 이용하는 Lambda Architecture 기반 빅 데이터 분석 플랫폼 기술 
          • 한국통신학회 2017년도 추계종합학술발표회
          • 단순히 빅 데이터를 처리하는 시스템 구조 제안만 있는 2페이지 논문
          • 데이터 소스 -> 카프카(수집) -> 스파크(분석/처리) -> 카산드라(저장) 구조
        • 2. Design of a Platform for Collecting and Analyzing Agricultural Big Data
          • 디지털콘텐츠학회논문지(JDCS) 2017년
          • Flume & MapReduce를 이용한 데이터 수집 -> Spark & Hadoop을 이용한 데이터 분석 -> HDFS & HBase & Hive를 이용한 저장
          •   
    • 이전 그림
      •  
  • 2018-04-17
    • <연구실에 발표된 논문을 읽을 것>
    • 제목: 모니터링 말고 분석으로?
    •  시나리오
      • 현 시점에서 과거 데이터는 MySQL DB에서부터 가져옴
      • 새로운 데이터는 실시간으로 입력함
        • -> 시스템 구성도에서 MySQL 그림 하나 더 그릴 것
    • 이론적 배경
      • Kafka 개념
      • Spark 개념
    • 본론 (~~~ 도로함몰 플랫폼)
      • 소제목1. 데이터 수집(or 메시징 시스템)
        • DB로부터 가져오는 것(MySQL)
        • 실시간으로 가져오는 것(Kafka)
          • (핵심) Kafka에서 JSON 형식으로 저장함
      • 소제목2. 데이터 처리(or Spark 빅데이터 처리)
        • Kafka로부터 데이터 적재후 처리
      • 소제목3. 분석
        • 웹 상에서 클라이언트로 보여주기
          • Spark에서 분석하는 과정 (소스코드)
          • 그 결과를 사용자에게 보여주기 위한 과정(Vert.X 소스코드)
          • 클라이언트 웹상에서 보여주기 위한 과정(JavaScript 소스코드)
    • 구현 및 테스트
      • 어떤 환경에서 구현했나?
        • Spark, Kafka 버전, 클러스터 사양표 등
      • 결과화면
    • 결론