ai-creator

[책][리뷰] Developer Relations

ai-creator — Sun, 26 Jun 2022 18:41:28 +0900

이 책은 Developer Relations 이라는 직무에 대한 설명입니다.

우아한형제, 라인등 국내외 기업에서 채용을 하고 있는 직무이며,

이들이 어떤 업무를 하고, 어떤 기여를 하는지 궁금해서 읽게 되었습니다.

ㅁ Devloper Relations 란?

디벨로퍼 릴레이션(Devloper Relations, 줄여서 데브렐)의 목적은 '개발자 커뮤니티와 관계를 만드는 것' 입니다. 데브렐 전문가들은 회사와 엔드유저인 개발자 사이의 연결고리입니다. 다른 분야의 전문가들은 일상적인 업무에서 의사결정을 내릴 때 비즈니스 측면의 최대 이익에 초점을 맞추는 반면, 데브렐 전문가들은 커뮤니티의 최대 이익에 중점을 둡니다.

ㅁ 책의 구성

이 책은 1부와 2부로 나눠져 있으며, 각각 서로 다른 오디언스(audience)를 대상으로 하고 있다.- 1부(1~5장)에서는 기술 커뮤니티 가치를 이해하고자 하는 회사의 의사결정자를 위한 내용- 2부에서는 일상적인 업무에서 커뮤니티 구축을 담당하고 있는 데브렐 실무자를 위한 내용

ㅁ 책 내용

책 후반에는 마이크로소프트, 라인, 우아한형제들의 데브렐분들의 인터뷰가 담겨 있다. 실직적으로 일하는 기업 사례를 알아보는 것이 데브렐 직무의 궁금증을 더 해소할 수 있을 것 같다. 개인적으로 관심있는 우아한형제들의 인터뷰 내용을 발췌했다.

Q) 우아한형제들의 데브렐 활동은 어떻게 구성되어 있나요?

우아한형제들 DR팀은 세가지 필러(pillar)를 가지고 있습니다. 팀이 이 목표를 공유하는 한편, 각 필러를 하나씩 맡아 집중적으로 수행하고 있습니다.

1) 내부 구성원 소통

기술 조직 내 커뮤니케이션과 정보 공유가 활발하게 이뤄질 수 있도록 돔고 있습니다. 개발자 타운홀을 운영하기도 하고, 새로 입사한 개발자의 온보딩을 돕습니다. 다 함께 즐길 수 잇는 해커톤을 개최해 팀워크를 다지는 한편 서비스뿐만 아니라 사내 시스템을 위한 좋은 아이디어를 발굴하기도 합니다.

2) 기술 조직 브랜딩

우아한형제들의 기술 조직을 알리고 영향력을 높이기 위해 외부 개발자 또는 우아한형제들 기술 조직에 관심 있는 분들과 커뮤니케이션 하고 있스빈다. 콘퍼런스인 우아콘, 매월 진행되는 우아한테크세미나 등의 개발자 행사를 개최하거나 기술 커뮤니티를 후원하고 기술 블로그, 페이스북, 뉴스레터, 우아한 Tech 유투브 채널등을 통해 기술과 개발 이야기를 전하고 있습니다.

3) 교육을 통한 성장

개발자로서 커리어 성장을 이룰 수 있도록, 채용 연계형 교육 프로그램과 사내외 개발자가 함께하는 스터디를 운영하고 있습니다. 신입을 대상으로 하는 '우아한테크캠프', 경력 개발자를 대상으로 하는 '우아한테크캠프PRO'가 있고, '우아한스터디'를 통해 우아한 형제들 개발자와 바끝의 개발자들이 함께 교류하고 경험을 나눌 수 있도록 지원하고 있습니다.

Q) 우아한형제들이 데브렐을 하는 이유는 무엇인가요?

대표이신 김범준님이 자주하시는 이야기가 있어요. 개발자 생태계에 기여하는 것이 곧 우아한형제들이 성장하는 토대를 만든다는 것입니다.

우아한 형제들이 크게 성장할 수 있었던 건 아직 우아한형제들이 작은 스타트업이었던 시절, 다른 회사에서 경력을 쌓고 온 개발자들이 들어와 활약해주셨기 때문이빈다. 그러면 우리는 계속해서 경력 개발자들을 채용만 하면 되는 것일까, 그건 아니라고 생각해요. 우리가 초기에 경력 개발자들 덕분에 성장했듯이, 우아한형제들의 개발자들도 스타트업 등으로 이직해 더 많이 활약하고 나아가 IT산업이 발전하는데 기여했으면 합니다. 그분들의 빈자리는 신입 개발자를 키우는 코스를 만들어 채우고요.

요즘 많은 기업에서 개발자 채용난을 겪고 있어요. 우리나라의 전체적인 개발자 풀이 그만큼 작습니다. 큰 기업도 개발자구하기가 어려운데 작은 기업들은 오죽하게어요. 그래서 우아한형제들은 개발자 생태계와 풀이 질적, 양적으로 성장하는데 기여하고 있습니다. 경험과 노하우를 적극적으로 나누고, 개발자 교육을 통한 사회 공헌에 힘쓰고 있죠. 내부 개발자뿐 아니라 외부 개발자들도 함께 성장할 수 있는 프로그램들을 만들어 운영하고 있습니다. 그것이 우아한형제들이 받은 것을 사회에 환원하는 한편 궁극적으로 우리가 성장하는 데도 도움이 되는 길이라 생각하기 때문입니다.

이외에도 데브렐은 사내 개발자 커뮤니케이션의 윤활유 역할을 하고 있어요. 서비스가 활장될수록 개발 조직이 커질 수 박에 없고, 그러다 보면 조직 간 소통이 단절되기 쉬운데요. 사내 여러 조직의 원할한 커뮤니케이션을 돕고 이를 통해 내부 조직력이 견고해지면, 외부에 우리의 기술 조직을 소개할 때도 더 단단하게 잘 전달된다고 생각합니다. 이런 것들이 기술 조직 브랜딩으로도 연결되고요.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[책][리뷰] 구글 엔지니어는 이렇게 일한다

ai-creator — Sun, 29 May 2022 22:44:43 +0900

[한줄평]

이 책은
소프트웨어 엔지니어링과 관련된 책입니다.
이책을 통해 공유하고자 하는 핵심은 소프트웨어 엔지니어링이란 '흐르는 시간 위에서 순간순간의 프로그래밍을 모두 합산한것이다." 개념잡기부터 도입, 유지보수, 폐기에 이르는 생애주기 동안 코드를 지속가능하게 하려면 코드에 어떤 관례를 도입해야 할까? 에 대한 질문에 답을 하는 책입니다.

[키워드]
- 소프트웨어 엔지니어링

구글 소프트웨어 엔지니어링을 바라보는 3가지 관점을 이야기 한다.

1. 문화

2. 프로세스

3. 도구

이 3가지 관점에서 "문화"라는 측면이 제일 관심이 생겼다.

문화 관련 목차는 아래와 같다.

[Part II 문화]

CHAPTER 2 팀워크 이끌어내기
2.1 내 코드를 숨기고 싶어요
2.2 천재 신화
2.3 숨기는 건 해롭다
2.4 모든 건 팀에 달렸다
2.5 마치며
2.6 핵심 정리

CHAPTER 3 지식 공유
3.1 배움을 가로막는 장애물
3.2 철학
3.3 판 깔아주기: 심리적 안전
3.4 내 지식 키우기
3.5 질문 확장하기: 커뮤니티에 묻기
3.6 지식 확장하기: 누구나 가르칠 게 있다
3.7 조직의 지식 확장하기
3.8 가독성 제도: 코드 리뷰를 통한 표준 멘토 제도
3.9 마치며
3.10 핵심 정리

CHAPTER 4 공정 사회를 위한 엔지니어링
4.1 편견은 피할 수 없다
4.2 다양성이 필요한 이유 이해하기
4.3 다문화 역량 갖추기
4.4 다양성 실천하기
4.5 단일한 접근 방식 거부하기
4.6 확립된 프로세스에 도전하기
4.7 가치 vs 결과
4.8 관심을 잃지 말고 전진하자
4.9 마치며
4.10 핵심 정리

CHAPTER 5 팀 이끌기
5.1 관리자와 테크 리드(혹은 둘 다)
5.2 개인 기여자에서 리더로
5.3 엔지니어링 관리자
5.4 안티패턴
5.5 올바른 패턴
5.6 예상 못한 질문
5.7 그 외 조언과 요령
5.8 사람은 식물과 같다
5.9 마치며
5.10 핵심 정리

CHAPTER 6 성장하는 조직 이끌기
6.1 늘 결정하라(Always Be Deciding)
6.2 늘 떠나라(Always Be Leaving)
6.3 늘 확장하라(Always Be Scaling)
6.4 마치며
6.5 핵심 정리

CHAPTER 7 엔지니어링 생산성 측정하기
7.1 엔지니어링 생산성을 측정하는 이유
7.2 선별: 측정할 가치가 있는가?
7.3 GSM 프레임워크: 목표와 신호를 뒷받침하는 의미 있는 지표 선정하기
7.4 목표(goal)
7.5 신호(signal)
7.6 지표(metric)
7.7 데이터로 지표 검증하기
7.8 조치를 취하고 결과 추적하기
7.9 마치며
7.10 핵심 정리

제목 하나하나가 모두 소중한 내용이였는데,

팀워크를 이끌어내기 위해서 동료의 입장, 테크리더의 입장, 팀장의 입장을 나눠 설명하고 있습니다.

공유하는 문화, 비판보다는 지식을 확장하는 문화, 다양성을 인정하는 문화가 필요하는 내용이 있습니다.

보이는 성과만 성과로 인정하는 평가제도보다는

어찌보면 보이지 않는 곳에서 공유하고, 다양성을 인정하고, 선순환을 만드는 문화를 만드는 이를 더 인정해야 하는건 아닐까? 하는 생각이 들었습니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[책][파이썬] 파이썬 증권 데이터 분석

ai-creator — Sun, 24 Apr 2022 12:33:19 +0900

[한줄평]

이 책은
주식데이터를 크롤링하고, 분석기법을 적용하여 자동매매까지 학습하는 책이다.

[키워드]
- 주식 + 파이썬
- 자동매매

ㅁ 깃허브_소스코드

https://github.com/Investar/StockAnalysisInPython

GitHub - INVESTAR/StockAnalysisInPython

Contribute to INVESTAR/StockAnalysisInPython development by creating an account on GitHub.

github.com

ㅁ 목차

1부. 파이썬 데이터 분석 기본

_1장. 증권 데이터 분석에 앞서

증권 투자에 앞서 증권 관련 배경지식을 알아본다. 주식회사가 우리나라에 들어오기까지의 과정부터 가치 투자, 서브프라임 금융 위기, 퀀트 투자를 간단히 짚어본다.

_2장. 파이썬 프로그래밍

파이썬 설치부터 파이썬 문법 및 외부 라이브러리 사용법을 설명한다. 파이썬을 잘하려면 리스트 자료형를 자유자재로 다룰 수 있어야 한다.

_3장. 팬더스를 활용한 데이터 분석

데이터 분석에 필수 라이브러리인 팬더스를 설명한다. 데이터프레임 자료형은 라이브러리 간의 데이터 교환을 담당하는 허브 역할을 하므로 중요하다.

_4장. 웹 스크레이핑 데이터 분석

한국거래소에서 제공하는 상장법인 목록 엑셀 파일을 다운로드하고, 네이버에서 제공하는 주식 일별 시세 페이지를 스크레이핑하는 방법을 설명한다. 웹 스크레이핑 라이브러리 뷰티풀 수프를 설명한다.

2부. 파이썬 데이터 분석 응용

_5장. 시세 DB 구축 및 시세 조회 API 개발

네이버 주식 시세를 웹 페이지에서 읽어 마리아디비에 저장해 나만의 시세 데이터베이스를 구축한다. 이어서 저장된 주식 시세를 조회하는 시세 조회 API를 구현한다.

_6장. 트레이딩 전략과 구현

현대 포트폴리오 이론, 볼린저 밴드, 삼중창 매매 시스템, 듀얼 모멘텀 등 전설적인 트레이딩 전략의 핵심을 이해하고 파이썬으로 구현한다.

_7장. 장고 웹 서버 구축 및 자동화

파이썬 기반 웹 프레임워크인 장고로 주식 잔고를 확인하는 웹 시스템을 구현한다. 백트레이더를 이용한 백테스팅 방법과 슬랙을 이용한 메시지 전송 방법도 소개한다.

_8장. 변동성 돌파 전략과 자동매매

래리 윌리엄스의 변동성 돌파 전략을 국내 증권사 API를 이용하여 구현하고, 거래세 부담이 적은 ETF 종목을 자동으로 매매하는 시스템을 구축한다.

_9장. 딥러닝을 이용한 주가 예측

구글 텐서플로로 구현한 딥러닝 기술로 내일 주가를 예상한다. 딥러닝 기본 개념도 익힌다.

ㅁ 내용 요약

4장. 웹 스크레이핑 데이터 분석

- 일별 시세를 직접 스크레핑하여 원하는 정보를 추출하는 코드를 제공하고 있다.

본 예제는 셀트리온을 스크래핑한 소스코드를 발췌하였다.

import pandas as pd
from urllib.request import urlopen
from bs4 import BeautifulSoup
import mplfinance as mpf

url = 'https://finance.naver.com/item/sise_day.nhn?code=068270&page=1'
with urlopen(url) as doc:
    html = BeautifulSoup(doc, 'lxml') 
    pgrr = html.find('td', class_='pgRR')
    s = str(pgrr.a['href']).split('=')
    last_page = s[-1]  

df = pd.DataFrame()
sise_url = 'https://finance.naver.com/item/sise_day.nhn?code=068270'  
for page in range(1, int(last_page)+1): 
    page_url = '{}&page={}'.format(sise_url, page)  
    df = df.append(pd.read_html(page_url, header=0)[0])

df = df.dropna()
df = df.iloc[0:30]
df = df.rename(columns={'날짜':'Date', '시가':'Open', '고가':'High', '저가':'Low', '종가':'Close', '거래량':'Volume'})
df = df.sort_values(by='Date')
df.index = pd.to_datetime(df.Date)
df = df[['Open', 'High', 'Low', 'Close', 'Volume']]

mpf.plot(df, title='Celltrion candle chart', type='candle')

mpf.plot(df, title='Celltrion ohlc chart', type='ohlc')

kwargs = dict(title='Celltrion customized chart', type='candle',
    mav=(2, 4, 6), volume=True, ylabel='ohlc candles')
mc = mpf.make_marketcolors(up='r', down='b', inherit=True)
s  = mpf.make_mpf_style(marketcolors=mc)
mpf.plot(df, **kwargs, style=s)

6장. 트레이딩 전략과 구현

- 샤프지수, 볼린저 밴드, 모멘텀 등의 기법을 학습해본다.

본 예제는 볼린저 밴드를 이용한 추세 추정 매매기법에 대한 소스코드를 발췌하였다.

import matplotlib.pyplot as plt
from Investar import Analyzer

mk = Analyzer.MarketDB()
df = mk.get_daily_price('NAVER', '2019-01-02')
  
df['MA20'] = df['close'].rolling(window=20).mean() 
df['stddev'] = df['close'].rolling(window=20).std() 
df['upper'] = df['MA20'] + (df['stddev'] * 2)
df['lower'] = df['MA20'] - (df['stddev'] * 2)
df['PB'] = (df['close'] - df['lower']) / (df['upper'] - df['lower'])  # ①
df = df[19:]

plt.figure(figsize=(9, 8))
plt.subplot(2, 1, 1)  # ②
plt.plot(df.index, df['close'], color='#0000ff', label='Close')
plt.plot(df.index, df['upper'], 'r--', label = 'Upper band')
plt.plot(df.index, df['MA20'], 'k--', label='Moving average 20')
plt.plot(df.index, df['lower'], 'c--', label = 'Lower band')
plt.fill_between(df.index, df['upper'], df['lower'], color='0.9')
plt.title('NAVER Bollinger Band(20 day, 2 std)')
plt.legend(loc='best')

plt.subplot(2, 1, 2)  # ③
plt.plot(df.index, df['PB'], color='b', label='%B')  # ④
plt.grid(True)
plt.legend(loc='best')
plt.show()

8장. 변동성 돌파 전략과 자동 매매

- 랠 윌리엄스의 변동성 돌파 전략으로 자동 매매를 하는 방법을 학습한다.

본 예제는 매수/매도 주문확정 로직을 작성 후 윈도우즈에서 작업 스케쥴을 등록하는 방법이다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[책] [AI/MLOps] 머신러닝 파워드 애플리케이션(Building Machine Learning Powered Application)

ai-creator — Sun, 20 Mar 2022 23:23:03 +0900

[한줄평]

이 책은
머신러닝 모델의 동작 방식과 관련된 자료는 많지만, 머신러닝 서비스에 대한 내용을 다룬 자료는 별로 없는데,
아이디어를 머신러닝 서비스(어플리케이션)으로 구축하는 전반적인 과정을 다루고 있는 책이다.

[키워드]
- 머신러닝 파이프라인
- MVP방법으로 파이프라인의 모든 구성요소를 초기에 구축하여, 차츰 완성
- 성능 병목을 찾아 제거

[출처] yes 24

ㅁ 목차

크게 4개의 파트로 나눠서 내용을 다루고 있다.

Part1 아이디어를 머신러닝문제로 전환

Part2 초기 프로토타입 만들기

Part3 지속적인 모델 학습

Part4 배포, 모니터링

각 파트의 구성은 아래와 같다.

[PART I 올바른 머신러닝 접근 방법 모색]
CHAPTER 1 제품의 목표를 머신러닝 문제로 표현하기
CHAPTER 2 계획 수립하기

[PART II 초기 프로토타입 제작]
CHAPTER 3 엔드투엔드 파이프라인 만들기
CHAPTER 4 초기 데이터셋 준비하기

[PART III 모델 반복]
CHAPTER 5 모델 훈련과 평가
CHAPTER 6 머신러닝 문제 디버깅
CHAPTER 7 분류기를 사용한 글쓰기 추천

[PART IV 배포와 모니터링]
CHAPTER 8 모델 배포 시 고려 사항
CHAPTER 9 배포 방식 선택
CHAPTER 10 모델 안전장치 만들기
CHAPTER 11 모니터링과 모델 업데이트

ㅁ 내용 요약

Part1. 아이디어를 머신러닝문제로 전환하기

머신러닝으로 문제를 해결하는 방법은 전통적인 프로그래밍과 그 해결법이 반대이다. 경험적으로 해결책을 정의 할 수 없는 문제에 머신러닝이 유용하다.

Part2 초기 프로토타입 만들기

속도와 성공 가능성을 최대로 높이기 위한 계획을 수립하는 초점을 맞춘다.
첫번째 시스템은 대충만들되, 파이프라인의 모든 구성요소를 준비하고 그 다음에 개선할 우선순위를 설정한다.

Part3 지속적인 모델 학습

태생적으로 머신러닝은 실험이 필수 이기 때문에 매우 반복적인 과정을 거칩니다.

Part4 배포, 모니터링

머신러닝 파이프라인은 데이터와 모델의 실패를 감지하고 처리할 수 있어야 함. 이상적으로는 실패를 사전에 예측하고, 업데이트된 모델을 배포하는 전략이 준비되어 있어야 함.

ㅁ 서평

어떤 사람이 이 책을 보면 좋을까?

비지니스적인 문제를 머신러닝으로 해결하고 싶은분께 이 책을 추천한다. 어떤 문제의 경우 머신러닝이 적합한지를 다루고 있으며, 머신러닝을 학습한 후 프로토타입을 거쳐 실제 고객들에게 서비스 되는 전체 흐름과 배포 이후 모니터링하는 전체 과정을 설명하고 있다.

머신러닝 파이프라인의 이해_2021215(Full Ver.) (1).pdf

drive.google.com

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[파이썬 독학] 파이썬 생활 밀착형 프로젝트 X 클래스101 온라인 강의 오픈 (w/쿠폰 3만원)

ai-creator — Wed, 2 Mar 2022 21:13:19 +0900

안녕하세요. 오랫만에 인사드립니다~!! 다들 즐겁게 코딩공부하고 계신가요?

21년 6월에 "파이썬 생활 밀착형 프로젝트"라는 책을 출판하게되어 너무 기뻤는데요,

22년에는 Class101(클래스101)에 온라인 강의를 오픈하게 되었습니다.

여러분들께서 지속적으로 관심가져주신 덕분이라고 생각합니다~!! 항상 감사드려요^^

온라인 강좌 ↓↓↓↓ 요기 클릭!! (할인쿠폰은? 블로그 아래 참고)

https://class101.net/products/xs8I9vsLpLPC1q9MAhSV

파이썬 배워서 뭐하지? 8개 프로젝트로 배우는 생활 밀착형 파이썬!

파이썬, 배우면 뭘 할 수 있나요? 로고는 익숙한 파이썬 저는 지금까지 파이썬, 좋다고 해서 배웠는데 그 다음에 무엇을 할 수 있는 거죠? 라는 질문을 많이 받았습니다. 파이썬으로 할 수 있는

class101.net

강좌는 총 8개 프로젝트로 구성되어 있어요.

파이썬 기초를 몰라서 걱정하시는 분들도, 걱정 No!No! 기초 강좌도 함께 구성하였습니다.

프로젝트는 구성은 책에 있는 내용 중에 재밌어해주시고 문의가 많았던 7개의 프로젝트를 선정하였고,

책에 없는 내용으로 1개의 프로젝트를 추가하여 총 8개 프로젝트를 준비해보았습니다.

추가된 1개 프로젝트는 '딥러닝 모델을 만들고 나서, 딥러닝 서비스는 어떻게 만드는건가요?' 하는 질문이 많아서 마스크 착용 여부를 판별하는 딥러닝 서비스를 준비해 보았습니다.

동일 내용이 유투브, 블로그, 책에 있어서 자료가 충분하시다고 생각이 든다면 안들으셔도 되요~

다만,

잘 정제된 내용으로 따라하면서 공부하고 싶은 분들께 추천드립니다.

특히, 코칭권이 있어서 자유롭게 질문을 할수 있다는 점이 class101의 장점이예요. 잘 안풀리는 문제, 풀고 싶은 문제를 함께 해결해봐요. 든든한 지원군이 되어드리겠습니다^^

새로운 학기도 시작했고, 공부 의지가 뿜뿜! 솟을 때, 기세를 몰아 공부해 보면 어떨까요?

4월 6일 정식 오픈이고, 지금은 얼리버드 할인이 들어가서 할인된 가격으로 만나볼 수 있습니다.

또, 이 블로그를 보고 수강하시는 분들께는 할인쿠폰 3만원을 제공해드리고 있습니다.

3만원 할인쿠폰은요!!!

비밀 댓글 달아주시면 쿠폰 번호와 사용법 전달 드릴께요.

주저하지 마시고요, 쿨하게~~ 이메일 주소와 함께 "쿠폰 주세요~" 또는 "쿠폰 필요해요~" 라고 남겨주시면 됩니다~!!

강좌를 들으실 분들은 꼭!!! 반드시!!!! 얼리버드 + 할인 쿠폰 혜택까지 받아가세요~

그리고 궁색하지만.............

"좋아요♥" 버튼도 한번씩 눌러주시면 감사하겠습니다. ㅎㅎ

그간 블로그 통해서 좋은 자료들을 얻었다~ 하시는 분들이 계시다면, 한번씩 눌러주세요♥ (제발~~~)

여러분들께서 지속적으로 관심가져주신 덕분에 온라인 강좌도 오픈하게 되었습니다. 다시 한번 감사드립니다.

[책] [AI/MLOps] 쿠브플루 운영 가이드 (Kubeflow Operations Guide)

ai-creator — Fri, 11 Feb 2022 17:36:26 +0900

[키워드]
- AI/MLOps
- 쿠브플루 vs 쿠버네티스

데이터사이언티스트로서 핵심에 더 집중하기 위해 쿠브플루 운영 가이드에 대해 알아보자.

ㅁ 목차

목차는 총 8까지 있으며, 쿠브플로우를 설치, 운영하는 방법 다양한 환경에 적용해서 설명하고 있는 점이 좋았다. 온프레미스 환경부터 다양한 클라우드 환경까지 다루고 있어서 어떤 환경에서 작업을 하던 무관하게 이 책 한권만 있으면 되는거다!

CHAPTER 1 쿠브플로 소개
CHAPTER 2 쿠브플로 아키텍처와 모범 사례
CHAPTER 3 쿠브플로 설치 계획
CHAPTER 4 온프레미스에 쿠브플로 설치
CHAPTER 5 구글 클라우드 쿠브플로 운영
CHAPTER 6 아마존 웹 서비스 쿠브플로 운영
CHAPTER 7 애저 쿠브플로 운영
CHAPTER 8 모델 서빙과 통합

ㅁ 주요 내용

1. Kubeflow는 무엇인가?

- 쿠브플루는 확장 가능하고(saclable) 포터블(portable)한 머신러닝 작업 워크로드(workload)를 개발, 오케스트레이션, 배포, 운영하기 위한 오픈소스 쿠버네티스 네이티브 플랫폼이고 구글의 내부 ML파이프라인에 기초한 클라우드 네이티브 플랫폼

- 쿠브플로는 쿠버네티스와 텐서플로의 합성어

(참고) Kubeflow vs Kubernetes (또는 k8s)

- 쿠브플로 프로젝트는 쿠버네티스에 ML(머신러닝) 워크플로를 배포하는 것을 단순하고, 포터블하게 하며, 확장 가능하도록 하는 데 전념합니다.

- 쿠퍼네티스는 컨테이너들을 위한 오케스트레이션 시스템

2. Kubeflow는 언제 쓰나?

머신러닝 모델을 다른 환경(로컬, 온프레미스, 클라우드 등)에서 트레인(train)하고, 서빙(serve)하고 싶은 경우
머신러닝 트레이닝 잡(텐서플로 잡 이외에도)을 주피터 노트북을 이용해 관리하는 경우
개인 컴퓨터에서 접근이 불가능한 추가 CPU, GPU 같은 리소스를 이용해 트레이닝 잡을 시작하는 경우
머신러닝 코드를 다른 라이브러리로부터 합치려고 하는 경우

3. Kubeflow는 어떤 문제를 해결할까?

: 쿠브플로 목표는 머신러닝 워크플로를 쿠버네티스에 배포하는 것을 단순화 하는 것이다.

더 빠르고 일관적인 배포
안전한 보안을 위해 포트나 컴포넌트 접근에 대한 더 나은 통제
리소스 공급과잉에 대한 보호로 비용 절감
완성된 일이 할당 해지되는 것을 보호하여 비용 절감
워크플로 오케스트레이션과 메타데이터 수집
중앙화된 모니터링과 로깅
모델을 안전하고 확장이 가능하도록 프로덕션으로 옮기는 인프라스트럭처

4. 쿠브플로 구성요소

쿠브플로 플랫폼은 크게 3가지로 구성되어 있다. ML도구, 애플리케이션과 스캐폴딩, 플랫폼/클라우드로 말이다.

플랫폼/클라우드 레이어를 보면, 온프레미스에서 Google의 GCP, Amazon의 AWS, Microsoft의 Azure까지 지원함을 알 수 있다.

5. 쿠브플로 사용자 인터페이스 (UI)

- Pipelines

- Experiments

- Artifacts

- Executions

등의 메뉴가 있으며, 사용자가 편리하게 조작 가능하다.

ㅁ 서평

어떤 사람이 이 책을 보면 좋을까? ML/AIOps를 고민하는 인프라아키텍트나 데이터사이언티스트 또는 쿠버네티스환경에서 어려움을 겪고 있는분들께 적합한 책으로 보인다. 학습된 모델을 배포, 서빙할 때 필요한 요소들이 많은데 쿠브플로우로 파이프라인을 쉽고 빠르게 만들 수 있다고 생각한다.

ㅁ 참고 - 읽어보면 좋은글

https://www.jetbrains.com/ko-kr/teamcity/ci-cd-guide/

TeamCity CI/CD 가이드 | JetBrains

www.jetbrains.com

https://m.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS6152523308

쿠버네티스는 아는데, 쿠브플로는 뭐죠?

쿠브플로는 확장 가능하고 포터블(portable)한 머신러닝 작업 워크로드를 개발, 오케스트레이션, 배포, 운영하기 위한 오픈소스 쿠버네티스 네이티브 플랫폼입니다. 쿠버네티스처럼 새롭게 등장

m.hanbit.co.kr

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

기계학습 기초 수업을 마무리 하면서 (21년 2학기, 국민대학교)

ai-creator — Sun, 2 Jan 2022 18:35:49 +0900

21년 2학기, 대학원 수업으로는 처음으로 기계학습 기초 수업을 맡게 되었습니다.

업무에 fit된 내용으로 수업을 하면, 학생분들께 더 도움이 되지 않을까? 하는 생각과 좀 더 주말을 보람차게 보내고 싶은 두가지 마음으로 호기롭게 2과목을 맡아 진행했습니다.

- 파이썬 매쉬업 프로젝트

- 기계학습 기초

연강으로 시간이 분배되었고, 이번 학기 처음으로 다루는 기계학습 기초과목에 좀 더 긴장감이 실렸습니다.

기계학습 기초는 온라인 강의에 29명의 학생분들이 수강을 해 주셨습니다. 긴장감이 실린 이유는 온라인 강의로 29명을 포용할 수 있을까? 내용을 명확하게 잘 전달 할 수 있을까? 하는 걱정 때문이였습니다. '업무에 fit된 내용을 다루는 것이 학생분들께 더 도움이 되지 않을까?'라는 생각에서 시작한 과목이기 때문에 현실/현업에서 필요한 내용을 전달하고 싶었습니다. 그리고, 한편으로는 '채용하고 싶은, 같이 일하고 싶은 인재로 만들고 싶다!'는 묘한 사명감도 깔려 있기도 했습니다.

- 제가 제일 처음 기계학습을 배웠을때의 느낌,

- 제가 제일 처음 회사에서 접했던 기계학습의 느낌,

- 기계학습으로 비지니스 문제를 해결해나가는 현재의 느낌

등을 잘 전달 하고 싶었고, 15주간의 긴 레이스도 무사히 완주하고 싶었습니다.

겸업을 한다는 것은 진행되는 회사 프로젝트와 강의 준비 시간을 효율적으로 분배해야 하는 레이스이기도 합니다. 겸업이라고 해서 어느 하나 미흡해서는 안되기 때문입니다. 또, 강의 시간에는 학생분들을 공감하고 같이 호흡을 하며 수업해야 한다는 것이 저의 철학이기 때문에 수업 중에 들어가는 에너지도 상당합니다. 물론, 학생분들이 저와 함께 호흡을 해줄때마다 에너지가 충전되기도 합니다. 끄덕임, 어리둥절함등의 표정 하나하나가 에너지원이지요. 그러나, 수업이 끝나는 토요일 6시가 되면 온 몸이 땀으로 범벅되고, 기진맥진 누워 일요일까지 잠을 청해야만 또 다음주를 살아갈 힘이 생기는 날도 있엇습니다.

그렇게 힘들게 하지마! 누가 알아주기나 한데? 라는 말을 듣기도 하고, 에너지를 쏟은 만큼 학생분들의 이해도가 낮을때는 속상하기도 합니다. 그러나, 어떻게든 이해하려는 단 한명의 학생을 위해서라도 최고의 2시간을 만들어주고 싶은 마음과 2시간 강의가 아니라 58시간(2시간 *29명)이라는 시간을 쓴다는 나만의 기준에 효과와 효율, 공감과 호흡을 하려고 나름의 최선을 다합니다.

많은 인원이 함께하고, 매주 과제를 내고 검사를 하고, 과제도 책에서 배우는 내용이 아닌 현업에서 배우는 내용으로 그 색을 맞추고 싶었습니다. 그래서 '채용하고 싶은, 같이 일하고 싶은 인재로 만들고 싶다!'는 목표를 이루고 싶었던거 같습니다.

이렇게 매학기 애를 써도 만족스러운 강의는 없습니다. 아쉬움이 많이 남고, 더 쉽게 전달하지 못한 점에 대해 회고하고 다음 강의 준비를 하게 됩니다. 그럼에도 불구하고, 애쓴 마음을 알아 준 강의평에 감사하고, 위로를 받습니다.

한 학기동안 함께 열심히 달려와준 29명의 학생분들께 감사하다는 말씀과 좀 더 큰 세상으로 나아갔을 때 이번 학기의 강의가 자양분이 되길 소망해봅니다. 마지막으로.....

여러분의 걸음 걸음에 축복을 보냅니다.

프로젝트 포트폴리오 사이트 만들기 ( w/ Streamlit)

ai-creator — Fri, 3 Dec 2021 21:02:48 +0900

이제까지 만든 다양한 프로젝트를 streamlit을 사용하여 포트폴리오 웹페이지를 만들어보자.

1. Streamlit이란?

- 공식 사이트 (Link)

- streamlit cheatsheet (Link)

2. 라이브러리 설치

pip install streamlit==1.2.0

3. Quick Start

3-1) 구현

1) markdown.py

- markdown 처럼 사용

import streamlit as st

## Title
st.title("Streamlit Tutorial")

## Header/Subheader
st.header("This is header")
st.subheader("This is subheader")

## Text
st.text("Hello Streamlit! 이 글은 튜토리얼 입니다.")

## Markdown syntax
st.markdown("# This is a Markdown title")
st.markdown("## This is a Markdown header")
st.markdown("### This is a Markdown subheader")
st.markdown("- item 1\n"
            "   - item 1.1\n"
            "   - item 1.2\n"
            "- item 2\n"
            "- item 3")
st.markdown("1. item 1\n"
            "   1. item 1.1\n"
            "   2. item 1.2\n"
            "2. item 2\n"
            "3. item 3")

2) df_show.py

- dataframe 테이블

import streamlit as st
## Load data
import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
iris_df = pd.DataFrame(iris.data, columns=iris.feature_names)
iris_df['target'] = iris['target']
iris_df['target'] = iris_df['target'].apply(lambda x: 'setosa' if x == 0 else ('versicolor' if x == 1 else 'virginica'))

## Return table/dataframe
# table
st.table(iris_df.head())

# dataframe
st.dataframe(iris_df)
st.write(iris_df)

3) player.py

import streamlit as st
##Show image
from PIL import Image
img = Image.open("res/email_sending/test.jpg")
st.image(img, width=400, caption="Image example: 펭수")
## Show videos
vid_file = open("res/email_sending/test.mp4", "rb").read()
st.video(vid_file, start_time=2)
## Play audio file.
audio_file = open("res/email_sending/test.mp3", "rb").read()
st.audio(audio_file, format='audio/mp3', start_time=10)

3-2) 서버 실행

$ streamlit run {파일명}.py

실행중지는 ? ctrl + C

3-3) 실행

http://127.0.0.1:8501

4. 생활밀착형 프로젝트 포트폴리오 만들기

- project_webpage.py

# 정상 동작 확인용
import jarvis_food_recommender
import streamlit as st

from PIL import Image
image = Image.open('res/streamlit_webpage/book_logo.png')
st.image(image, caption='파이썬 생활밀착형 프로젝트', width=240)

no_9 = st.button('09장. 날씨 정보를 이용한 맛집 추천 프로젝트')
no_10 = st.button('10장. 주식 분석 보고서 자동화 프로젝트')

if no_9 == True:
    st.write("9장. 날씨맞춤 맛집을 추천합니다!")
    jarvis_food_recommender.do()
elif no_10 == True:
    st.write("10장. 주식보고서를 메일로 전송합니다!")
    # todo : 주식보고서 프로젝트를 연동해보세요.

프로젝트 포트폴리오 webpage 완성

버튼을 누르면, 원하는 프로젝트가 동작함을 알 수 있다.

ㅁ 참고

- 20분만에 주식앱 만들기 (Link)

- streamlit 애플리케이션만들기 (Link)

- yfinance, prophet을 사용한 주식 예측하기 (youtube_link, source_link)

하이퍼파라메터 튜닝, Automl로 자동화 하자! (w/pycaret)

ai-creator — Sat, 27 Nov 2021 13:05:53 +0900

ㅁ Pycaret이란?

- pycaret이란 AutoML을 하게 해주는 파이썬 라이브러리

- scikit-learn 패키지를 기반으로 하고 있으며 Classification, Regression, Clustering, Anomaly Detection 등등 다양한 모델을 지원

- 공식문서에 설명이 매우 잘 되어있고, 몇 줄의 코드로 쉽게 구현이 가능하여 유용하게 사용할 수 있음

ㅁ Pycaret API

(참고) pycaret 문서

https://pycaret.readthedocs.io/en/latest/api/classification.html

Classification — pycaret 2.2.0 documentation

Degree of polynomial features. For example, if an input sample is two dimensional and of the form [a, b], the polynomial features with degree = 2 are: [1, a, b, a^2, ab, b^2]. Ignored when polynomial_features is not True.

pycaret.readthedocs.io

※ pycaret은 scikit-learn 버전을 0.23.2만 지원하고 있음

$ pip install scikit-learn==0.23.2
$ pip install pycaret

ㅁ (실습) 자전거 수요예측

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from pycaret.regression import *

1. 데이터로딩 및 EDA

train = pd.read_csv('data/bike/train.csv') 
test = pd.read_csv('data/bike/test.csv')

sns.boxplot(train['count']) 
plt.show()
 
sns.histplot(train['count']) 
plt.show()

결과

2. 데이터 정제

2-1) 로그 변환

train['log_cnt'] = train['count'].apply(lambda x: np.log(x))
sns.histplot(train['log_cnt'])

결과

2-2) datetime에서 파생변수 추출

new_df = train
new_df['datetime'] = pd.to_datetime(new_df['datetime'])
new_df['month']=new_df['datetime'].apply(lambda x:x.month) 
new_df['hour']=new_df['datetime'].apply(lambda x:x.hour) 
new_df['day_of_week']=new_df['datetime'].apply(lambda x:x.day_name()) 
new_df['year']=new_df['datetime'].apply(lambda x:x.year)

# feature selection
feature_list = ['season', 'holiday', 'workingday', 'weather', 'temp', 'atemp', 'humidity', 'windspeed',
'log_cnt', 'month', 'hour', 'year', 'day_of_week']
final_df = new_df[feature_list]

3. 학습데이터 세팅

- setup()을 통해서 추후에 필요한 모든 환경을 initialize

- 예시에서는 input feature와 target column을 지정

reg = setup(final_df, target='log_cnt') # 다중공선성 처리 가능 -> , remove_multicollinearity = True, multicollinearity_threshold = 0.6)

4. 모델 학습 및 평가

models = compare_models()

결과

참고) 특정 모델로 학습

- create_mode() : 특정 ML을 지정하여 학습할 수 있음.

model = create_model('lightgbm') # fold=10 의 결과 값을 확인할 수 있다.
tuned = tune_model(model, optimize='RMSLE', n_iter=1000) 
final_model = finalize_model(tuned)

결과

최적화한 모델의 hyper-parameter 확인

final_model

결과

LGBMRegressor(bagging_fraction=0.9, bagging_freq=5, boosting_type='gbdt',
              class_weight=None, colsample_bytree=1.0, feature_fraction=0.8,
              importance_type='split', learning_rate=0.1, max_depth=-1,
              min_child_samples=61, min_child_weight=0.001, min_split_gain=0,
              n_estimators=180, n_jobs=-1, num_leaves=200, objective=None,
              random_state=8972, reg_alpha=0.0001, reg_lambda=0.001,
              silent='warn', subsample=1.0, subsample_for_bin=200000,
              subsample_freq=0)

5. 최종 모델의 feature importacne

plot_model(final_model, plot='feature')

결과

[머신러닝 기초] 텍스트분석 - Clustering (Opinion Review 데이터)

ai-creator — Sat, 27 Nov 2021 10:28:00 +0900

1. 텍스트 분석 - Clustering

앞에서 배운 분류와 마찬가지로, input 데이터의 최초 형태만 다른 것이지 input feature로 만들면 동일하게 clustering 알고리즘을 적용하여 분석할 수 있다.

2. 군집화 실습 (Opinion Review)

실습 : 문집 군집화 실습

- 소스 코드 : (Link)

- 데이터셋 : (Link)

2.1) 데이터 설명

51개의 텍스트 파일로 구성
각 파일은 Tripadvisor(호텔), Edmunds.com(자동차), Amazon.com(전자제품) 사이트에서 가져온 리뷰 문서

예) 파일 목록

문서유형을 크게 보면, 전자제품 / 자동차 / 호텔로 되어 있음
- 전자제품은 네비게이션 / 에어팟 / 킨들 / 랩탑 컴퓨터 등

예)&nbsp;accuracy_garmin_nuvi_255W_gps.txt.data

Amazon.com에서 Garmin nuvi라는 차량용 네비게이션 모델에 대한 리뷰

2.2) 소스코드

2.2.1) 파일읽기

지정된 경로의 .data 파일을 모두 읽음
filename과 opinion_text를 컬럼으로하는 dataframe을 생성함

import pandas as pd
import glob ,os

# 아래는 제 컴퓨터에서 압축 파일을 풀어 놓은 디렉토리이니, 여러분의 디렉토리를 설정해 주십시요  
path = './OpinosisDataset1.0/OpinosisDataset1.0/topics'                     
# path로 지정한 디렉토리 밑에 있는 모든 .data 파일들의 파일명을 리스트로 취합
all_files = glob.glob(os.path.join(path, "*.data"))    
filename_list = []
opinion_text = []

# 개별 파일들의 파일명은 filename_list 리스트로 취합, 
# 개별 파일들의 파일내용은 DataFrame로딩 후 다시 string으로 변환하여 opinion_text 리스트로 취합 
for file_ in all_files:
    # 개별 파일을 읽어서 DataFrame으로 생성 
    df = pd.read_table(file_,index_col=None, header=0,encoding='latin1')
    
    # 절대경로로 주어진 file 명을 가공. 만일 Linux에서 수행시에는 아래 \\를 / 변경. 맨 마지막 .data 확장자도 제거
    filename_ = file_.split('\\')[-1]
    filename = filename_.split('.')[0]

    #파일명 리스트와 파일내용 리스트에 파일명과 파일 내용을 추가. 
    filename_list.append(filename)
    opinion_text.append(df.to_string())

# 파일명 리스트와 파일내용 리스트를  DataFrame으로 생성
document_df = pd.DataFrame({'filename':filename_list, 'opinion_text':opinion_text})
document_df.head()

결과

2.2.2) 전처리

TF-IDF로 피처 벡터화

from nltk.stem import WordNetLemmatizer
import nltk
import string

remove_punct_dict = dict((ord(punct), None) for punct in string.punctuation)
lemmar = WordNetLemmatizer()

def LemTokens(tokens):
    return [lemmar.lemmatize(token) for token in tokens]

def LemNormalize(text):
    return LemTokens(nltk.word_tokenize(text.lower().translate(remove_punct_dict)))

#################
## 벡터화
#################
from sklearn.feature_extraction.text import TfidfVectorizer

tfidf_vect = TfidfVectorizer(tokenizer=LemNormalize, stop_words='english' , \
                             ngram_range=(1,2), min_df=0.05, max_df=0.85 )

#opinion_text 컬럼값으로 feature vectorization 수행
feature_vect = tfidf_vect.fit_transform(document_df['opinion_text'])

2.2.3) 군집화 수행 (k=3)

from sklearn.cluster import KMeans

# 3개의 집합으로 군집화 
km_cluster = KMeans(n_clusters=3, max_iter=10000, random_state=0)
km_cluster.fit(feature_vect)
cluster_label = km_cluster.labels_


# 소속 클러스터를 cluster_label 컬럼으로 할당하고 cluster_label 값으로 정렬
document_df['cluster_label'] = cluster_label
document_df.sort_values(by='cluster_label')

결과

Cluster #0 : _______________

포터블 전자기기

Cluster #1 : _______________

호텔리뷰

Cluster #2 : _______________

자동차 리뷰

ㅁ Reference

- [책] 파이썬 머신러닝 완벽가이드

- [블로그] 파이썬 머신러닝 완벽가이드 정리본 (Link)

- [소스코드 출처] : https://github.com/wikibook/pymldg-rev

ai-creator

[책][리뷰] Developer Relations

ㅁ Devloper Relations 란?

ㅁ 책의 구성

ㅁ 책 내용

Q) 우아한형제들의 데브렐 활동은 어떻게 구성되어 있나요?

1) 내부 구성원 소통

2) 기술 조직 브랜딩

3) 교육을 통한 성장

Q) 우아한형제들이 데브렐을 하는 이유는 무엇인가요?

[책][리뷰] 구글 엔지니어는 이렇게 일한다

[책][파이썬] 파이썬 증권 데이터 분석

ㅁ 깃허브_소스코드

ㅁ 목차

ㅁ 내용 요약

4장. 웹 스크레이핑 데이터 분석

6장. 트레이딩 전략과 구현

8장. 변동성 돌파 전략과 자동 매매

[책] [AI/MLOps] 머신러닝 파워드 애플리케이션(Building Machine Learning Powered Application)

ㅁ 목차

ㅁ 내용 요약

Part1. 아이디어를 머신러닝문제로 전환하기

Part2 초기 프로토타입 만들기

Part3 지속적인 모델 학습

Part4 배포, 모니터링

ㅁ 서평

ㅁ 함께 보면 좋은 내용

[파이썬 독학] 파이썬 생활 밀착형 프로젝트 X 클래스101 온라인 강의 오픈 (w/쿠폰 3만원)

잘 정제된 내용으로 따라하면서 공부하고 싶은 분들께 추천드립니다.

[책] [AI/MLOps] 쿠브플루 운영 가이드 (Kubeflow Operations Guide)

ㅁ 목차

ㅁ 주요 내용

1. Kubeflow는 무엇인가?

2. Kubeflow는 언제 쓰나?

3. Kubeflow는 어떤 문제를 해결할까?

4. 쿠브플로 구성요소

5. 쿠브플로 사용자 인터페이스 (UI)

ㅁ 서평

ㅁ 참고 - 읽어보면 좋은글

기계학습 기초 수업을 마무리 하면서 (21년 2학기, 국민대학교)

프로젝트 포트폴리오 사이트 만들기 ( w/ Streamlit)

1. Streamlit이란?

2. 라이브러리 설치

3. Quick Start

3-1) 구현

1) markdown.py

2) df_show.py

3-2) 서버 실행

3-3) 실행

4. 생활밀착형 프로젝트 포트폴리오 만들기

ㅁ 참고

하이퍼파라메터 튜닝, Automl로 자동화 하자! (w/pycaret)

ㅁ Pycaret이란?

ㅁ Pycaret API

ㅁ (실습) 자전거 수요예측

1. 데이터로딩 및 EDA

2. 데이터 정제

3. 학습데이터 세팅

4. 모델 학습 및 평가

참고) 특정 모델로 학습

5. 최종 모델의 feature importacne

[머신러닝 기초] 텍스트분석 - Clustering (Opinion Review 데이터)

1. 텍스트 분석 - Clustering

2. 군집화 실습 (Opinion Review)

2.1) 데이터 설명

2.2) 소스코드

2.2.1) 파일읽기

2.2.2) 전처리

2.2.3) 군집화 수행 (k=3)

ㅁ Reference