konlpy 패키지 import 에러 (AttributeError: module 'tweepy' has no attribute 'StreamListener')

 pip install tweepy==3.10.0

huggingface 모델의 maximum token length 알아보는 방법

from transformers import AutoConfig

model_name = "EleutherAI/polyglot-ko-5.8b"

config = AutoConfig.from_pretrained(model_name)

max_length = config.max_position_embeddings

print("Maximum input sequence length:", max_length) 

pytorch gpu 사용 여부 확인법

import torch

print(torch.cuda.is_available())

pytorch (파이토치) 버전 확인 하는 방법

import torch 

print(torch.__version__)

리눅스에서 파일 인코딩 확인 및 인코딩 변환

1. 리눅스에서 파일 인코딩 확인

file -bi 파일명

ex) file -bi aaa.xml
결과 : text/x-c++; charset=utf-8


2. 인코딩 변환
EUC-KR -> UTF-8 파일 인코딩 변경
iconv -c -f euc-kr -t utf-8 aaa.xml> aaa.xml

3. 실제 변경

find . -type f -exec iconv -f euc-kr -t utf-8 '{}' '>' '{}'.utf8 '&&' mv '{}'.utf8 '{}' ';'

source: https://heum-story.tistory.com/58

Ubuntu 한글 깨짐 문제 해결

 

apt-get -y install language-pack-ko

apt-get update

locale-gen ko_KR.UTF-8

dpkg-reconfigure locales

번호 선택

export LANGUAGE=ko_KR.UTF-8

export LANG=ko_KR.UTF-8

우분투(Ubuntu) 한글 깨짐 (tistory.com)

도커 간단 사용법

# 컨테이너 생성

 docker run -it --gpus "device=0" -d -p local_port:container_port -v local_dir_path:container_dir_path --name container_name image_name:version /bin/bash

 docker run -it --gpus "device=0" -d -p 3000:3000 -v /home/co/nd_chat:/home/co/nd_chat --name nd nd_chat:1.0 /bin/bash

# 컨테이너 종료하지 않고 컨테니어 나가기

 Control + p + Control + q

# 컨테이너 접속

 docker attatch container_id

 ex. docker attatch nd_chat

 docker exec -it container_name bash

 ex. docker exec -it nd_bento bash

# 컨테이너로 이미지 만들기

  docker commit container_name new_repository:new_image(tag)

  docker commit nd

# 컨테이너 종료

 docker stop container_id

 ex. docker stop nd_chat

#컨테이너 삭제

 docker rm container_id

 ex. docker rm nd_chat

# 이미지 제거

  docker rmi image_id

# 이미지 목록 보기

 docker images

# 컨테이너 목록 보기

 docker ps

docker run -it --gpus all --name py torch_modi -v /home/hjjeong/workspace:/home/hjjeong/workspace pytorch/pytorch:1.10.0-cuda11.3-c udnn8-devel /bin/bash