import gzip


def Parse_Variant_Annovar_Style(line):
	CHROM, POS, ID, REF, ALT, QUAL, FILTER, INFO = line.split('\t')[:8]
    # 一般公共数据下载的 vcf 文件仅包含8列
    POS = int(POS)
    dat = {}
    dat['CHROM'] = CHROM
    dat['ID'] = ID
    if len(REF) == len(ALT) == 1 and REF != ALT:    # SNV
        dat['START'], dat['END'] = POS, POS
        dat['REF'], dat['ALT'] = REF, ALT
    elif len(REF) == 1 and len(ALT) != 1 and ALT.startswith(REF):    # Insert
        dat['START'], dat['END'] = POS, POS
        dat['REF'], dat['ALT'] = '-', ALT[1:]
    elif len(REF) != 1 and len(ALT) == 1 and REF.startswith(ALT):    # Delete
        dat['START'], dat['END'] = POS+1, POS+len(REF)-1
        dat['REF'], dat['ALT'] = REF[1:], '-'
    else:    # complex variant
        dat['START'], dat['END'] = POS, POS+len(REF)-1
        dat['REF'], dat['ALT'] = REF, ALT
    dat.update(INFO2dict(INFO))
    return dat


def Parse_Variant(line):
	CHROM, POS, ID, REF, ALT, QUAL, FILTER, INFO = line.split('\t')[:8]
    # 一般公共数据下载的 vcf 文件仅包含8列
    POS = int(POS)
    dat = {}
    dat['CHROM'] = CHROM
    dat['ID'] = ID
    dat['START'], dat['END'] = POS, POS+len(REF)-1
    dat['REF'], dat['ALT'] = REF, ALT
    dat.update(INFO2dict(INFO))
    return dat


def INFO2dict(info):
    tmp = [i.strip() for i in info.split(';') if i.strip()]
    infor = {}
    for i in tmp:
        if '=' in i:
            # index = i.index('=')
            # infor[i[:index]] = i[index+1:]
            i = i.split('=')
            infor[i[0]] = i[1]
        else:
            infor[i] = 'true'
    return infor


fopen = gzip.open if clinvar.endswith('gz') else open
# 这种文件打开适用于 python2, python3 中存在 bits 和 string 类型的差别
with fopen(input_vcf) as f:
    tags = []
    for i in f:
        if not i.strip():
            continue

        if i.startswith('##INFO='):
             tags.append(i.split(',')[0].split('=')[-1])
        elif i.startswith('#CHROM'):
             print('#CHROM\tSTART\tEND\tID\tREF\tALT\t{}\n'.format('\t'.join(tags)))
        elif not i.startswith('#'):
             dat = Parse_Variant_Annovar_Style(i)
             # dat = Parse_Varitn(i)
             for x, label in enumerate(['CHROM', 'START', 'END', 'ID', 'REF', 'ALT']+tags):
                if x != 0:
                    print('\t')
                print(dat.get(label, '--'))    # INFO 列中某些 tag 并不存在于所有行
             print('\n')

import os
import sys
# sys.path.insert(0, 'config_py_dirname')    # 使config.py文件位于PYTHONPATH路径下
import config

option = config.option    # 获取配置信息

import configparser    # python3
# import Configparser as configparser    # python2

cf = configparser.ConfigParser()
cf.read('config.ini')

sections = cf.sections()    # 列出所有section
options = cf.options(section)    # 列出section对应的所有option
value = cf.get(section,option)    # 范围section对应option的值，string
# getint(section,option) 返回为int，
# getboolean(section,option) 返回bool，
# getfloat(section,option) 返回float

import json

# 倒入配置json到python环境，config类型跟json内容相关
with open('config.json') as f:
    config = json.load(f)
    
# 输出python对象到json文件
with open('whatever.josn', 'w') as f:
    json.dump(config, f, indent=2)

import yaml

with open('config.yaml') as f:
    config = yaml.load(f)     # dict OR list

import pandas as pd

# 数据框转制
dat = dat.T

# 根据列进行合并
dat = pd.merge(dat1, dat2, 
               on='col',    # col在两个数据框中同时存在时，设置on
               left_on='col1', right_on='col2',    # 两个列名不同时存在，分贝设置合并列名
               left_index=False, right_index=False,    # 使用df的index进行合并
               how='outdir')    # {'left', 'right', 'outer', 'inner'}

# concat 合并列数据
dat = pd.concat(dflst, 
                axis=1,    # 左右合并
                join='outer')    # {'inner', 'outer'}
# concat 行追加
dat = pd.concat(dflst, axis=0, ignore_index=True)

# 删除数据框行或者列
dat = dat.drop(col_lst, axis=1)    # 删除 列
dat = dat.drop(index_lst, axis=0)    # 删除 行
dat = dat.drop_duplicates()    # 删除 重复行
dat = dat.dropna(axis=0,     # 0，1 0表示行，1表示列
                 how='all')    # {'any', 'all'}, all表示删除所有值缺失，any表示删除任意一个值缺失

# 长表格 ==> 宽表格转换
import numpy as np
dat = pd.pivot_table(df, index=["Product"],    # 设置保留字段
                     columns=['Year'],    # 扩展列
                     values=["Price"],    # 选定列对应数值
                     aggfunc=[np.sum], fill_value=0)    # 设置数据合并的具体操作

# 宽表格 ==> 长表格转换
df = df.melt(id_vars=["Name","Product"],    # 保留的主字段
             var_name="Year",    # 分类名
             value_name="Price")    # 变量名

import pandas as pd

dat = pd.read_table('data.csv', 
                    sep='\t',     # 设置表格分隔符，read_table默认为‘\t’，read_csv默认为‘,’
                    index_col=0,    # 使用第1列作为数据框index，默认range(0, num_line)作为index
                    header=None,     # 表示文件不存在表头，默认第一行为表头
                    names=['a', 'b', ''])    # 表头不存在时，添加表头为...
# dat = pd.read_csv(...)
dat = pd.read_excel('data.xlsx', 
                    sheet_name='sheet1')    # 读取data.xlsx工作簿中sheet1的表格

# 读取文件前特定行数
dat = pd.read_csv('data.csv', nrows=500)   

# 读取超大文件
reader = pd.read_csv('data.csv', 
                     iterator=True)    # 产生一个迭代器
chunkSize = 100000
chunks = []
while True:
    try:
        chunk = reader.get_chunk(chunkSize)    # 一次读取特定行
        # chunk     # 进行一些过滤、处理
        chunks.append(chunk)
    except StopIteration:
        break
df = pd.concat(chunks, axis=0, ignore_index=True)

import pandas as pd

# 输出数据到txt文本
dat.to_csv('data.xls', 
           index=False,    # 是否输出df的index
           header=False,    # 是否输出表头
           na_rep='',    # 缺省值替换
           sep='\t',    # 使用tab作为分隔符
           encoding='utf-8')    # 输出文件使用utf-8编码

# 输出数据框到excel
writer = pd.ExcelWriter('output.xlsx')    # 创建输出文件
df1.to_excel(writer, 
             sheet_name='Sheet1', )    # 输出到工作簿中名为Sheet1的工作表
df2.to_excel(writer, 
             sheet_name='Sheet2', )    # 输出到工作簿中名为Sheet2的工作表
# ... 
writer.save()    # 保存工作簿

import argparse

parser = argparse.ArgumentParser(# prog=__file__,    # 设置项目名称，__file__ 与 sys.argv[0] 一致，默认显示为 basename(__file__)
      usage='''
      python %(prog)s [option]  ''',    # 设置脚本输出默认 USAGE 信息
      description=''' some script description ''',   # 脚本功能描述等等
      formatter_class=argparse.RawTextHelpFormatter,    # 以脚本内原始文档格式输出描述等信息
      epilog='''
      Note and input example, and so on.  ''')    # 脚本描述以外的其他信息

parser.add_argument('-v', '--version',    # 添加脚本版本信息参数
                    action='version',
                    version='%(prog)s 2.0')

# 添加一个普通的可选参数
parser.add_argument('-e',    # 短参数
                    '--example',    # 长参数
                    dest='example',     # 参数对应模块内部，唯一标识符
                    metavar='',    # 设置help信息中参数后字符
                    action='store',    # 参数处理方式
                    type=str,    # 传入参数类型
                    choices=['a', 'b', 'c'],    # 参数选择范围
                    required=True,    # 表示该参数必须被设置
                    default='a',    # 参数缺省时，该参数默认值
                    nargs='+',    # 参数个数，*+？，表示至少一个输入
                    help='some help infor')    # help信息
# action属性为store_true, store_false, store_const时，参数不接任何输入信息
parser.add_argument('--sum',
                    dest='accumulate',
                    action='store_const',    # 该参数被设置时，参数取值成 const 对应值
                    const=sum,
                    default=max,
                    help='sum the integers (default: find the max)')
# 位置参数
parser.add_argument('pos',
                    dest='pos_argument',
                    metavar='',
                    nargs='+',    # 参数输入文件个数
                    help='some help infor')

# 互斥参数组，组内参数不可同时出现，required=True表示组内必须有参数被设置
exclusive = parser.add_mutually_exclusive_group(required=True)    
exclusive.add_argument('-a', )
exclusive.add_argument('-b', )

# 设置多个参数为一组，无实际意义，仅在打印help信息时，分组显示
group = parser.add_argument_group('argument group info')    
group.add_argument('-c', )
group.add_argument('-d', )

# parse.print_help()
args = parser.parse_args()    # 参数解析，生成可调用对象

example = args.example
# ...

import subprocess

# 执行cmd并等待运行结束，返回执行状态码
subprocess.call('ls', shell=True)    # 与 os.system() 功能相似

# 执行cmd并等待运行结束，返回执行状态码
subprocess.check_call('ls', shell=True)    # 与subprocess.call()不同，returncode不为0，触发CalledProcessError异常

# 执行cmd并等待运行结束，返回 /dev/stdout 信息
subprocess.check_output('ls', shell=True, 
                        universal_newlines=True)    # 以 string 形式返回 stdout 信息，而不是bytes，与 os.popen() 功能相似

# 不等待 cmd 运行结束
job = subprocess.Popen('ls -l',    # string of cmd
                       shell=True,    # 传入参数作为 shell 进行执行
                       stdout=subprocess.PIPE,    # 输出标准输出到subprocess流程
                       stderr=subprocess.PIPE,    # 输出标准错误到subprocess流程
                       universal_newlines=True)    # stdout 返回时，使用 string 代替 bytes 类型
pid = job.pid    # 获得 cmd 本地执行的 pid
job.wait()    # 等待工作结束，默认Popen不等待 cmd 执行完毕即退出
stdout, stderr = job.communicate()    # 获得 cmd 执行返回标准输出、标准错误
# 设置 stdin=subprocess.PIPE 时，可以在communicate(input='...')传入参数
job.returncode    # 获得 cmd 执行状态码
job.kill()    # 杀死 cmd 进程

import os

os.system('ls -l')    # 直接返回 cmd 执行状态码
# assert not os.system('ls')
os.popen('ls -l')    # 以文件句柄的方式返回 cmd 执行的stdout信息