从fasta中抽取需要的序列: Python方法一:(这种方式最慢) 由于平时工作比较忙,工作中遇到的问题都没有及时记录,现在有空时间了所以整理一下一些常见的问题及技巧供大家参考: !/usr/bin/python im…
标签:line
Perl 6 Grammar 之分割结构化文本
如何使用 Grammar 分割一个有规律的文本文件? 首先这个文本有规律, 但是却是多行的。 我想将这样的文档分为独立的. 比如下面这个例子, 我想将他们分成3个独立的文本, 每个文本包含: [时间] Title 以及下…
Perl 6 中的动态变量
Perl 6 中的动态变量 $*ARGFILES $*ARGFILES Magic command-line input handle. argfiles.pl6 use v6; $*ARGFILES.perl.say;…
第一章 Perl单行命令介绍(1)
稍微记录一下昨天的生日聚餐 Perl one-liners are small and awesome Perl programs that fit in a single line of code. They do o…
perl进行行列转置
use strict; open IN,"<1.Book"; open OUT,">final.txt"; my $i=0; my @data; while(<IN>){ chomp; my @l…
记录一次sql优化
背景:线上反映一个订单查询比较卡要差不多4~5秒才能出结果。 360截图1786060773106106.png 疑问:根据订单号查询,如果在订单号上加了唯一索引应该很快就能查出结果啊? 前提:线上的表的索引该加的都加了…
==Spark快速入门
Spark快速入门 | Ji ZHANG’s Blog http://shzhangji.com/blog/2014/12/16/spark-quick-start/ sc.textFile()用于生成一个R…
Spark累加器及广播变量
累加器 提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 假设我们在从文件中读取呼号列表对应的日志, 同时也想知道输入文件中有多少空行,下面的python…
使用Hadoop Streaming运行Python版Wordcount
编写map函数 wordcount_mapper.py #!/usr/bin/env python # ----------------------------------------------------------…
Hive查询表行数
有时在大数据处理时需要查询一些数据表的行数,一般我们会使用 select count(*) from <table>; 或者 select count(1) from <table>; 进行查询。…
PHP 基础知识
基本语法 PHP标记 <?php ?> //短标记 <? ?> 注释 PHP 支持 C,C++ 和 Unix Shell 风格(Perl 风格)的注释。 <?php echo "This i…