\documentclass[10pt,a4paper]{article} % Packages \usepackage{fancyhdr} % For header and footer \usepackage{multicol} % Allows multicols in tables \usepackage{tabularx} % Intelligent column widths \usepackage{tabulary} % Used in header and footer \usepackage{hhline} % Border under tables \usepackage{graphicx} % For images \usepackage{xcolor} % For hex colours %\usepackage[utf8x]{inputenc} % For unicode character support \usepackage[T1]{fontenc} % Without this we get weird character replacements \usepackage{colortbl} % For coloured tables \usepackage{setspace} % For line height \usepackage{lastpage} % Needed for total page number \usepackage{seqsplit} % Splits long words. %\usepackage{opensans} % Can't make this work so far. Shame. Would be lovely. \usepackage[normalem]{ulem} % For underlining links % Most of the following are not required for the majority % of cheat sheets but are needed for some symbol support. \usepackage{amsmath} % Symbols \usepackage{MnSymbol} % Symbols \usepackage{wasysym} % Symbols %\usepackage[english,german,french,spanish,italian]{babel} % Languages % Document Info \author{pdendek} \pdfinfo{ /Title (apache-pig-1-czesc.pdf) /Creator (Cheatography) /Author (pdendek) /Subject (Apache Pig - 1. czesc Cheat Sheet) } % Lengths and widths \addtolength{\textwidth}{6cm} \addtolength{\textheight}{-1cm} \addtolength{\hoffset}{-3cm} \addtolength{\voffset}{-2cm} \setlength{\tabcolsep}{0.2cm} % Space between columns \setlength{\headsep}{-12pt} % Reduce space between header and content \setlength{\headheight}{85pt} % If less, LaTeX automatically increases it \renewcommand{\footrulewidth}{0pt} % Remove footer line \renewcommand{\headrulewidth}{0pt} % Remove header line \renewcommand{\seqinsert}{\ifmmode\allowbreak\else\-\fi} % Hyphens in seqsplit % This two commands together give roughly % the right line height in the tables \renewcommand{\arraystretch}{1.3} \onehalfspacing % Commands \newcommand{\SetRowColor}[1]{\noalign{\gdef\RowColorName{#1}}\rowcolor{\RowColorName}} % Shortcut for row colour \newcommand{\mymulticolumn}[3]{\multicolumn{#1}{>{\columncolor{\RowColorName}}#2}{#3}} % For coloured multi-cols \newcolumntype{x}[1]{>{\raggedright}p{#1}} % New column types for ragged-right paragraph columns \newcommand{\tn}{\tabularnewline} % Required as custom column type in use % Font and Colours \definecolor{HeadBackground}{HTML}{333333} \definecolor{FootBackground}{HTML}{666666} \definecolor{TextColor}{HTML}{333333} \definecolor{DarkBackground}{HTML}{A3A3A3} \definecolor{LightBackground}{HTML}{F3F3F3} \renewcommand{\familydefault}{\sfdefault} \color{TextColor} % Header and Footer \pagestyle{fancy} \fancyhead{} % Set header to blank \fancyfoot{} % Set footer to blank \fancyhead[L]{ \noindent \begin{multicols}{3} \begin{tabulary}{5.8cm}{C} \SetRowColor{DarkBackground} \vspace{-7pt} {\parbox{\dimexpr\textwidth-2\fboxsep\relax}{\noindent \hspace*{-6pt}\includegraphics[width=5.8cm]{/web/www.cheatography.com/public/images/cheatography_logo.pdf}} } \end{tabulary} \columnbreak \begin{tabulary}{11cm}{L} \vspace{-2pt}\large{\bf{\textcolor{DarkBackground}{\textrm{Apache Pig - 1. czesc Cheat Sheet}}}} \\ \normalsize{by \textcolor{DarkBackground}{pdendek} via \textcolor{DarkBackground}{\uline{cheatography.com/19160/cs/2218/}}} \end{tabulary} \end{multicols}} \fancyfoot[L]{ \footnotesize \noindent \begin{multicols}{3} \begin{tabulary}{5.8cm}{LL} \SetRowColor{FootBackground} \mymulticolumn{2}{p{5.377cm}}{\bf\textcolor{white}{Cheatographer}} \\ \vspace{-2pt}pdendek \\ \uline{cheatography.com/pdendek} \\ \end{tabulary} \vfill \columnbreak \begin{tabulary}{5.8cm}{L} \SetRowColor{FootBackground} \mymulticolumn{1}{p{5.377cm}}{\bf\textcolor{white}{Cheat Sheet}} \\ \vspace{-2pt}Not Yet Published.\\ Updated 13th May, 2016.\\ Page {\thepage} of \pageref{LastPage}. \end{tabulary} \vfill \columnbreak \begin{tabulary}{5.8cm}{L} \SetRowColor{FootBackground} \mymulticolumn{1}{p{5.377cm}}{\bf\textcolor{white}{Sponsor}} \\ \SetRowColor{white} \vspace{-5pt} %\includegraphics[width=48px,height=48px]{dave.jpeg} Measure your website readability!\\ www.readability-score.com \end{tabulary} \end{multicols}} \begin{document} \raggedright \raggedcolumns % Set font size to small. Switch to any value % from this page to resize cheat sheet text: % www.emerson.emory.edu/services/latex/latex_169.html \footnotesize % Small font. \begin{multicols*}{2} \begin{tabularx}{8.4cm}{x{4 cm} x{4 cm} } \SetRowColor{DarkBackground} \mymulticolumn{2}{x{8.4cm}}{\bf\textcolor{white}{Operacje na HDFS-ie}} \tn % Row 0 \SetRowColor{LightBackground} Kopiowanie pliku z lokalnego systemu plików do HDFS-a & hadoop fs -copyFromLocal \$\{src\_local\} \$\{dst\_HDFS\} \tn % Row Count 3 (+ 3) % Row 1 \SetRowColor{white} Usuwanie pliku na HDFS-ie & hadoop fs -rm \$\{to\_remove\_on\_HDFS\} \tn % Row Count 5 (+ 2) % Row 2 \SetRowColor{LightBackground} Przenoszenie pliku w HDFS-ie & hadoop fs -mv \$\{src\_HDFS\} \$\{dst\_HDFS\} \tn % Row Count 7 (+ 2) % Row 3 \SetRowColor{white} Kopiowanie wyników z HDFS-a do lokalnego systemu plików & hadoop fs -getmerge \$\{src\_HDFS\} \{dst\_local\} \tn % Row Count 10 (+ 3) \hhline{>{\arrayrulecolor{DarkBackground}}--} \SetRowColor{LightBackground} \mymulticolumn{2}{x{8.4cm}}{Aby korzystać z Pig-a w trybie rozproszonym (wywołanie `pig` lub `pig -x mapreduce`) należy umieścić pliki wejściowe w HDFS-ie. Po dokonaniu przetworzenia można ponownie ściągnąć dane do lokalnego systemu plików} \tn \hhline{>{\arrayrulecolor{DarkBackground}}--} \end{tabularx} \par\addvspace{1.3em} \begin{tabularx}{8.4cm}{x{1.52 cm} x{6.48 cm} } \SetRowColor{DarkBackground} \mymulticolumn{2}{x{8.4cm}}{\bf\textcolor{white}{Typy danych (Java/Pig)}} \tn % Row 0 \SetRowColor{LightBackground} \seqsplit{Integer} & int \tn % Row Count 1 (+ 1) % Row 1 \SetRowColor{white} Long & long \tn % Row Count 2 (+ 1) % Row 2 \SetRowColor{LightBackground} Float & float \tn % Row Count 3 (+ 1) % Row 3 \SetRowColor{white} Double & double \tn % Row Count 4 (+ 1) % Row 4 \SetRowColor{LightBackground} String & chararray \tn % Row Count 5 (+ 1) % Row 5 \SetRowColor{white} Byte{[}{]} & bytearray \tn % Row Count 6 (+ 1) % Row 6 \SetRowColor{LightBackground} \seqsplit{Boolean} & boolean \tn % Row Count 7 (+ 1) % Row 7 \SetRowColor{white} Tuple & tuple:(sth) \tn % Row Count 8 (+ 1) % Row 8 \SetRowColor{LightBackground} Bag & bag:\{tuples:(text:chararray)\} \tn % Row Count 9 (+ 1) % Row 9 \SetRowColor{white} Map & map:{[}'key'\#value{]} \tn % Row Count 10 (+ 1) \hhline{>{\arrayrulecolor{DarkBackground}}--} \SetRowColor{LightBackground} \mymulticolumn{2}{x{8.4cm}}{Podstawowe typy danych używane w Pig-u i ich interpretacja w Javie} \tn \hhline{>{\arrayrulecolor{DarkBackground}}--} \end{tabularx} \par\addvspace{1.3em} \begin{tabularx}{8.4cm}{x{4 cm} x{4 cm} } \SetRowColor{DarkBackground} \mymulticolumn{2}{x{8.4cm}}{\bf\textcolor{white}{Schemat danych}} \tn % Row 0 \SetRowColor{LightBackground} Wczytanie danych bez wskazania schematu & A = load 'input\_file.tsv'; \tn % Row Count 2 (+ 2) % Row 1 \SetRowColor{white} Wczytanie danych ze wskazaniem nazw kolumn (danym przypisany jest typ bytearray) & A = load 'input\_file.tsv' as (col1, col2, col3); \tn % Row Count 6 (+ 4) % Row 2 \SetRowColor{LightBackground} Wczytanie danych ze wskazaniem pełnego schematu (nazwy kolumn i ich typy) & A = load 'input\_file.tsv' as (col1:int, col2:chararray, col3:long); \tn % Row Count 10 (+ 4) % Row 3 \SetRowColor{white} j.w., inny przykład & A = load 'input\_file.tsv' as (col1:int,col2:chararray,col3:\{tup:(f1:int, f2:long)\}); \tn % Row Count 15 (+ 5) % Row 4 \SetRowColor{LightBackground} WERYFIKACJA schematu danych w tabeli A & describe A; \tn % Row Count 17 (+ 2) \hhline{>{\arrayrulecolor{DarkBackground}}--} \SetRowColor{LightBackground} \mymulticolumn{2}{x{8.4cm}}{Użytkownik wczytując dane może podać ich schemat. \newline Dzieje się tak kiedy podaje się nazwy kolumn, bądź też nazwy kolumn z konkretnymi typami.} \tn \hhline{>{\arrayrulecolor{DarkBackground}}--} \end{tabularx} \par\addvspace{1.3em} \begin{tabularx}{8.4cm}{x{4.96 cm} x{3.04 cm} } \SetRowColor{DarkBackground} \mymulticolumn{2}{x{8.4cm}}{\bf\textcolor{white}{Produkcja danych}} \tn % Row 0 \SetRowColor{LightBackground} Wypisanie tabeli A w konsoli & dump A; \tn % Row Count 2 (+ 2) % Row 1 \SetRowColor{white} Zapisanie tabeli A do pliku DST & store A into 'DST'; \tn % Row Count 4 (+ 2) \hhline{>{\arrayrulecolor{DarkBackground}}--} \SetRowColor{LightBackground} \mymulticolumn{2}{x{8.4cm}}{Aby sekwencja operacji - czy w interaktywnej konsoli, czy w wykonywanym skrypcie - została wykonana konieczne jest umieszczenie operacji produkującej wynik. \newline Operacje nie prowadzące do wyprodukowania wyniku są ignorowane.} \tn \hhline{>{\arrayrulecolor{DarkBackground}}--} \end{tabularx} \par\addvspace{1.3em} \begin{tabularx}{8.4cm}{x{4 cm} x{4 cm} } \SetRowColor{DarkBackground} \mymulticolumn{2}{x{8.4cm}}{\bf\textcolor{white}{Wykorzystanie UDFow}} \tn % Row 0 \SetRowColor{LightBackground} Zarejestruj plik JAR z lokalizacji wykonania skryptu & register 'myjar.jar' \tn % Row Count 3 (+ 3) % Row 1 \SetRowColor{white} Zarejestruj wszystie pliki JAR z lokalizacji wykonania skryptu & register '*.jar' \tn % Row Count 7 (+ 4) % Row 2 \SetRowColor{LightBackground} Zarejestruj wszystkie pliki JAR z lokalizacji wykonania skryptu oraz poziom wyżej & register '{\emph{.jar,../}}.jar' \tn % Row Count 12 (+ 5) % Row 3 \SetRowColor{white} Użyj UDF-a z klasy \seqsplit{pl.edu.example.TOLOWER} & B = foreach A generate \seqsplit{FLATTEN(pl.edu.example.TOLOWER(col1))} as lowerCol1; \tn % Row Count 16 (+ 4) % Row 4 \SetRowColor{LightBackground} Zarejestruj plik z UDFem Jythonowym & register judf.py using jython as judf; \tn % Row Count 18 (+ 2) % Row 5 \SetRowColor{white} Użyj UDF-a z zarejestrowanego skryptu judf.py & B = foreach A generate \seqsplit{FLATTEN(judf.TOLOWER(col1))} as lowerCol1; \tn % Row Count 22 (+ 4) \hhline{>{\arrayrulecolor{DarkBackground}}--} \SetRowColor{LightBackground} \mymulticolumn{2}{x{8.4cm}}{Pig umożliwia korzystanie ze zdefiniowanych w Javie, Pythonie, bądź w innym języku zdefiniowanych przez użytkownika funkcji (User Defined Functions, UDFs). Aby skorzystać z tej możliwości należy zarejestrować paczkę JAR, bądź skrypt Pythonowy, etc.} \tn \hhline{>{\arrayrulecolor{DarkBackground}}--} \end{tabularx} \par\addvspace{1.3em} \begin{tabularx}{8.4cm}{X} \SetRowColor{DarkBackground} \mymulticolumn{1}{x{8.4cm}}{\bf\textcolor{white}{Pythonowe UDFy}} \tn \SetRowColor{LightBackground} \mymulticolumn{1}{x{8.4cm}}{\seqsplit{@outputSchema('chararray')} \newline def TOLOWER(inStr): \newline return inStr.lower()} \tn \hhline{>{\arrayrulecolor{DarkBackground}}-} \end{tabularx} \par\addvspace{1.3em} % That's all folks \end{multicols*} \end{document}