Ciao!

欧拉计划的几个尝试

2017-09-14T00:00:00+00:00

最近在巩固自己的 python，查找资料的时候看到有博主推荐欧拉计划，记得之前阿良也推荐过，就尝试做了十几个题目。

1. Multiples of 3 and 5

If we list all the natural numbers below 10 that are multiples of 3 or 5, we get 3, 5, 6 and 9. The sum of these multiples is 23.

Find the sum of all the multiples of 3 or 5 below 1000.

def msum(x1=3, x2=5, limit=1000):
    lx1 = {i for i in range(1,limit) if i%x1 == 0}
    lx2 = {i for i in range(1,limit) if i%x2 == 0}
    return sum(lx1 | lx2)

msum()

2. Even Fibonacci numbers

Each new term in the Fibonacci sequence is generated by adding the previous two terms. By starting with 1 and 2, the first 10 terms will be:

1, 2, 3, 5, 8, 13, 21, 34, 55, 89, …

By considering the terms in the Fibonacci sequence whose values do not exceed four million, find the sum of the even-valued terms.

解题思路：简单递归方法速度贼慢，参考 stackoverflow: How to write the Fibonacci Sequence in Python

#f(n+2)=f(n+1)+f(n)

def fib(n, first=1, second=2):
    if n == first:
        return 1
    elif n == second:
        return 2
    else:
        return fib(n-1) + fib(n-2)
fib(9)

def fib2(n, first=1, second=2):
    a,b = first,second
    m = 0
    while m < n:
        yield a
        a,b = b,a+b
        m+=1

for i in fib2(10):print(i)

def fib3(n, first=1, second=2):
    a,b = first,second
    k=1
    while k < n:
        a,b = b,a+b
        k+=1
    return a

fib3(5)

n = 1
totalsum = 0
while fib(n) <= 4000000:
    if fib(n)%2 == 0:
        totalsum+=fib(n)
    n+=1

totalsum

3. Largest prime factor

The prime factors of 13195 are 5, 7, 13 and 29.

What is the largest prime factor of the number 600851475143 ?

注意：质数算法是很多题目的关键，对速度要求很高。具体实现可以参考编程随想的博客：求质数算法的 N 种境界[1] - 试除法和初级筛法

import math
def factor(n):
    l = []
    k = 2
    limit = math.sqrt(n)
    while k < limit:
        if n%k == 0:
            l.append(k)
            n=n/k
        else:
            k+=1
    return l

factor(600851475143)

[71, 839, 1471, 6857]

4. Largest palindrome product

A palindromic number reads the same both ways. The largest palindrome made from the product of two 2-digit numbers is 9009 = 91 × 99.

Find the largest palindrome made from the product of two 3-digit numbers.

def isreverseNum(number):
    if str(number)[::-1] == str(number):
        return True

def palin(start=100, end=1000):
    l =[]
    for x in range(start, end):
        for y in range(start, end):
            z = x*y
            if isreverseNum(z):
                l.append(z)
    return max(l)

palin()

5. Smallest multiple

2520 is the smallest number that can be divided by each of the numbers from 1 to 10 without any remainder.

What is the smallest positive number that is evenly divisible by all of the numbers from 1 to 20?

解题思路：先对 1—20 中的每个数进行因式分解，并将结果变为“因子-个数”，如 20 就是两个2，一个5，然后对这20组数中的因子个数取并集。

def factor2(n):
    l=[]
    k=2
    n0=n
    while k <= n0:
        if n%k == 0:
            l.append(k)
            n=n/k
        else:
            k+=1
    return l

factor2(20)

[2, 2, 5]

from collections import Counter

def findmul(n):
    cnt = Counter()
    for i in range(3,n):
            cnt = cnt | Counter(factor2(i))
    return cnt

findmul(20)

Counter({2: 4, 3: 2, 5: 1, 7: 1, 11: 1, 13: 1, 17: 1, 19: 1})

total = 1
for k,v in findmul(20).items():
    print(k,v)
    total*=k**v
total

6. Sum square difference

The sum of the squares of the first ten natural numbers is,

$1^2 + 2^2 + ... + 10^2 = 385$

The square of the sum of the first ten natural numbers is,

$(1 + 2 + ... + 10)^2 = 552 = 3025$

Hence the difference between the sum of the squares of the first ten natural numbers and the square of the sum is 3025 − 385 = 2640.

Find the difference between the sum of the squares of the first one hundred natural numbers and the square of the sum.

import numpy as np
np.square(np.sum(np.arange(1,101))) - np.sum(np.square(np.arange(1,101)))

25164150

7. 10001st prime

By listing the first six prime numbers: 2, 3, 5, 7, 11, and 13, we can see that the 6th prime is 13.

What is the 10 001st prime number?

n = 3
i = 1
while n < 10002:
    k = 2*i+1
    if k%3 != 0 and k%5 != 0:
        if len(factor(k)) == 0:
            n+=1
            i+=1
            if n < 5 or n%2000 == 0 or n == 10001:
                print('第 {} 个质数是 {}'.format(n,k))
        else:
            i+=1
    else:
        i+=1

第 4 个质数是 7
第 2000 个质数是 17107
第 4000 个质数是 37379
第 6000 个质数是 58889
第 8000 个质数是 81131
第 10000 个质数是 104033
第 10001 个质数是 104047

8. Largest product in a series

The four adjacent digits in the 1000-digit number that have the greatest product are 9 × 9 × 8 × 9 = 5832.

73167176531330624919225119674426574742355349194934
96983520312774506326239578318016984801869478851843
85861560789112949495459501737958331952853208805511
12540698747158523863050715693290963295227443043557
66896648950445244523161731856403098711121722383113
62229893423380308135336276614282806444486645238749
30358907296290491560440772390713810515859307960866
70172427121883998797908792274921901699720888093776
65727333001053367881220235421809751254540594752243
52584907711670556013604839586446706324415722155397
53697817977846174064955149290862569321978468622482
83972241375657056057490261407972968652414535100474
82166370484403199890008895243450658541227588666881
16427171479924442928230863465674813919123162824586
17866458359124566529476545682848912883142607690042
24219022671055626321111109370544217506941658960408
07198403850962455444362981230987879927244284909188
84580156166097919133875499200524063689912560717606
05886116467109405077541002256983155200055935729725
71636269561882670428252483600823257530420752963450

Find the thirteen adjacent digits in the 1000-digit number that have the greatest product. What is the value of this product?

seed = """
73167176531330624919225119674426574742355349194934
96983520312774506326239578318016984801869478851843
85861560789112949495459501737958331952853208805511
12540698747158523863050715693290963295227443043557
66896648950445244523161731856403098711121722383113
62229893423380308135336276614282806444486645238749
30358907296290491560440772390713810515859307960866
70172427121883998797908792274921901699720888093776
65727333001053367881220235421809751254540594752243
52584907711670556013604839586446706324415722155397
53697817977846174064955149290862569321978468622482
83972241375657056057490261407972968652414535100474
82166370484403199890008895243450658541227588666881
16427171479924442928230863465674813919123162824586
17866458359124566529476545682848912883142607690042
24219022671055626321111109370544217506941658960408
07198403850962455444362981230987879927244284909188
84580156166097919133875499200524063689912560717606
05886116467109405077541002256983155200055935729725
71636269561882670428252483600823257530420752963450"""

seed2 = ''.join(seed.split())

j = 0
large = 1
while j+13 <= len(seed2):
    text = list(seed2[j:(j+13)])
    digits = [int(i) for i in text]
    product = 1
    for i in digits:
        product*=int(i)
    if product >= large:
        large = product
    j+=1
large

23514624000

9. Special Pythagorean triplet

A Pythagorean triplet is a set of three natural numbers, $a < b < c$, for which,

$a^2 + b^2 = c^2$

For example, $3^2 + 4^2 = 9 + 16 = 25 = 5^2$.

There exists exactly one Pythagorean triplet for which $a + b + c = 1000$. Find the product $abc$.

for a in range(1,500):
    for b in range(1,500):
        if a < b and a**2 + b**2 ==  (1000-a-b)**2:
            print(a, b, a*b*(1000-a-b))

200 375 31875000

10. Summation of primes

The sum of the primes below 10 is $2 + 3 + 5 + 7 = 17$.

Find the sum of all the primes below two million.

prime_sum = 10
i = 1
n = 3
for i in range(1,1000000):
    k = 2*i+1
    if k%3!=0 and k%5 != 0 and k < 2000000:
        if len(factor(k)) == 0:
            n+=1
            prime_sum+=k
            if n < 6 or n%20000 == 0:
                print('第 {} 个质数是 {}，他们的和为 {}'.format(n,k,prime_sum))
prime_sum

第 4 个质数是 7，他们的和为 17
第 5 个质数是 11，他们的和为 28
第 20000 个质数是 223633，他们的和为 2124103173
第 40000 个质数是 478399，他们的和为 9120139073
第 60000 个质数是 744661，他们的和为 21334048815
第 80000 个质数是 1018123，他们的和为 38948745271
第 100000 个质数是 1297019，他们的和为 62092494303
第 120000 个质数是 1580573，他们的和为 90861601085
第 140000 个质数是 1867477，他们的和为 125342898663

143042032078

11. Largest product in a grid (unsolved)

In the 20×20 grid below, four numbers along a diagonal line have been marked in red.

08 02 22 97 38 15 00 40 00 75 04 05 07 78 52 12 50 77 91 08
49 49 99 40 17 81 18 57 60 87 17 40 98 43 69 48 04 56 62 00
81 49 31 73 55 79 14 29 93 71 40 67 53 88 30 03 49 13 36 65
52 70 95 23 04 60 11 42 69 24 68 56 01 32 56 71 37 02 36 91
22 31 16 71 51 67 63 89 41 92 36 54 22 40 40 28 66 33 13 80
24 47 32 60 99 03 45 02 44 75 33 53 78 36 84 20 35 17 12 50
32 98 81 28 64 23 67 10 26 38 40 67 59 54 70 66 18 38 64 70
67 26 20 68 02 62 12 20 95 63 94 39 63 08 40 91 66 49 94 21
24 55 58 05 66 73 99 26 97 17 78 78 96 83 14 88 34 89 63 72
21 36 23 09 75 00 76 44 20 45 35 14 00 61 33 97 34 31 33 95
78 17 53 28 22 75 31 67 15 94 03 80 04 62 16 14 09 53 56 92
16 39 05 42 96 35 31 47 55 58 88 24 00 17 54 24 36 29 85 57
86 56 00 48 35 71 89 07 05 44 44 37 44 60 21 58 51 54 17 58
19 80 81 68 05 94 47 69 28 73 92 13 86 52 17 77 04 89 55 40
04 52 08 83 97 35 99 16 07 97 57 32 16 26 26 79 33 27 98 66
88 36 68 87 57 62 20 72 03 46 33 67 46 55 12 32 63 93 53 69
04 42 16 73 38 25 39 11 24 94 72 18 08 46 29 32 40 62 76 36
20 69 36 41 72 30 23 88 34 62 99 69 82 67 59 85 74 04 36 16
20 73 35 29 78 31 90 01 74 31 49 71 48 86 81 16 23 57 05 54
01 70 54 71 83 51 54 69 16 92 33 48 61 43 52 01 89 19 67 48

The product of these numbers is $26 × 63 × 78 × 14 = 1788696$.

What is the greatest product of four adjacent numbers in the same direction (up, down, left, right, or diagonally) in the 20×20 grid?

12. Highly divisible triangular number

The sequence of triangle numbers is generated by adding the natural numbers. So the 7th triangle number would be $1 + 2 + 3 + 4 + 5 + 6 + 7 = 28$. The first ten terms would be:

$1, 3, 6, 10, 15, 21, 28, 36, 45, 55, …$

Let us list the factors of the first seven triangle numbers:

1
1,3
1,2,3,6
1,2,5,10
1,3,5,15
1,3,7,21
1,2,4,7,14,28

We can see that 28 is the first triangle number to have over five divisors.

What is the value of the first triangle number to have over five hundred divisors?

def triangle(n):
    return int(n*(n+1)/2)

def triangle2(n):
    if n == 1:
        return 1
    else:
        return int(triangle(n-1)*(n+1)/(n-1))

triangle2(100)

def triNum(n):
    if n == 1:
        return 1
    tri=triangle(n)
    limit = math.sqrt(tri)
    k = 2
    count = 2
    while k <= limit:
        if tri%k == 0:
            count+=2
        k+=1
    return count

triNum(7)

count = 2
i = 1
while count <= 500:
    i+=1
    count = triNum(i)

print(i, triangle(i),count)

12375 76576500 576

13. Large sum (unsolved)

Work out the first ten digits of the sum of the following one-hundred 50-digit numbers.

37107287533902102798797998220837590246510135740250
46376937677490009712648124896970078050417018260538
74324986199524741059474233309513058123726617309629
91942213363574161572522430563301811072406154908250
23067588207539346171171980310421047513778063246676
89261670696623633820136378418383684178734361726757
28112879812849979408065481931592621691275889832738
44274228917432520321923589422876796487670272189318
47451445736001306439091167216856844588711603153276
70386486105843025439939619828917593665686757934951
62176457141856560629502157223196586755079324193331
64906352462741904929101432445813822663347944758178
92575867718337217661963751590579239728245598838407
58203565325359399008402633568948830189458628227828
80181199384826282014278194139940567587151170094390
35398664372827112653829987240784473053190104293586
86515506006295864861532075273371959191420517255829
71693888707715466499115593487603532921714970056938
54370070576826684624621495650076471787294438377604
53282654108756828443191190634694037855217779295145
36123272525000296071075082563815656710885258350721
45876576172410976447339110607218265236877223636045
17423706905851860660448207621209813287860733969412
81142660418086830619328460811191061556940512689692
51934325451728388641918047049293215058642563049483
62467221648435076201727918039944693004732956340691
15732444386908125794514089057706229429197107928209
55037687525678773091862540744969844508330393682126
18336384825330154686196124348767681297534375946515
80386287592878490201521685554828717201219257766954
78182833757993103614740356856449095527097864797581
16726320100436897842553539920931837441497806860984
48403098129077791799088218795327364475675590848030
87086987551392711854517078544161852424320693150332
59959406895756536782107074926966537676326235447210
69793950679652694742597709739166693763042633987085
41052684708299085211399427365734116182760315001271
65378607361501080857009149939512557028198746004375
35829035317434717326932123578154982629742552737307
94953759765105305946966067683156574377167401875275
88902802571733229619176668713819931811048770190271
25267680276078003013678680992525463401061632866526
36270218540497705585629946580636237993140746255962
24074486908231174977792365466257246923322810917141
91430288197103288597806669760892938638285025333403
34413065578016127815921815005561868836468420090470
23053081172816430487623791969842487255036638784583
11487696932154902810424020138335124462181441773470
63783299490636259666498587618221225225512486764533
67720186971698544312419572409913959008952310058822
95548255300263520781532296796249481641953868218774
76085327132285723110424803456124867697064507995236
37774242535411291684276865538926205024910326572967
23701913275725675285653248258265463092207058596522
29798860272258331913126375147341994889534765745501
18495701454879288984856827726077713721403798879715
38298203783031473527721580348144513491373226651381
34829543829199918180278916522431027392251122869539
40957953066405232632538044100059654939159879593635
29746152185502371307642255121183693803580388584903
41698116222072977186158236678424689157993532961922
62467957194401269043877107275048102390895523597457
23189706772547915061505504953922979530901129967519
86188088225875314529584099251203829009407770775672
11306739708304724483816533873502340845647058077308
82959174767140363198008187129011875491310547126581
97623331044818386269515456334926366572897563400500
42846280183517070527831839425882145521227251250327
55121603546981200581762165212827652751691296897789
32238195734329339946437501907836945765883352399886
75506164965184775180738168837861091527357929701337
62177842752192623401942399639168044983993173312731
32924185707147349566916674687634660915035914677504
99518671430235219628894890102423325116913619626622
73267460800591547471830798392868535206946944540724
76841822524674417161514036427982273348055556214818
97142617910342598647204516893989422179826088076852
87783646182799346313767754307809363333018982642090
10848802521674670883215120185883543223812876952786
71329612474782464538636993009049310363619763878039
62184073572399794223406235393808339651327408011116
66627891981488087797941876876144230030984490851411
60661826293682836764744779239180335110989069790714
85786944089552990653640447425576083659976645795096
66024396409905389607120198219976047599490197230297
64913982680032973156037120041377903785566085089252
16730939319872750275468906903707539413042652315011
94809377245048795150954100921645863754710598436791
78639167021187492431995700641917969777599028300699
15368713711936614952811305876380278410754449733078
40789923115535562561142322423255033685442488917353
44889911501440648020369068063960672322193204149535
41503128880339536053299340368006977710650566631954
81234880673210146739058568557934581403627822703280
82616570773948327592232845941706525094512325230608
22918802058777319719839450180888072429661980811197
77158542502016545090413245809786882778948721859617
72107838435069186155435662884062257473692284509516
20849603980134001723930671666823555245252804609722
53503534226472524250874054075591789781264330331690

14. Longest Collatz sequence

The following iterative sequence is defined for the set of positive integers:

$n → n/2$ (n is even)

$n → 3n + 1$ (n is odd)

Using the rule above and starting with 13, we generate the following sequence:

$13 → 40 → 20 → 10 → 5 → 16 → 8 → 4 → 2 → 1$

It can be seen that this sequence (starting at 13 and finishing at 1) contains 10 terms. Although it has not been proved yet (Collatz Problem), it is thought that all starting numbers finish at 1.

Which starting number, under one million, produces the longest chain?

NOTE: Once the chain starts the terms are allowed to go above one million.

def Collatz(n):
    count=0
    while n != 1:
        if n%2 == 0:
            n = int(n/2)
        else:
            n = 3*n+1
        count+=1
    return count
Collatz(13)

Collatz_dict = {i:Collatz(i) for i in range(1, 1000001)}
max(Collatz_dict, key=Collatz_dict.get)

15. Lattice paths (unsolved)

Starting in the top left corner of a 2×2 grid, and only being able to move to the right and down, there are exactly 6 routes to the bottom right corner.

How many such routes are there through a 20×20 grid?

16. Power digit sum

$ 2^{15} = 32768$ and the sum of its digits is $3 + 2 + 7 + 6 + 8 = 26$.

What is the sum of the digits of the number $2^{1000}$?

sum([int(i) for i in list(str(2**1000))])

17. Number letter counts (unsolved)

If the numbers 1 to 5 are written out in words: one, two, three, four, five, then there are 3 + 3 + 5 + 4 + 4 = 19 letters used in total.

If all the numbers from 1 to 1000 (one thousand) inclusive were written out in words, how many letters would be used?

NOTE: Do not count spaces or hyphens. For example, 342 (three hundred and forty-two) contains 23 letters and 115 (one hundred and fifteen) contains 20 letters. The use of “and” when writing out numbers is in compliance with British usage.

21. Amicable numbers

Let $d(n)$ be defined as the sum of proper divisors of $n$ (numbers less than $n$ which divide evenly into $n$). If $d(a) = b$ and $d(b) = a$, where $a ≠ b$, then $a$ and $b$ are an amicable pair and each of $a$ and $b$ are called amicable numbers.

For example, the proper divisors of $220$ are $1, 2, 4, 5, 10, 11, 20, 22, 44, 55$ and $110$; therefore $d(220) = 284$. The proper divisors of $284$ are $1, 2, 4, 71$ and $142$; so $d(284) = 220$.

Evaluate the sum of all the amicable numbers under 10000.

def div_fac(n):
    limit = math.sqrt(n)
    k = 2
    divi = set([1])
    while k <= limit:
        if n%k == 0:
            divi.add(k)
            divi.add(int(n/k))
        k=k+1
    return sum(divi)

div_fac(220)

total=0
for i in range(1,10000):
    if div_fac(div_fac(i)) == i and i != div_fac(i):
        total+=i
        print(i,div_fac(i))

total

23. Non-abundant sums

A perfect number is a number for which the sum of its proper divisors is exactly equal to the number. For example, the sum of the proper divisors of 28 would be $1 + 2 + 4 + 7 + 14 = 28$, which means that 28 is a perfect number.

A number n is called deficient if the sum of its proper divisors is less than n and it is called abundant if this sum exceeds n.

As $12$ is the smallest abundant number, $1 + 2 + 3 + 4 + 6 = 16$, the smallest number that can be written as the sum of two abundant numbers is 24. By mathematical analysis, it can be shown that all integers greater than 28123 can be written as the sum of two abundant numbers. However, this upper limit cannot be reduced any further by analysis even though it is known that the greatest number that cannot be expressed as the sum of two abundant numbers is less than this limit.

Find the sum of all the positive integers which cannot be written as the sum of two abundant numbers.

abundant=set()
for i in range(12,28123):
    if div_fac(i) > i:
        abundant.add(i)

l = set()
for i in range(1,28124):
    m = [j for j in abundant if j < i]
    for t in m:
        if (i-t) in abundant:
            l.add(i)

cannot = {i for i in range(1,28124)} - l
sum(cannot)

25. 1000-digit Fibonacci number

The Fibonacci sequence is defined by the recurrence relation:

Fn = Fn−1 + Fn−2, where F1 = 1 and F2 = 1.

Hence the first 12 terms will be:

F1 = 1
F2 = 1
F3 = 2
F4 = 3
F5 = 5
F6 = 8
F7 = 13
F8 = 21
F9 = 34
F10 = 55
F11 = 89
F12 = 144

The 12th term, F12, is the first term to contain three digits.

What is the index of the first term in the Fibonacci sequence to contain 1000 digits?

i = 1
a,b=1,1
while len(str(a)) < 1000:
    i+=1
    a,b = b, a+b
print(i,len(str(a)),a)

4782 1000 1070066266382758936764980584457396885083683896632151665013235203375314520604694040621889147582489792657804694888177591957484336466672569959512996030461262748092482186144069433051234774442750273781753087579391666192149259186759553966422837148943113074699503439547001985432609723067290192870526447243726117715821825548491120525013201478612965931381792235559657452039506137551467837543229119602129934048260706175397706847068202895486902666185435124521900369480641357447470911707619766945691070098024393439617474103736912503231365532164773697023167755051595173518460579954919410967778373229665796581646513903488154256310184224190259846088000110186255550245493937113651657039447629584714548523425950428582425306083544435428212611008992863795048006894330309773217834864543113205765659868456288616808718693835297350643986297640660000723562917905207051164077614812491885830945940566688339109350944456576357666151619317753792891661581327159616877487983821820492520348473874384736771934512787029218636250627816

30. Digit fifth powers (unsolved)

Surprisingly there are only three numbers that can be written as the sum of fourth powers of their digits:

$1634 = 1^4 + 6^4 + 3^4 + 4^4$ $8208 = 8^4 + 2^4 + 0^4 + 8^4$ $9474 = 9^4 + 4^4 + 7^4 + 4^4$

As $1 = 1^4$ is not a sum it is not included.

The sum of these numbers is $1634 + 8208 + 9474 = 19316$ .

Find the sum of all the numbers that can be written as the sum of fifth powers of their digits.

31. Coin sums

In England the currency is made up of pound, £, and pence, p, and there are eight coins in general circulation:

$1p, 2p, 5p, 10p, 20p, 50p, £1 (100p)$ and $£2 (200p)$.

It is possible to make £2 in the following way:

$1×£1 + 1×50p + 2×20p + 1×5p + 1×2p + 3×1p$

How many different ways can £2 be made using any number of coins?

coins = [1,2,5,10,20,50,100,200]

def findcoin(target, n):
    if n <=  1:
        return 1
    res = 0
    while target >= 0:
        res+=findcoin(target,n-1)
        target  = target - coins[n-1]
    return res

findcoin(200,8)

findcoin(231,8)

基于爱思想网窥视网络审查

2017-06-13T00:00:00+00:00

注：

这个小研究仍在进行中，后期可能会有删改。
欢迎参与，源代码 https://github.com/tsai1993/aisixiang，原始数据 http://pan.baidu.com/s/1dFy5bXJ。

对中国政治审查的研究，最知名的应该是 Gary King¹。Gary King 和他的团队在 1400 个社交媒体平台部署了各类议题的帖子，然后长期跟踪这些帖文的删除情况，利用文本分析的方法，在对 85 个议题的分析中发现，对政府的批评不太可能被删贴处理，相反，任何有可能促使社会运动的言论才是删除的重点，审查制度主要服务于预测并消除群体性事件。Gary King 利用大数据做因果分析，开创了一个新的研究范式。

研究方法

在对爱思想网的观察中，意外发现爱思想网有全部文章目录，其全部文章的点击排行（http://www.aisixiang.com/toplist/index.php?id=1&period=all）中包含全部文章目录。因此，可以通过定期抓取全部文章目录，对比不同时间点的文章列表，可以知道文章的增删情况。

此外，爱思想网部分文章仅对会员可见，可以对比分析全部可见与仅会员可见和删文的性质，来分析哪类文章更可能被删除。

通过在云服务器部署爬虫，最终得到 2017 年 1 月 20 日、5 月 24 日和 6 月 10 日的全部文章列表，1 月 20 日、5 月 24 日的仅会员可见文章列表，1 月 20 日 99539 篇全部可见文章，5 月 24 日 100946 篇全部可见文章和 528 篇会员可见文章。

爱思想网简介

爱思想网自称成立于 2010 年 1 月，但其前身为燕南网、天益网，真正历史源头远早于此。网站上最早的一篇文章是于 2000 年 6 月 22 日发布的辛岛静态的《关于汉译佛典的研究——语言、方法及文献学问题》。爱思想网的定位，“终身学习平台和思想门户，致力于传播常识、追求真知、分享资讯，旨在推动学术繁荣、塑造社会精神”。

通过分析网站作者，发现爱思想网的作者绝大部分是大学教授以及公共知识分子。爱思想网与社交媒体不同，社交媒体人人可以发言，但是爱思想网是编辑约稿，设置学者专栏和栏目分类的模式，具有较高的门槛。比较发文数量前 20 名的作者，发现他们全部为大学教授，并且经常做公共发言。

数量排名	作者	文章数量
1	张鸣	772
2	郑永年	554
3	徐贲	453
4	傅国涌	414
5	周其仁	396
6	信力建	389
7	杨恒均	385
8	秋风	377
9	张千帆	336
10	鲍盛刚	322
11	陈行之	313
12	雷颐	308
13	秦晖	279
14	吴敬琏	268
15	戴建业	260
16	高一飞	257
17	田飞龙	250
18	吴稼祥	244
19	陶东风	239
20	于建嵘	238

因此，不同于 Gary King 对普通社交媒体平台的研究，爱思想网有不同的模式。它的内容主要是学者学术研究的公共发布，以及其他社会议题的公共讨论。网站主要刊登的是学者的学术研究和公共讨论，其篇幅都较长，比一般社交媒体要更为严肃。

审查总体规模

爱思想网的每一篇文章均有一个独特ID，如“于建嵘：中国农村的政治危机：表现、根源和对策”，其 ID 807，地址为 http://www.aisixiang.com/data/807.html。通过对比文章ID与发布时间，可以发现，除了早期的ID与时间不统一之外，文章ID是按照线性增长。

因此，可以根据全部文章数量与最大 ID 的比值，计算出全部删除文章的比例。经计算，2017 年 1 月 20 日、5 月 24 日和 6 月 10 日，删除比例分别为 3.24%、 3.37% 和 3.40%。

历年删文分布

通过对比消失的ID，可以得到历年删文的水平。2017 年 6 月 10 日，全网共有 101050 篇文章，但最大的 ID 为 104612，有 3563 篇文章消失了。为了得到各年删文数量情况，将消失的 ID 数字加 10，作为被删文章的发布时间估计。发现新的 ID 中有 3335 篇文章有对应数据，得到历年全网文章和被删文章情况如下。

由上图可知，除了 2017 年只有半年数据外，2008 年相较于 2007 年，文章数量上有巨大的增长。而最大的增长来自于 2011 年，相较于 2010 年，几乎翻倍。2015 年在文章数量上，增长超过五分之一，但是相应的删文数量也创新高。而 2016 年的发文数量回落到 2008-2010 年的水平。此外，还可以发现，2017 年已经过半，但是文章数量仅有 2016 年的三分之一左右。

被删文章内容分析

在 2017 年 1 月 20 日的 99539 篇全部可见文章中有 112 篇文章没有出现在 2017 年 6 月 10 日的文章列表里（截至到 6 月 10 日，有 3562 篇文章被删除）。分析在这五个月中被删的 112 篇文章，发现有 33 篇文章在当时就属于仅会员可见，占到被删除文章的 29.5%，而仅会员可见文章一共只有 528 篇，只占全部文章的 0.52%。因此，有理由认为，仅会员可见是网站的自我保护的行为，同时，也可以理解成网站的一种自我审查。

排名	作者	被删文章数量	总数量（20170120）
1	左春和	30	30
2	崔卫平	12	222
3	吴万伟	6	191
4	李昌庚	4	51
5	傅国涌	3	417
6	嵇立群	3	10
7	陈有西	2	34

分析这 112 篇文章的作者，除去只出现一次的作者，一共只有七人，其中左春和的 30 篇文章悉数删除。搜索后发现是该作者在微博发表言论后被撤职并且遭到封杀，这是属于典型的对人不对言。

而排名第二的崔卫平，截至 2017 年 1 月 20 日，在整个爱思想网发文 222篇，被删除的 12 篇文章，均是有关后极权主义、哈维尔和米奇尼克。傅国涌的三篇文章也都是关于米奇尼克。显然，这是明显的对言不对人，有关极权主义的文章显然挑起了当局的敏感神经。

而排名第三的吴万伟的几篇文章均是关于自杀、道德哲学等主题，而吴万伟在整个爱思想网的发文和译文超过 191 篇，也是一个明显的对言不对人。

排名第四的李昌庚，主题涉及到土地产权、国企改革和社会转型，他在整个爱思想网发文 51 篇。余下暂不赘述。

从这个简单的分析中可以看出来，学者文章被删，有两个主要类别，一是“对人不对言”，是针对作者的封杀；二是“对言不对人”，当作者触及到某些议题，就有可能会被删除。至于是哪些议题，除了反极权等当局比较敏感的议题外，其他诸如道德哲学、社会转型、土地改革等，也会被删文。与 Gary King 在社交媒体中的发现不同，这些偏学术、严肃讨论的文章，并没有任何引发社会运动的因素，相反，有关意识形态、改革和无厘头的主题更容易被删文。

仅会员可见文章分析

仅会员可见是网站的一种自我保护，可以看一下仅会员可见文章的点击量与全部可见文章的差异。

分析发现，从总体上说，仅会员可见的文章平均点击量是全部可见文章的 1.9 倍，可见仅会员可见文章的总体水平是高于平均值的。

2017 年 5 月 24 日，有 528 篇会员可见文章，截至到 6 月 11 日抓取数据时有 5 篇文章已经被删除。在余下的 523 篇文章中，利用 jiebaR 软件包，读取全文，去除空格和空白行后，提取每篇文章的 10 个关键词，进行词频统计，获取超过 10 次以上的关键词。

在 2017 年 5 月 24 日的 100415 篇全部可见文章中的未删除文章中，随机抽取 523 篇，每篇文章同样提取 10 个关键词，进行词频统计，获取超过10次以上的关键词。

将两类关键词相减，得到每个关键词的净频次。

净频次前十的关键词分别是，毛泽东，文革，政治，民主，宪政，共产党，自由，事件，中共，人民；净频次后十的关键词分别是，发展、美国、研究、经济、法律、法治、日本、企业、世界、传统。分析这些会员可见文章的关键词，可以发现，历史领袖人物评价、改革、历史、文革、自由、宪政等等议题更可能成为会员可见内容。因此，意识形态仍然是严肃学术讨论中的禁区，这与Gary King有关社交媒体平台的审查截然不同。

参考文献

King, Gary, Jennifer Pan, and Margaret E. Roberts. “How censorship in China allows government criticism but silences collective expression.” American Political Science Review 107.02 (2013): 326-343. ↩

Sia 分析

2016-11-26T00:00:00+00:00

← Home

Sia 分析

如果您对枯燥的数据获取和数据清洗部分不感兴趣，请直接阅读数据分析；如果您想获取处理好的数据自行分析，请下载 sia-79701，该数据以 1% 系统取样至 79701 区块。

数据获取

Sia 官网有公开数据，网址为 https://explore.sia.tech/，不过只有当前区块的数据。需要通过查询每一区块的信息获得历史信息。

网站数据由 js 生成的，需要安装 phantomjs 来提取数据。速度较慢，因此按 1% 系统取样的方法获得数据，即从区块 1 到 2016 年 11 月 25 日的区块 79795 中，每间隔 100 取一个区块。

采用 R 语言的 rvest 包抓取数据。

比较奇怪的一点是，区块高度为 35001 的区块信息页面加载很慢，导致该数据缺失。

library(rvest)

# 只需要改动 to 后面的区块高度和间隔 by 即可
Height <- seq(from = 1, to = 79795, by = 100)
URL <- as.vector(paste0("https://explore.sia.tech/block.html?height=", Height))

Sia <- list(length = length(Height))
j <- 1
for(i in URL){
  writeLines(sprintf("var page = require('webpage').create();
                      page.open('%s', function () {
                      console.log(page.content); //page source
                      phantom.exit();
                      });", i), con="scrape.js")
  system("phantomjs scrape.js > scrape.html")
  Web <- read_html("scrape.html")
  Sia[[j]] <- as.vector(html_text(html_nodes(Web, "tr .stats-info")))[1:13]
  print(Sys.time())
  print(i)
  j <- j+1
}

Sia <- t(as.data.frame(Sia))
Sia <- data.frame(Sia)
row.names(Sia) <- Height
names(Sia) <- c("Height", "ID", "Parent","Time", "Difficulty", "Hashrate",
                "Total", "Contracts", "Cost", "Proofs", "MinerID",
                "Address", "Value")

write.csv(Sia, "sia.csv", row.names = F)

数据清洗

主要涉及时间格式转换、用正则表达式格式化数据和数据类型转化，还涉及少量的单位转换。

Sia <- read.csv("sia.csv")
Sia_d <- Sia[, c(-2, -3, -11, -12)]

library(stringr)
library(lubridate)

# 时间处理
Time <- as.data.frame(str_split(Sia_d$Time, ",", simplify = T))
Mon <- as.data.frame(str_split(Time$V2, " ", simplify = T))
Mon2 <- match(Mon[[2]], month.abb)
Day <- Mon$V3
Year <- Time$V3
Time <- Time$V1

S_time <- str_c(Year, Mon2, Day, sep = "-")
S_time <- str_c(S_time, Time, sep = " ")
S_time <- ymd_hm(S_time)

Sia_d$Time <- S_time

# 数据格式化和数据转换
Water <- function(x){
  as.numeric(gsub("\\D", "", x))
}

Sia_d$Height <- Water(Sia_d$Height)
Sia_d$Difficulty <- Water(Sia_d$Difficulty)
Sia_d$Hashrate <- Water(Sia_d$Hashrate)

Sia_d$Total <- Water(Sia_d$Total)
Sia_d$Total[1:34] <- Sia_d$Total[1:34] / 10000000
Sia_d$Total <- Sia_d$Total / 10

Sia_d$Contracts <- Water(Sia_d$Contracts)
Sia_d$Cost <- Water(gsub("\\D", "", Sia_d$Cost))
Sia_d$Proofs <- Water(Sia_d$Proofs)
Sia_d$Value <- Water(Sia_d$Value)

数据分析

挖矿难度

首先看哈希率估计值和挖矿难度。两者其实是一个概念，均表示挖矿难度。Sia 要保证每十分钟产生一个区块，因此每个矿工获得该区块的概率就与全网算力呈反比，哈希率估计值就可以作为矿工投入总量的指标。

library(ggplot2)
ggplot(Sia_d) + 
  geom_line(aes(Time, Hashrate)) +
  scale_x_datetime(date_breaks = "1 month") +
  xlab("日期") +
  ylab("哈希率估计值") +
  ggtitle("Sia 挖矿难度") +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

如图，从 2016 年 6 月份开始，挖矿投入持续上升，而且在七月初有大户入场，在十月中下旬达到最高峰。而在十一月上旬，全网算力恢复到七月初的水平，而随后又开始飙升。

这幅图说明了什么，首先，十月中下旬的暴跌说明这个 Sia 挖矿只有有限的几个玩家，而且其中一名挖矿者至少有全网算力的一半以上，这种断崖式下跌是该玩家退场或者中场休息的结果。

随着挖矿难度的上升，矿工套现的压力也越大，因此从七月份以后，Sia Coin 的价格持续下跌。矿工套现离场应该是一个重要因素。

合约分析

令人异常费解的是，合约数量四月中下旬达到最高峰，现在回落到几乎为零的水平。而 1.0 版本六月才发布，那么这之前的两万多合约数是怎么回事呢？换句话说，1.0 版本的发布没有带来任何新的合约。

这幅图的信息最有用吧，从这幅图，我们知道，起码到目前为止，根本没人在用 Sia 存储。

ggplot(Sia_d) + 
  geom_line(aes(Time, Contracts)) +
  scale_x_datetime(date_breaks = "1 month") +
  xlab("日期") +
  ylab("活跃合约数量") +
  ggtitle("Sia 合约数") +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

如果再看看全部存储合约所消耗的 sc，与上图的合约数量完全不对应。sc 消耗在六月和十月分别有一次跃迁，单在这两个时间里，合约数量却没有显著增长，有可能是有两个大户入场了……

无法获得总文件大小的数据，不过记得之前一直保持在 26T，现在是 27T，看来是有个大户入场的。一个 T 的数据居然也成了大户。整个 Sia 的数量已经达到 207 亿，而存储消耗的 sc 只有 3160 万，千分之一点五而已。

ggplot(Sia_d) + 
  geom_line(aes(Time, Cost)) +
  scale_x_datetime(date_breaks = "1 month") +
  xlab("日期") +
  ylab("合约消耗 Sia 数量") +
  ggtitle("合约消耗 Sia 数量") +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

总结

之所以做这样一个分析，是想做一个尝试。假想自己是一个 VC，现在你怎样给一个区块链技术公司估值，是否要买入这家公司的股票。鉴于区块链技术与生俱来的数据开放性特征，非常适合这一尝试。

目前 sia 价格异常低，但是在挖矿难度上却有一个反弹，至少说明大佬们还没有放弃投资。

从开发团队的 GitHub 的 commit 情况上看，八月份之后团队对 sia 本身提交补丁的数量显著减少，说明 sia 本身已经比较完善。而八月九月团队主要在开发 Sia-Ant-Farm。

以当前价格 0.00172 人民币和当前数量 207 亿计算，总价值 3572 万，而当前合约价格几乎为零（前面分析只占 0.15%）。在短期内，团队还没有死掉的迹象。因此，如果有下一轮融资，可能会有一个短暂的拉升，但是抛售离场得多，拉升空间很小，而且高位时间很短。

对于短期投资者来说，精准预测下一轮融资时间并在最低价位入场是个关键。而对长期投资者来说，前面还是茫茫黑夜。

在设想做一个区块链的估值指标体系，如同标准普尔，甚至做一个类似债券评级的评估方法，感兴趣的可以发邮件交流：

Mac 常用软件

2016-11-22T00:00:00+00:00

买 Mac 真的是个意外，真心觉得还是 Linux 好用。在 Mac 下想找一个记日记的软件都很难。

终端

brew 终端软件包管理器

安装
```
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
```
安装软件 brew install package_name

卸载软件 brew uninstall package_name
iTerm2 终端终结者
Zsh + Oh My Zsh 一个更好的终端
- 主题我选的是 amuse
- 字体安装 Powerline 字体，14pt Meslo LG L DZ Regular for Powerline
- 插件
  - git
  - extract 用 x 一键解压
  - z 路径记忆

开发

Atom
Rstudio
IPython
TexLive

日常

Firefox
Rime
ThunderBird
LibreOffice
Transmission
IINA ~~VLC~~
Dropbox
~~坚果云~~
CaptuocrToy 截图文字识别
微信
mac OS 版微信小助手
网易云音乐
Boostnote
AppCleaner
Telegram

因为与 Linux 常用软件多有重复，不再赘述。

国家自然科学基金数据分析

2016-11-20T00:00:00+00:00

← Home

国家自然科学基金数据分析

最近在做的一件事情需要查询各类项目，意外发现国家社科基金和国家自然科学基金这些项目数据都是公开的，于是就想弄下来分析一下。另外强烈吐槽教育部人文社会科学研究规划基金，项目数据居然是不公开的！

获取数据

由于网站数据结构化程度很高，利用 R 语言的 XML 包中的 readHTMLTable 函数，只需很少的代码就可以得到整齐的数据。在获取数据的过程中，唯一需要的参数就是网页中的页面总数。

打开国家自然科学基金数据库，查找总页数的方法就是把浏览器地址栏的最后一个参数调到足够大，比如调到 100000， http://www.nsfcms.org/index.php?r=search/index&Projects_page=100000，然后就看到最后一页是 1606 页。

library(XML)

# 查看网站上的总页数，2016-11-19 日时有 1606 页
Page <- 1606
URL <- as.vector(paste0("http://www.nsfcms.org/index.php?r=search/index&Projects_page=",
                        1:Page))

Natural <- data.frame()
i <- 1
for (i in 1:Page){
  D1 <- as.data.frame(readHTMLTable(URL[i]))
  Natural <- rbind(Natural, D1)
  print(i)
  i <- i + 1
}

names(Natural) <- c("项目批准号", "项目类别", "项目名称", "依托单位",
                    "负责人", "金额", "起止年月","总评")

# 保存时最好以抓取日期命名
write.csv(Natural, "natural-2016-11-19.csv", row.names = F)

数据清洗

首先看自然科学基金的情况。在此之前需要清洗数据，主要是对起止年月进行拆分，并转换为日期。

library(readr)
library(stringr)
library(lubridate)
library(ggplot2)
library(ggthemes)
library(knitr)
library(dplyr)

Natural <- read_csv("natural-2016-11-19.csv")

# 对字符串进行拆分
Period <- str_split(Natural$起止年月,"-", simplify = T)

# R 无法处理没有日期的数据，因此加上日期
Begin <- paste0(Period[,1], ".01")
Begin <- as.Date.character(Begin,"%Y.%m.%d")
End <- paste0(Period[,2], ".01")
End <- as.Date(End, "%Y.%m.%d")
Interval <- round((End - Begin) / (365/12)) + 1
Natural <- cbind(Natural, Begin, End, Interval)

数据分析

第一步当然是看自然基金的趋势，从项目总投入和项目数量两个方面来看。一般一个项目跨度是三到四年，经费发放也不是一步到位，因此按照起始年份计算年度投入是有误差的，不过应该不影响对趋势的判断。

项目数量

从项目数量上看，2000 年之前一直在低位，2000 年刚刚超过两百；2006 年有一个较大幅度的增长，随后几年在 500 的水平上小幅增长；从 2009 年开始，自然科学基金资助项目数量开始激增，增长幅度最大的 2012 年增长了 42%！到了2013年之后，在 1600 左右徘徊。

ggplot(Natural, aes(year(Begin))) +
  geom_bar(aes(fill = 项目类别)) +
  labs(
    title = "国家自然科学基金年度项目数量（按起始年份）",
    subtitle= "按照项目类别标示",
    x = "年份",
    y = "项目数量"
  ) +
  scale_x_continuous(breaks = seq(1992, 2017, by = 1)) +
  theme_pander() +
  scale_fill_pander() +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

项目金额

从投入金额上看，从 1992 年微不足道的 275 万元增长到 2000 年 2380 万元，年均增长率 31%；2006 年的增长率 57%，达到近亿元；2000 年到 2008 年的年均增长率是 20%；2009 年到 2013 年年的近乎翻倍的增长，增长率分别是 38%、28%、39%、78%、32%，年均增长率 37%。2016 年的投入有所减少，是因为数据收集时间是在 11 月，有一部分项目的启动时间是 12月份。

ggplot(Natural, aes(year(Begin))) +
  geom_bar(aes(weight = 金额, fill = 项目类别)) +
  labs(
    title = "国家自然科学基金年度项目总额（按起始年份）",
    subtitle= "按照项目类别标示",
    x = "年份",
    y = "项目总额"
  ) +
  scale_x_continuous(breaks = seq(1992, 2017, by = 1)) +
  theme_pander() +
  scale_fill_pander() +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

项目类型

青年项目和面上项目占总数量的近 90%，从历史趋势上看，二者此消彼长，面上项目呈现减少的趋势，青年项目相应增长。

ggplot(Natural, aes(year(Begin))) +
  geom_bar(aes(fill = 项目类别), position = "fill") +
  labs(
    title = "国家自然科学基金年度项目类型数量占比（按起始年份）",
    x = "年份",
    y = "比例"
  ) +
  scale_x_continuous(breaks = seq(1992, 2017, by = 1)) +
  theme_pander() +
  scale_fill_pander() +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

历年所有项目中，面上项目和青年科学基金项目占据绝大多数，面上项目数量占到项目总数的 53.2%，项目资金占总投入的 54.8%；青年科学基金项目数量占到 33.2%，资金占 18.2%。而重点项目数量上只有 1.9%，但在金额上占到了 10.2%。不同类型项目的资助金额也不同，最高的是创新研究群体科学基金，平均达 484 万元，面上项目和青年科学基金项目分别平均为 34 万和 18 万。

Type <- summarise(group_by(Natural, 项目类别),
                  项目总金额 = sum(金额),
                  项目金额占比 = sum(金额) / sum(Natural$金额) * 100,
                  项目数量 = length(金额),
                  项目数量占比 = length(金额) / length(Natural$项目名称) * 100,
                  项目平均金额 = mean(金额))
Type <- Type[with(Type, order(-项目总金额)), ]
kable(Type, align = "c", digits = 1)

项目类别	项目总金额	项目金额占比	项目数量	项目数量占比	项目平均金额
面上项目	288654.5	54.8	8536	53.2	33.8
青年科学基金项目	96100.8	18.2	5331	33.2	18.0
重点项目	53581.3	10.2	303	1.9	176.8
地区科学基金项目	27782.3	5.3	948	5.9	29.3
国家杰出青年科学基金	12990.0	2.5	104	0.6	124.9
创新研究群体科学基金	12580.0	2.4	26	0.2	483.8
重大研究计划	10605.0	2.0	104	0.6	102.0
优秀青年科学基金	8040.0	1.5	72	0.4	111.7
重点国际(地区)合作研究项目	7785.0	1.5	42	0.3	185.4
应急项目	4679.5	0.9	499	3.1	9.4
海外及港澳学者合作研究基金	2550.0	0.5	71	0.4	35.9
青年-面上连续资助项目	1355.1	0.3	24	0.1	56.5

项目评估情况

首先做了一个交叉表，发现除了地区科学基金项目、青年项目和面上项目，其他项目均无需评估的……

Type_rate <- as.array(table(Natural$项目类别, Natural$总评))
Type_rate <- round(prop.table(Type_rate, margin = 1) * 100, digits = 1)
kable(Type_rate)

	中	优	尚未评估	差	无需评估	特优	良
优秀青年科学基金	0.0	0.0	0.0	0.0	100	0.0	0.0
创新研究群体科学基金	0.0	0.0	0.0	0.0	100	0.0	0.0
国家杰出青年科学基金	0.0	0.0	0.0	0.0	100	0.0	0.0
地区科学基金项目	2.0	3.8	78.2	0.2	0	0.0	15.8
应急项目	0.0	0.0	0.0	0.0	100	0.0	0.0
海外及港澳学者合作研究基金	0.0	0.0	0.0	0.0	100	0.0	0.0
重大研究计划	0.0	0.0	0.0	0.0	100	0.0	0.0
重点国际(地区)合作研究项目	0.0	0.0	0.0	0.0	100	0.0	0.0
重点项目	0.0	0.0	0.0	0.0	100	0.0	0.0
青年-面上连续资助项目	0.0	0.0	0.0	0.0	100	0.0	0.0
青年科学基金项目	1.1	10.2	74.1	0.2	0	0.8	13.6
面上项目	2.0	15.7	56.0	0.2	0	1.0	24.9

再看历年估结果，1999 年和 2012 年的项目中很大比例尚未评估，看来 1999 年以前的项目评估结果还没有纳入数据库。在 1999 年到 2011 年中，大概有一半的项目评价是良，优的比例总体是在上升，特优也略微在上升。

ggplot(Natural, aes(year(Begin))) +
  geom_bar(aes(fill = 总评), position = "fill") +
  labs(
    title = "国家自然科学基金年度项目评估情况（按起始年份）",
    subtitle= "按项目数量计算",
    x = "年份",
    y = "项目数量"
  ) +
  scale_x_continuous(breaks = seq(1992, 2017, by = 1)) +
  theme_pander() +
  scale_fill_pander() +
  theme_grey(base_family = "STKaiti") +
  theme(axis.text.x  = element_text(angle = 60, vjust = 0.5))

从 1998 年到 2011 年，14 年中共有 32 次差评，平均每年有 2.3 个项目获得差评，一共有 23 个单位获得差评，超过一次的单位如下：

Bad <- as.data.frame(table(Natural[Natural$总评 == "差", 4]))
kable(Bad[Bad$Freq > 1, ], align = "c")

	Var1	Freq
11	农业部农村经济研究中心	2
12	北京大学	2
14	华中科技大学	2
20	浙江大学	3
21	清华大学	5

依托单位分析

获得项目资金累计前五十的单位如下，排名第一的清华遥遥领先，比第二名北大多 2/3 左右。但是，26 年中，清华的自然科学基金只有 2.5 个亿，只能说明真正的科研资源大头并不是通过自然科学基金向下发放的。自然科学基金作为唯一一个公开披露（也有可能是我没找到别的信息）项目资金的科学基金，这充分说明国家科研资源投入的无序性与不公开性。

Rank50 <- summarise(group_by(Natural, 依托单位),
                    累计金额 = sum(金额),
                    项目数量 = length(金额),
                    项目平均金额 = mean(金额))
Rank50 <- Rank50[with(Rank50, order(-累计金额)), ]
kable(head(Rank50,50), align = "c", row.names = T)

	依托单位	累计金额	项目数量	项目平均金额
1	清华大学	25059.50	621	40.35346
2	北京大学	15692.05	373	42.06984
3	上海交通大学	14770.05	382	38.66505
4	中国人民大学	13652.05	381	35.83215
5	复旦大学	13555.90	406	33.38892
6	华中科技大学	12383.78	337	36.74712
7	浙江大学	12341.17	389	31.72537
8	武汉大学	10622.20	359	29.58830
9	南京大学	10325.35	288	35.85191
10	中山大学	10289.60	280	36.74857
11	大连理工大学	9480.70	244	38.85533
12	西安交通大学	9395.00	313	30.01597
13	厦门大学	8931.30	287	31.11951
14	北京航空航天大学	8797.00	245	35.90612
15	上海财经大学	8212.15	261	31.46418
16	天津大学	7749.60	239	32.42510
17	南开大学	7688.20	253	30.38814
18	哈尔滨工业大学	7242.90	210	34.49000
19	同济大学	7176.05	213	33.69038
20	东北大学	7015.50	165	42.51818
21	北京理工大学	6840.40	155	44.13161
22	中国科学技术大学	6467.00	131	49.36641
23	北京交通大学	6258.50	125	50.06800
24	中南大学	6122.00	132	46.37879
25	西南财经大学	5948.76	186	31.98258
26	湖南大学	5611.44	146	38.43452
27	合肥工业大学	5604.70	130	43.11308
28	对外经济贸易大学	5295.30	170	31.14882
29	华南理工大学	4719.32	125	37.75456
30	东北财经大学	4713.10	162	29.09321
31	中央财经大学	4711.50	175	26.92286
32	南京农业大学	4489.90	141	31.84326
33	东南大学	4347.90	146	29.78014
34	中国科学院数学与系统科学研究院	4177.30	79	52.87722
35	四川大学	4145.82	120	34.54850
36	电子科技大学	4066.00	117	34.75214
37	暨南大学	4052.90	133	30.47293
38	江西财经大学	4040.56	131	30.84397
39	中国人民解放军国防科学技术大学	3835.90	88	43.58977
40	中国科学院地理科学与资源研究所	3727.60	58	64.26897
41	重庆大学	3662.50	126	29.06746
42	北京师范大学	3483.24	83	41.96675
43	中国科学院科技政策与管理科学研究所	3424.60	99	34.59192
44	山东大学	3076.50	85	36.19412
45	浙江工商大学	3027.90	107	28.29813
46	中南财经政法大学	2977.70	111	26.82613
47	西南交通大学	2904.60	106	27.40189
48	华东理工大学	2764.20	75	36.85600
49	南京财经大学	2762.90	86	32.12674
50	吉林大学	2740.10	84	32.62024

将每年项目金额前十的单位进行统计，得到历年前十排行榜。去掉只进过一次前十的单位，26 年中进入前十的次数统计情况如下：

Rank <- list()
j = 1
for(i in 1992:2017){
  D <- Natural[year(Natural$Begin) == i,]
  Rank[[j]] <- names(head(sort(tapply(D$金额, D$依托单位, sum), decreasing = T),10))
  i <- i + 1
  j <- j + 1
}
Rank <- as.data.frame(Rank)
names(Rank) <- 1992:2017
Rank_count <- table(unlist(Rank))
Rank_count_t <- as.data.frame(sort(Rank_count[Rank_count >1], decreasing = T))
names(Rank_count_t) <- c("依托单位", "进入前十次数")
kable(Rank_count_t, align = "c", row.names = T)

	依托单位	进入前十次数
1	清华大学	26
2	浙江大学	23
3	上海交通大学	18
4	复旦大学	17
5	北京大学	17
6	中国人民大学	15
7	西安交通大学	13
8	华中科技大学	13
9	武汉大学	12
10	北京航空航天大学	11
11	天津大学	9
12	大连理工大学	9
13	中山大学	7
14	南京大学	7
15	华中理工大学	6
16	厦门大学	5
17	中国科学院数学与系统科学研究院	4
18	中国科学技术大学	3
19	南开大学	3
20	东北大学	3
21	中国科学院科技政策与管理科学研究所	2
22	合肥工业大学	2
23	华南理工大学	2
24	中国科学院地理科学与资源研究所	2
25	同济大学	2

项目名称分析

对所有研究项目的名称进行分词，因为信息量太少，无法做主题模型，出现次数最多的 100 个词语如下：

library(jiebaR)
W <- worker()
Title <- W[Natural$项目名称]
head(sort(table(unlist(Title)), decreasing = T), 100)

##
##     的   研究     与   基于   机制     及     下   企业   影响   理论
##  13156  12797   7024   4143   2297   2264   2045   2041   1863   1774
##     和   中国   及其   模型     对   行为   方法   管理   视角     中
##   1767   1564   1532   1514   1512   1505   1432   1293   1237   1200
##   机理   网络   优化   实证   创新   政策   应用   分析   我国   风险
##   1062   1047   1024   1003    979    960    953    930    882    865
##   环境   经济   决策   策略   模式   系统   动态   发展   组织 供应链
##    860    844    827    788    785    728    723    721    674    655
##   效应   市场   技术   社会   知识   信息   绩效   评价     多   服务
##    640    626    623    609    608    605    595    535    528    519
##   治理   问题     以   产业   关系   结构   选择   演化   战略   设计
##    506    495    471    469    469    463    460    452    450    429
##   作用   制度   投资   控制   区域   协同   路径   协调   建模   为例
##    428    418    412    399    398    389    378    374    373    372
##   面向   产品   因素   数据   评估   过程   复杂   资源   定价     不
##    370    369    363    360    359    358    354    351    350    342
##   资本     在   价值   形成   效率   城市 消费者   生产   质量   政府
##    342    341    326    326    324    316    316    313    311    309
##   构建   体系   金融   农业   农村   能力   对策   公司   团队   创业
##    307    302    291    279    279    276    269    264    259    256

与企业相关的研究远远高于社会、市场和政府。

总结

国家自然科学基金项目资金在 2008 年以后迅速增长，于 2013 年达到现在到水平，并维持在每年约 7 亿元的水平上。
青年项目和面上项目是主要形式，二者此消彼长，占总数近 90%。
除地区科学基金项目、青年项目和面上项目外，其他类型项目均无需评估，无需评估项目占总资金的 21.7%；而在需要评估的前三类中，尚未评估的占 3/4 左右。
从中国科技统计网站上能够获取到的最新数据是 2013 年的，高校 2013 年从政府获得的经费是 516.9 亿元，而当年的自然科学基金约在 7 亿元左右。完整高效披露信息的比例极小。
虽然自然科学基金在整个科研经费体系中比例很小，但是从中可以看出依托单位获取国家科研资金的能力。

腾讯云安装 Rstudio Server 与 Shiny Server

2016-11-05T00:00:00+00:00

最近有一个数据展示的项目，使用 Shiny 进行展示，为了方便小组成员交流，就部署到腾讯云上了。不难，但是坑不少，因此记录一下。参考了知乎专栏文章在 Google 云计算平台上使用 Rstudio Server¹。

申请腾讯云

不一定非得是腾讯云，哪家都可以，只是鹅厂的『云 + 校园计划』正好符合我。

服务器操作系统选择 Linux，千万别选 Windows，建议 Ubuntu，Centos 也行，但一定要是 64 位，因为现在很多软件都不支持 32 位。安全组策略选择全部放行，不然后面配置起来很麻烦。

按照腾讯云的文档登陆服务器，尽量不要选择浏览器登陆。如果本机是 Linux，直接：

ssh -q -l [云服务器登录账号] -p 22 [云服务器的公网IP]

安装最新版本 R

坑爹的地方在于，默认不是最新的 R，而 Shiny 不支持老版本，因此要更新到最新版本。参照 Installing R latest version 这个教程²升级 R，并安装中文字体，代码如下：

sudo sh -c "echo 'deb https://mirrors.tuna.tsinghua.edu.cn/CRAN/bin/linux/ubuntu trusty/' >>/etc/apt/sources.list"
sudo apt-get update
sudo apt-get install r-base
sudo apt-get install language-pack-zh-hans
sudo apt-get install xfonts-wqy

Rstudio Server 的安装与使用

安装

必须先安装 gdebi，然后用 wget 下载 deb 包，但是非常坑爹的一点是腾讯云从 Rstudio 官网下载 Rstudio Server 安装包非常慢，我把包上传到坚果云了，可以从坚果云下载。

官网³下载：

sudo apt-get install gdebi-core
wget "https://download2.rstudio.org/rstudio-server-1.0.44-amd64.deb"
sudo gdebi rstudio-server-1.0.44-amd64.deb

从坚果云下载：

在此网页点击下载，然后取消，点击右键复制下载地址，替换掉上述 wget 后面的网址。

使用

Rstudio Server 默认不能使用管理员账户，因此，必须新建账户，这里创建账户 test。

sudo adduser test

然后就可以用浏览器打开 http://<server-ip>:8787，server-ip 是你的腾讯云公网 ip。之后输入账户和密码就可以使用 Rstudio Server 了，可以使用我的测试帐号，不过好像每次只能单人登陆：

网址：http://123.207.156.73:8787/

帐号：test

密码：test2016

进去之后，最好首先把软件源改为国内的，否则下载软件包的速度感人。修改方法很简单，菜单栏“Tools –> Global option –> Packages –> CRAN mirror”，选择 “China (Beijing) [https] - TUNA Team, Tsinghua University”。

Rstudio Server 与桌面版相比，可以在 Files 窗口下直接上传数据和文件。新建项目 test，然后上传文件，在 Rstudio 里测试之后就可以进行 Shiny 展示了。

安装 Shiny Server

安装

必须安装最新版 R，否则不能正常运行。登陆腾讯云服务器，安装 shiny，之后下载 Shiny Server 并安装⁴。

sudo su - \
-c "R -e \"install.packages('shiny', repos='https://cran.rstudio.com/')\""
wget "https://download3.rstudio.org/ubuntu-12.04/x86_64/shiny-server-1.5.1.834-amd64.deb"
sudo gdebi shiny-server-1.5.1.834-amd64.deb

同理，如果速度太慢，可以从坚果云下载：

在此网页点击下载，然后取消，点击右键复制下载地址，替换掉上述 wget 后面的网址。

使用

最后一步，将 test 用户的 test 项目部署到服务器：

sudo cp -R /home/test/test/ /srv/shiny-server/

然后访问 http://<hostname>:3838/APP_NAME/ 就可以了，比如，我这里就是 http://123.207.156.73:3838/test/。

参考资料

排版常识

2016-09-11T00:00:00+00:00

一直执迷于漂亮的排版，但是不够专注，不够勤奋，一直没有做。懒人时间多，在刷 v2ex 时看到有人已经做出来一份非常全面非常精准的排版教程。

中英文简历撰写排版指南

按照这份排版教程，字体和标点等就不会闹笑话了，要想排版美观大方，推荐阅读《写给大家看的设计书》，掌握亲密性、对齐、重复和对比等排版原则，排版也不会 low 到哪里去的。

科学上网的几个靠谱方案

2016-08-21T00:00:00+00:00

其他

用R语言进行地震数据可视化

2016-05-20T00:00:00+00:00

看到前辈大神的用ggmap包进行地震数据的可视化教程，拿来练个手¹ ²。

数据直接从中国地震台网统一地震目录抓取。

library(XML)
library(ggmap)
library(animation)

## 网页数据抓取和清理
Url <-"http://data.earthquake.cn/datashare/globeEarthquake_csn.html"
Data <- readHTMLTable(Url, stringsAsFactors = FALSE)
Data <- Data[[6]]
D <- Data[c(1,3,4,6)]

D$震级 <- as.numeric(gsub("[a-zA-Z]", "", D$震级))
D[2:4] <- sapply(D[2:4], as.numeric)
D$发震日期 <- as.Date(D$发震日期,  "%Y-%m-%d")

names(D) <- c("Date", "Lat", "Lon", "Level")

D1 <- D[D$Date < Sys.Date()-1,]

## 画图
### 因为 Google map api 不能使用，只好手动加载背景图。

### 中国的经纬度信息
China <- c(left = 73, bottom = 17, right = 135, top = 50)
Map <- get_stamenmap(China, zoom = 6, maptype = "toner-lite")

Day_Plot <- function(x){
  D2 <- subset(D1, Date == x)
  ggmap(Map, extent = "device") +
    geom_point(data = D2, aes(x = Lon, y = Lat), color = "red", size = D2$Level, alpha = 0.4) +
    labs(title = as.Date(x, origin = "1970-01-01"))
}

Time <- sort(unique(D1$Date))
saveGIF(for( i in Time) print(Day_Plot(i)))

参考资料

用R语言批量下载落网音乐

2016-04-19T00:00:00+00:00

觉得落网的音乐很不错，正好又在学习 R语言的爬虫，顺便就写了一个批量下载脚本。

## 首先加载 R包
library(RCurl)
library(rvest)

1.下载落网的期刊

http://www.luoo.net/music/

## 下载函数
Luo_Volume <- function(Volume){

    V_url <- read_html(paste("http://www.luoo.net/music/", Volume, sep = ""))
    Title <- html_text(html_nodes(V_url, "a.trackname.btn-play"))
    ID <- substr(Title, 1, 2)

    j <- 1
    for (i in ID){
        Song_URL <- paste("http://luoo-mp3.kssws.ks-cdn.com/low/luoo/radio801/",
                          i, ".mp3", sep = "")
        Song <- getURLContent(Song_URL)
        Name <- paste(Volume, "-", Title[j], ".mp3", sep = "")
        save(Song, file = Name, compress = F)
        j <- j + 1

        ## 随机休眠 2-8 秒，防止反爬虫，可以注释掉
        Sleep <- sample(2:8, 1)
        Sys.sleep(Sleep)

        print(c(Name, paste("Wait", Sleep, "seconds")))
    }
}

## 大展伸手的时候到了！
### 下载单个期刊，如，801期，http://www.luoo.net/music/801
Luo_Volume(801)
### 同时下载多个期刊，如 800 到 811，直接
for (i in 800:811){Luo_Volume(i)}

2.下载推荐的单曲

http://www.luoo.net/musician/

注：某些特殊后缀资源不能下载，如 http://luoo-mp3.kssws.ks-cdn.com/low/2014/0506_01.mp3

## 首先生成每日推荐的 ID
DayID <- function(Start = "2014-06-05", End = Sys.Date()){
    S <- as.Date(Start)
    E <- as.Date(End)
    Total_days <- E - S

    ID <- vector(length = Total_days)
    for (i in 1:Total_days){
        ID[i] <- format(S + i, "%Y%m%d")
    }

    ID <- as.numeric(ID)
}

## 下载函数
Download <- function(ID){
    for (i in ID){
        Song_URL <- paste("http://luoo-mp3.kssws.ks-cdn.com/low/chinese/",
            i, ".mp3", sep = "")
        Song <- getURLContent(Song_URL)
        Name <- paste(i, ".mp3", sep = "")

        if (object.size(Song) > 100) {
            save(Song, file = Name, compress = F)
            ## 随机休眠 2-8 秒，防止反爬虫，可以注释掉
            Sleep <- sample(2:8, 1)
            print(c(Name, paste("Wait", Sleep, "seconds")))
            Sys.sleep(Sleep)
        }
    }
}

## 使用方法
### 自选指定日的推荐曲目
ID <- 20160201
Download(ID)

### 多个日期，如二月和三月，月份之间用分号隔开
ID <- c(20160201:20160229, 20160301:20160331)
Download(ID)

### 选择起止日期，下载两个日期之间的全部推荐单曲，如 2015-01-01 到 2015-01-10 之间
ID <- DayID("2015-01-01", "2015-01-10");
Download(ID)

### 丧心病狂模式，下载所有日期里的推荐曲目
ID <- DayID()
Download(ID)

Google 搜索：从入门到精通5.0

2016-02-25T00:00:00+00:00

Google 搜索：从入门到精通4.0版本十分详尽，在中国互联网的早期用户中影响很大。然而，4.0版本已经跟不上时代的变化：一方面是中国互联网环境的变化，日趋走向封闭；另一方面是谷歌搜索本身的巨大改变，例如极其重要的 Google Scholar 在 4.0 中没有介绍，而 Google Labs、分类广告搜索等早已关闭。此外，4.0版本过于繁琐，有太多不必要的细节。其实，谷歌搜索的智能化程度已经可以满足基本需要，以下所介绍的这些高级技巧几乎用不上，换句话说，所谓的高级技巧不过是用人脑来弥补机器的不足，随着机器智能的发展，这些技巧的实用性将会大大下降。

5.0教程主要来自 Google 网页搜索帮助中心和 Google 产品大全，随着时间推移，教程可能跟不上变化，最好是直接到上述网址查看（打不开先看第零章）。

第零章越过长城，打开 Google

如果你连 Google 都打不开的话，还是去找找知乎找有关百度的帖子吧。

免费工具 lantern
VPN & ShadowSocks 详情请戳
人肉翻墙

注：

使用代理后，可能你的 ip 会被识别为日本、新加坡等地，可以在搜索页面右侧，点击齿轮按钮进行设置；也可以在 Google 网址后添加/ncr,得到网址 http://www.google.com/ncr ，进行无国别搜索。
Google 会对某些违反版权的网站进行惩罚，比如用 Google 搜索『迅雷』，将无法找到官网（只是想提醒下这是 Google 的策略，而不是 Google 搜索不准确）。

第一章搜索入门

关键词输入技巧

1.使用简单的搜索字词

用简单的字词进行搜索，并根据需要添加一些描述性字词。例如要查找特定地点的某个场所或商品，可添加该地点名称，如，南京面包店。

2.认真选择措辞

在确定输入搜索框中的字词时，尽量选择要查找的网站上可能会出现的字词。例如，不要使用我的头很痛，而要使用头痛，因为医学网站上往往会使用后者。

3.常用工具使用

对于许多常用工具， Google 会直接显示。

天气：搜索天气可查看所在地点的天气信息，如果在『天气』后加上城市名（例如天气北京），则可查看相应城市的天气信息。
字典：在任意字词前加上 define 即可查单词。
计算器：可以当作计算器，支持算术、函数物理常量的值、基数和计数换算，可以为复杂的等式快速绘制图形，支持三角函数、指数函数、对数函数和 3D 图形。
单位换算：支持几乎所有常用内容的换算，直接输入要换算的内容即可，如 3 美元兑换人民币。
体育：搜索球队的名称，即可查看相关赛程和比赛得分等信息。
快讯：搜索名人、地点、电影或歌曲的名称可看到相关重要信息。

第二章特定搜索

在输入搜索内容后，可选择搜索框下的搜索结果类型，以相应类型的搜索结果，包括图片、新闻、视频、地图和更多选项，点击更多可查看更多选项。此外，点击搜索工具可以限定语言和时间等。

常用的有：

1.图片搜索

https://images.google.com

除了用关键词以外，可以用图片搜索图片，点击搜索框中的照相机按钮，即可上传图片或者利用网页内图片进行搜索。用这种方式用于查找图片来源，在辟谣时很有用，也可以用于找到和照片中长得像的人。

2.Google Scholar

http://www.scholar.google.com/

注意，除了论文外，还可以搜索专利、法院判决书等。

3.Google Books

https://books.google.com/

Google 扫描了许多图书馆的书籍，强大无比。

4.Google News

https://news.google.com/

需要重点提出的是，Google News 和 twitter 等不像新浪微博，会进行人工干预热点新闻。

5.Vedio Search

https://www.google.com/videohp?hl=en 啊，其实吧，个人觉得 https://www.youtube.com 更好玩。

点击 Google 应用或 Chrome 搜索框中的麦克风图标即可进行语音搜索。

第三章高级搜索技巧

鉴于搜索引擎的智能化程度，需要使用到的情境不多，可以直接使用 Google 高级搜索，记不清楚也没关系。

标点和符号

某些标点和符号可以限定搜索范围或者搜索特定内容。

注意：标点均为英文半角。

- 在某个字词或网站之前添加一个短横（减号），用于排除包含该字词或来自该网站的网页。在搜索有多种含义的字词（例如汽车品牌『美洲豹』和动物『美洲豹』）时，这种方法尤为实用。示例：美洲豹速度 -汽车或熊猫 -site:wikipedia.org
” 引号用于精确搜索该关键词。示例：”你有我有全都有”
* 添加一个星号，是传说中的通配符，以表示任何未知或不确定的字词。示例：”省*就是赚*”
+ 加号搜索 Google+ 信息页或血型。示例：+Chrome 或 AB+
@ 查找社交网络帐户。示例：@agoogler
$ 查找价格。示例：尼康 $400
# 查找热门。# 标签以了解相关热门话题。示例：#throwbackthursday
.. 使用两个点号（不加空格）隔开两个数字，即可搜索包含相应范围内数字的搜索结果。示例：相机 50..100

运算符

添加搜索运算符到搜索条件中，可以缩小搜索结果范围。

注意：使用运算符或标点符号进行搜索时，不要在运算符和搜索字词之间添加空格。例如，site:nytimes.com 可以正常发挥作用，但 site: nytimes.com 则不行。还有就是冒号为英文半角。

site: 仅搜索特定网站或网域中的网页。示例：奥林匹克 site:nbc.com 和奥林匹克 site:.gov
related: 查找与您知道的某个网址类似的网站。示例：related:time.com
OR 查找包含多个字词中的某个字词的网页。示例：马拉松 OR 赛跑
info: 获取某网址的相关信息，包括网页的缓存版本、相似网页和链接至该网站的网页。示例：info:google.com
cache: 查看 Google 上次抓取某个网站时其中网页的内容。示例：cache:washington.edu

第四章 Google 利器

1.Google Trends

https://www.google.com/trends/?hl=en

看看一年当中各个地区的人们都在搜索些什么，很好玩的。

2.Google Arts

把人类的文化遗产数字化，可足不出户看到世界名画，宅男腐女最爱。

https://www.google.com/culturalinstitute/home

3.Google Ngram Viewer

太逆天了，概念史学习的利器！

https://books.google.com/ngrams

更多利器详见知乎 Google 有哪些逆天的黑科技？

第五章其他技巧

在 Google 上更改搜索位置

许多搜索结果与位置有关，比如直接搜索『酒店』，不同位置得到的结果不同。可以通过更改位置获得更精确的结果。方法如下：

在 Google 上随意进行一项搜索。向下滚动到搜索结果页底部，即可看到 Google 推测的您当前所处的位置。该位置可能是系统根据您的 IP 地址、位置记录或 Wi-Fi 连接推测得出。要更新位置信息，请点击使用确切位置或更新位置信息。通用搜索

当你打开 https://www.google.com 时，经常会跳转到 hk 或者 jp，可以点击右下角的灰色网址，回到你想要的通用搜索上来。查找缓存

当你要点击搜索结果，发现被删除了怎么办呢？答案是缓存。新改版后的 Google 缓存很不容易找，需要点击绿色网址后的向下箭头，再点击 cached。

Linux 常用软件

2015-09-28T00:00:00+00:00

这学期的第一个周六参加了 2015 软件自由日的活动，不巧因为下午有课，只听了不到半小时。虽然没听到啥，但是重新激起了我对 Linux 的热情。看着慢吞吞的 Windows，嫌弃得很，又重新用上了 Linux。

发行版个人推荐 Lubuntu 的，即使不选 Lubuntu，也要挑一个 Ubuntu 系的软件，因为 Ubuntu 系对个人用户的支持是最好的。但是不推荐 Canonical 公司默认的 Unity 桌面，实在太丑太难用，而且稳定性很差。Lubuntu 既有 ubuntu 的易用性，又有 Debian 的稳定性，实在太好不过了。

系统安装

一定要装双系统，千万不能丢掉 Windows 系统，否则你就哭去吧。

Lubuntu 的安装方法与 Ubuntu 完全一样。如果用 U盘安装，UltraISO 刻录可能会出问题，推荐使用 ImageWriter。具体安装方法请戳 Windows10+Ubuntu双系统安装。

网上教程里推荐的分区方案太复杂了，稍有不慎就把硬盘资料格掉了。我自己发现了一个懒人的好方法：在硬盘管理中删除一个小盘，留出30G的未分配空间就好了。（Ubuntu 系列有效，其他发行版请自重）。

Lubuntu 是为老机器准备的，需要卸载自带的一些软件。

软件安装

1.通过命令行 sudo apt install <软件名> 安装

2.在软件中心内搜索安装

3.下载 deb包进行安装。

软件推荐

必装软件
- Firefox 浏览器首选 Firefox，下面是推荐扩展和插件
  - HTTPS-Everywhere 必装扩展，大幅提升上网的安全性
  - Privacy Badeger 屏蔽第三方跟踪
  - uBlock Origin 屏蔽广告
  - Art Project 新页面可以看到 Google Art 艺术品
  - Greasemonkey 安装脚本
  - CNKI 中国知网 PDF 全文下载用 pdf 取代讨厌的caj
  - Wiktionary and Google Translate 网页划词翻译
  - VimFX
- Lantern 科学上网
办公学习
- LibreOffice 办公套件
- 坚果云跨平台同步网盘
- TexLive
- Anki 背单词利器
- ZIM 笔记软件
编程开发
- R 数据分析
- Rstudio R IDE，生产力蹭蹭蹭
- Atom 最强大的编辑器，就是有点耗资源
  - git-plus 提交
  - file-icons 好好看
  - open-unsupported-files 打开 pdf 等文件
  - script-runner 运行脚本
  - language-latex 代码高亮
  - latexer 代码补全、文献自动填充
  - git-diff-details
  - tokamak rust IDE
  - Date
  - autocomplete-python
  - default-language
- Git 配上 Rstudio 和 Atom
日常使用
- electronic-wechat 好用的开源微信客户端
- Thunderbird 最强大的邮件客户端
  - 插件 Thunderbird Conversations
  - 插件 HTTPS-Everywhere
  - 插件 uBlock Origin
  - 插件 MinimizeToTray revived (MinTrayR)
  - 插件 Lightning
  - 插件 Hide Local Folders
- shotwell 好用的图片管理工具
- Shutter 截图工具
终端
- Guake 下拉式终端，漂亮好用
- oh-my-zsh 智能终端
- TheFuck 自动纠正命令
- douban.fm 漂亮的终端豆瓣FM
- ranger 终端文件管理器
- found 文件搜索
主题优化
- Arc theme with Flatabulous window controls
- Papirus icon
- libreoffice theme：Synaptic search libreoffice-style

扩展学习

1.deepin百科对 Linux 下的软件介绍十分详尽。

2.超赞的 Linux 软件

3.ArchWiki

电影《熔炉》

2014-11-10T00:00:00+00:00

有网友评论韩国电影说『他们有改变国家的电影，我们有改变电影的国家』。不太清楚韩国电影是否改变了国家，但是韩国电影反映了社会现实和国家的民主化历程，这一点是不可否认的。

个人推荐的韩国电影：

简单說一下《熔炉》，这部电影根据真实事件改编。

韩国广州一所聋哑学校的校长和教职工从2000年起，经常对学生实施性暴力，受害者达十几人。2005年6月一位职员实在忍不住，向光州障碍人性暴力服务机构揭发了此事，但施暴者被轻判而且没有受到实质性判罚。2008年作家孔泳枝读到这则新闻，亲自去广州与受害者相处，写成小说连载于网络，次年发行单行本，大卖。本片男主角在军队服役时看到此书，深受震撼，退役后建议拍成电影。2011年9月电影上映。（参考资料：豆瓣影评《熔炉》始末、韩国真实电影《熔炉》致性侵残障儿童案再调查）

在我看来，《熔炉》不是一个仅仅关注社会黑暗面的电影，我喜欢它的原因也不在此。男主角美术老师仁浩话不多，可以说没什么血性，容忍、温和，别人吐唾沫在脸上也不会还手，看到老师殴打学生也没有英雄般地站出来。

可是，面对暴行，他不是转过脸自己过小日子，毕竟他自己的日子也不好过。当母亲要求他不再掺合的时候，他回答说：

现在要是放弃的话，我也没有信心能够做好松儿的爸爸。

在这个世界上，有一些人，从来没想过要当什么英雄，只不过想做些自己喜欢做的事，和自己喜欢的人在一起。只是当他们看到暴行的时候没有选择视而不见，而是选择站出来。

而面对受害者巨大的精神创伤，他们知道语言的无力，只是陪伴身旁。

这是我最喜欢的一张照片电影《熔炉》剧照

其实，我觉得最最重要的是影片结尾所说的：

我们一路奋战，不是为了改变世界，而是为了不让世界改变我们。

云南老汉

2014-06-04T00:00:00+00:00

上周日，也就是五月二十五号，在中关园等公交车，听着歌，百无聊赖。突然，一位四五十岁的老汉出现在我的面前，用语速极快的方言对我噼里啪啦讲了一堆。他说第一遍的时候完全没有听懂，又讲一遍，才勉强听出他说的是什么。

云南人，来北京找活儿但是没有找到接应的亲友，已经一两天没吃饭了。

我没有说什么，只给了他十块钱。没有明天的苦逼学生，又能帮到哪里。

在二十一世纪的第二个十年，在中国的大都市，一位云南某地的农民，辗转到此。他所见到的，不是路边招手即停的每日两班的乡村巴士，而是一辆又一辆不知从哪里来又到哪里去的公交车；不是挂着招牌的乡村客栈，而是一幢有一幢对他来说没有入口的摩天大楼。面对莽莽苍苍的山野，长满獠牙的巨兽，也许他会惊骇，但不会惶恐。但此刻的北京街头，他甚至不知道如何回到自己来到的地方。

不止一次，操着方言的大爷大妈在地铁里问路。几乎都识字，拿着不知谁写的路线，满眼惶恐地看着人上人下，不知所措。

说了这么多，并不是简单地说一个乡下人进城的故事。而是有关个人困扰与社会问题之间的张力。现代社会，其复杂度已经超出了任何人和任何机构（包括政府）的控制。个人身处其中，顶好顶好的人也只能做到游刃有余，想要把握这个时代的脉搏，『理解』自己的所处，想必是极难的。

比起刚进城来淘金的乡里人，不要以为自己能『理解』的就更多，我们只不过会看地图而已，『他们指向左，他们指向右，他们买了壮阳药』。

在这个时代，我们都是卡夫卡笔下的Josef K，面临审判而又无处申诉，一切都有条不紊而又互相矛盾。面对车水马龙，人左人右，我们只能彷徨，困惑。

今天算是一个比较特殊的日子，看着朋友圈里刷个不停，有后生有前辈。而我，今年比之往昔，更多了困惑和惶恐。以前只在乎对错以及『真相、和解』之类的，从未想过自己与他们的关系，我在想，作为一个中国的九零后，这一切到底意味着什么，我们背负了我们不知道的命运？如果是这样，我们是否应该背负这样的命运。

最后，想到波德莱尔的一句诗：

In that black or luminous square life lives, life dreams, life suffers.

常识报刊亭

2013-10-14T00:00:00+00:00

2013 年 8 月在成都，一个很大的收获是知道了常识报刊亭和《常识》杂志。在 028青年空间待了不少日子，很早就在书架上看到《常识》杂志，但是一直无暇细读。离开成都时买了一本，2013 年 4 月出的第八期。没想到，第九期到现在都没见着。

当时随便翻翻，发现选题新锐，敢做敢言，很有『独立之精神，自由之思想』，随后才发现是校园媒体，更加钦佩。

摘录一段发刊词中的声明：

1、本刊为一份公益时事读书刊物。

2、本刊是一个仅供发声的平台。

3、本刊立足校园，眼光偶尔触及世界。

4、本刊发文，坚持『假话全不说，真话不全说』原则。

5、本刊性格开放、活泼、新鲜、宽容，愿意接受一切真诚、符合道德、符合情操、支持人类、支持自然的想法及观点。

6、本刊倡导用扬弃的态度来解读书本，获取新知，武装头脑。

7、本刊根植于思考，脱胎于批判，用独立的视角考量一切，秉持理性基准。

知乎上有人提到 2012 年《常识》惹了大麻烦，而且好像在川大常识是不少学长、老师口中避之不及的怪物。常识始终没有自己的网站，最初好像是在点点，后来又从点点上消失，辗转了多个平台，看样子也是关停并转四处流浪。这从侧面也说明常识的锐意，是不少人不能容忍的。此外在网上发现一位文章写得很好的邹思聪，发现他是从《常识》出来的，文章也锐气的很。

链接

《常识》下载
- 百度云下载
常识报刊亭网站
- 微信公众号 changshibkt
- 新浪博客
- 豆瓣小站
邹思聪
- 凤凰博客
- 微信公众号 journalism_note

乌拉科幻小说网

2013-02-26T00:00:00+00:00

2013年2月26日，站长乌拉在网站留言：

由于版权原因，『乌拉科幻小说网』已永久关闭。

本站是致力于免费提供科幻、奇幻类小说的非营利性在线阅读网站，其目标与性质决定了本站从创建之初起就不得不行走在盗版的钢丝绳上，因此遭遇这次的版权纠纷并不意外，站长也从一开始就做好了面临此类事件的心理准备。版权方的要求不论从法律还是道义上都有其正当性，而站长也无法为此侵权行为辩解。

俗话说天下无不散之筵席，而如今本站也不得不很遗憾的走向这一被注定的命运的终焉……

最后感谢创造了如此美妙的幻想世界的各位作者、译者及出版社等相关人士，感谢一直以来支持本站的各位网友，祝愿中国科幻、奇幻事业能愈加繁荣！

p.s:希望在某个平行宇宙里，『乌拉科幻小说网』能以一种更好的方式生存下去~~

向乌拉致敬

乌拉科幻网收录的科幻小说十分齐全（不信，往下看），就连 SFW 的工作人员也不得不佩服。 SFW 在《致乌拉科幻小说网的公开信》中提到『我们在这几天整理侵权作品清单的时候发现，本站收集数目之多，收集种类之全，让我们叹为观止。』

然而在 2013 年 2 月 26 日乌拉科幻小说网被关闭之后，除了在豆瓣上的一个讨论《论乌拉科幻的倒掉》和知乎上的一个帖子《如何看待「乌拉科幻小说网」关站事件？》，关于乌拉科幻就这样消失在人们的视野之中。因为乌拉科幻而聚集起来的一批科幻迷，又散落天涯。

乌拉是一个有趣的人

乌拉在收到SFW的公开信后，将其在网站论坛中置顶。然后……然后就是文章开头中的一幕。

后来才知道，乌拉在那段日子里加紧准备了一个『方舟计划』。坚持不懈地寻找乌拉，是我这些日子里做的最正确的一个决定，要知道很多次 search 都没有收获，无意之中发现了乌拉科幻小说网方舟计划存档2013-02-26，从这个存档中我才知道方舟计划。

我深深地被乌拉的真诚所打动，这个世界太单调，太乏味了，如果能有多一点像乌拉那样有意思的人，这个世界该会多么有趣。

在打开方舟计划存档时，还被乌拉小小地戏弄了一把，打开一个压缩包，发现里面还有一个压缩包，打开之后还有一个，然后再打开，还有一个……最后到了十几层的时候竟然还需要密码，卧槽！通过 google search 又搞定4层，最后一层的问题是乌拉科幻网站用的是什么编程语言，卧槽！我怎么知道，不过，我猜肯定是开源中大家用的多的，第一次填了python，不对，第二次填了一个php，竟然是的。

压缩包一共二十层，你猜，最后我看到了什么？

这也许就是科幻迷不可遏制的好奇心吧，让我们吃尽苦头，又收获不少惊喜。

方舟计划

方舟计划的日期是 2012 年 11 月 25 日，可见站长早就有所准备。

上帝对诺亚说：你要用歌斐木造一只方舟，分一间一间的造，里外抹上松香。方舟的造法乃是这样：要长300肘，宽50肘，高30肘……你和你的全家都要进入方舟，凡洁净的畜类你要带七公七母，不洁净的畜类你要带一公一母，空中的飞鸟也要带七公七母。因为再过7天，我要在地上降雨40昼夜，把我所造的各种活物，都从地上除灭。

诺亚就遵循着上帝的吩咐行事了。

当人和各样活物都进去之后，过了7天，洪水泛滥在地上；大渊的泉源都裂开了，天上的窗户也敞开了；水势在地上极其浩大，天下的高山都淹没了。2月17日，方舟停在亚拉腊山上。

–《圣经·创世记》

方舟计划是站长乌拉为了在本站或自身遭遇毁灭性破坏的情况下，将本站的火种继续保存下去而制定的一系列计划。

该计划共分4种情形：

Type A : 当出现网站因各种原因被摧毁或面临关闭（例如因版权原因而遭到关闭或网站因资金问题无法继续存活、被智子破坏等等），而站长自身仍存在的情况下，在网站关闭之时，站长将手动发布本站所有作品的压缩包存档。

Type B :当出现站长自身被摧毁或无法行动（例如站长出现意外事故或被跨省、遭遇ETO或三体人袭击等等），而网站仍存在的情况下，网站系统将在一定期限内[注]，自动发布本站最近一次备份的所有作品的压缩包存档。（该计划可能与Type C共同执行）注：具体为距站长最近一次登录后台的30天之后。Type B共分两个阶段：

1.在距站长最近一次登录后台的20天之后，Tyep B进入准备阶段，网站将进行提示（如为误启动，站长应尽快登录并取消）。

2.在距站长最近一次登录后台的30天之后，网站将公开方舟相关信息，Tyep B正式执行。

Type C :当出现网站和站长双方都被摧毁的情况下，站长的邮箱会在一定期限内[注]，将本站最近一次备份的所有作品的压缩包存档及船票（解压密码）自动发送给方舟使者（特定人员），由方舟使者（们？）将压缩包存档及船票公开。注：deadline为 45 天，站长会每隔 15 天对deadline进行重置。Type C共分两个阶段：

1.在距deadline最近一次重置的30天之后，Tyep C进入准备阶段，第1封邮件将发出（如为误启动，站长应尽快重置deadline）。

2.在距deadline最近一次重置的45天之后，第2封邮件将发出，Tyep C正式执行。

Type D（妄想计划）:该计划共分2种情形：

Type D-1：当出现人类文明可能被摧毁的情况下，站长会将本站所有作品编码化，刻录进镀金光盘（可长时间保存）并深埋地下，等待可能出现的后续文明发掘出来。

Type D-2：当出现人类文明及地球自身可能被摧毁的情况下，站长会将本站所有作品编码化，经由超大功率无线电发射台，发送给可能存在的地外文明，将人类科幻小说的火种延续下去。

方舟计划存档

从未想到，方舟计划居然成功了（不然我就不会知道这么多故事了）。关于乌拉的一切，我才开始有所认识。

整个方舟计划存档解压后1.2G，绝大部分为txt格式
本体和福利两部分共4598个文件（近似等于科幻小说篇目）

看到这份档案，我无法抑制心中的惊叹，乌拉科幻几乎收录了所有的中文科幻小说，而几乎每一本小说的txt格式的文本处理都非常美观，每一篇作品都倾注了制作者的心血。不知道站长乌拉倾注了多少心血。

乌拉让我变成了一个科幻迷

大刘的三体系列开启了我对科幻的兴趣，但是在三体之后仅仅只读了大刘的《流浪地球》。我并没有『主动』地去读更多的小说，根本算不上是一个科幻迷。一次很偶然的机会发现了乌拉科幻小说网，进去之后发现里面搜集的科幻小说异常齐全，当时随手下载了五个合集，分别是

世界科幻大师合集
刘慈欣作品全集（2012-12-23）
星云奖获奖作品合集【1965-2012】（2012-11-25）
王晋康作品全集（2012-11-26）
银河奖作品合集【1986-2011】（2012-11-26）
阿西莫夫作品全集

当时没有多下载几个合集的原因是，觉得一时半会儿看不完。于是将，添加到收藏夹，以后再来。这之后我就没上过乌拉科幻小说网，寒假在家看了阿西莫夫的机器人、地球和银河帝国系列科幻，让我对科幻有了重新的认识。正是在这样的一个过程中我变成了一个科幻迷，而有趣的是，我对大刘的看法发生了很大的改变，他的代表作三体并没有我一开始认为的那样好（有时间我会写下来的）。

我想说的是，可能很多人像我一样，以前不是科幻迷或者是伪科幻迷，但是因为乌拉科幻而走上了科幻迷的不归路。本来乌拉科幻应当成为中国科幻民间自组织的典范，可是，这些聚起来的科幻迷，就这样四散了。

说到版权，我不反对保护作者权益。可是，4000多册科幻小说，SFW能出版几本呢？SFW的短视、自私与愚昧，令人扼腕。

Ciao!

欧拉计划的几个尝试

1. Multiples of 3 and 5

2. Even Fibonacci numbers

3. Largest prime factor

4. Largest palindrome product

5. Smallest multiple

6. Sum square difference

7. 10001st prime

8. Largest product in a series

9. Special Pythagorean triplet

10. Summation of primes

11. Largest product in a grid (unsolved)

12. Highly divisible triangular number

13. Large sum (unsolved)

14. Longest Collatz sequence

15. Lattice paths (unsolved)

16. Power digit sum

17. Number letter counts (unsolved)

21. Amicable numbers

23. Non-abundant sums

25. 1000-digit Fibonacci number

30. Digit fifth powers (unsolved)

31. Coin sums

基于爱思想网窥视网络审查

研究方法

爱思想网简介

审查总体规模

历年删文分布

被删文章内容分析

仅会员可见文章分析

参考文献

Sia 分析

Sia 分析

数据获取

数据清洗

数据分析

总结

Mac 常用软件

终端

开发

日常

国家自然科学基金数据分析

国家自然科学基金数据分析

获取数据

数据清洗

数据分析

项目数量

项目金额

项目类型

项目评估情况

依托单位分析

项目名称分析

总结

腾讯云安装 Rstudio Server 与 Shiny Server

申请腾讯云

安装最新版本 R

Rstudio Server 的安装与使用

安装 Shiny Server

参考资料

排版常识

科学上网的几个靠谱方案

推荐

其他

用R语言进行地震数据可视化

参考资料

用R语言批量下载落网音乐

1.下载落网的期刊

2.下载推荐的单曲

Google 搜索：从入门到精通5.0

第零章 越过长城，打开 Google

第一章 搜索入门

第二章 特定搜索

第三章 高级搜索技巧

第四章 Google 利器

第五章 其他技巧

Linux 常用软件

系统安装

软件安装

软件推荐

第零章越过长城，打开 Google

第一章搜索入门

第二章特定搜索

第三章高级搜索技巧

第五章其他技巧